{"notes":[{"id":"multimodality/ernie-vil","category":"multimodality","legacyPath":"multimodality/2006-ernie-vil","legacySlug":"2006-ernie-vil","legacyPaths":["multi-model/ernievil"],"title":"ERNIE-ViL","subtitle":"Le savoir, arme à double tranchant","author":"Z. Yuan","paperDate":"2020-06-30","publishedOn":"2024-04-05","paperTitle":"ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph","paperUrl":"https://arxiv.org/abs/2006.16934","bibliography":{"title":"ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph","authors":["Fei Yu","Jiji Tang","Weichong Yin","Yu Sun","Hao Tian","Hua Wu","Haifeng Wang"],"url":"https://arxiv.org/abs/2006.16934","pdfUrl":"https://arxiv.org/pdf/2006.16934","codeUrl":null,"preprint":{"id":"2006.16934","submittedOn":"2020-06-30","url":"https://arxiv.org/abs/2006.16934"},"publication":{"venue":"AAAI","year":2021,"kind":"conference","url":"https://arxiv.org/abs/2006.16934"},"citation":"@misc{multimodalityernievil2020,\n  title = {{ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph}},\n  author = {Fei Yu and Jiji Tang and Weichong Yin and Yu Sun and Hao Tian and Hua Wu and Haifeng Wang},\n  year = {2020},\n  eprint = {2006.16934},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2006.16934}\n}\n","citationPath":"/content/papers/citations/multimodality/ernie-vil.ae54a4ffdeb6.bib"},"thumbnail":{"src":"/content/papers/assets/e59513b3c738e3b5a4f5fa4775c355f3e400801648d5a94e8695db61d024556e.jpg","width":1680,"height":776},"locale":"fr","path":"/content/papers/fr/multimodality/ernie-vil.e1f91427671b.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-dernie-vil","text":"Architecture d'ERNIE-ViL","depth":3},{"id":"réseau-multimodal-à-deux-flux","text":"Réseau multimodal à deux flux","depth":3},{"id":"tâches-de-prédiction-fondées-sur-un-graphe-de-scène","text":"Tâches de prédiction fondées sur un graphe de scène","depth":3},{"id":"alignement-sémantique","text":"Alignement sémantique","depth":3},{"id":"encodage-des-entrées","text":"Encodage des entrées","depth":3},{"id":"objectifs-de-préentraînement","text":"Objectifs de préentraînement","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"avantage-des-données-dentraînement-hors-domaine","text":"Avantage des données d'entraînement hors domaine","depth":3},{"id":"importance-de-la-prédiction-de-graphe-de-scène","text":"Importance de la prédiction de graphe de scène","depth":3},{"id":"texte-à-trous","text":"Texte à trous","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"multimodality/oscar","relation":"comparison","topic":"Objets et sémantique structurée en préentraînement vision-langage"}]},{"id":"multimodality/oscar","category":"multimodality","legacyPath":"multimodality/2004-oscar","legacySlug":"2004-oscar","legacyPaths":[],"title":"Oscar","subtitle":"Les points d'ancrage d'Oscar","author":"Z. Yuan","paperDate":"2020-04-13","publishedOn":"2024-06-04","paperTitle":"Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks","paperUrl":"https://arxiv.org/abs/2004.06165","bibliography":{"title":"Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks","authors":["Xiujun Li","Xi Yin","Chunyuan Li","Pengchuan Zhang","Xiaowei Hu","Lei Zhang","Lijuan Wang","Houdong Hu","Li Dong","Furu Wei","Yejin Choi","Jianfeng Gao"],"url":"https://arxiv.org/abs/2004.06165","pdfUrl":"https://arxiv.org/pdf/2004.06165","codeUrl":null,"preprint":{"id":"2004.06165","submittedOn":"2020-04-13","url":"https://arxiv.org/abs/2004.06165"},"publication":{"venue":"ECCV","year":2020,"kind":"conference","url":"https://arxiv.org/abs/2004.06165"},"citation":"@misc{multimodalityoscar2020,\n  title = {{Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks}},\n  author = {Xiujun Li and Xi Yin and Chunyuan Li and Pengchuan Zhang and Xiaowei Hu and Lei Zhang and Lijuan Wang and Houdong Hu and Li Dong and Furu Wei and Yejin Choi and Jianfeng Gao},\n  year = {2020},\n  eprint = {2004.06165},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2004.06165}\n}\n","citationPath":"/content/papers/citations/multimodality/oscar.f753816326f7.bib"},"thumbnail":{"src":"/content/papers/assets/a3a3bdfd3ba2e6387f71c701021f8048603307f1ed8674c75f2fae390cd34238.jpg","width":1224,"height":484},"locale":"fr","path":"/content/papers/fr/multimodality/oscar.f307d89cd542.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"solution","text":"Solution","depth":2},{"id":"conception-doscar","text":"Conception d'Oscar","depth":3},{"id":"objectifs-de-pré-entraînement","text":"Objectifs de pré-entraînement","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"comparaison-de-lefficacité-des-paramètres","text":"Comparaison de l'efficacité des paramètres","depth":3},{"id":"comparaison-des-performances","text":"Comparaison des performances","depth":3},{"id":"étude-qualitative","text":"Étude qualitative","depth":3},{"id":"étude-dablation","text":"Étude d'ablation","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"multimodality/vinvl","relation":"next","topic":"Utiliser les objets en préentraînement image-texte"},{"id":"multimodality/ernie-vil","relation":"comparison","topic":"Objets et sémantique structurée en préentraînement vision-langage"}]}],"text":"Depuis BERT, vous avez sans doute entendu parler de plusieurs évolutions et pourriez en citer quelques différences. Par exemple :\n\nLors du préentraînement, ERNIE masque ensemble des groupes de mots et des entités nommées afin d'apprendre des informations sémantiques plus complètes. ERNIE 2.0 ajoute aussi d'autres tâches de préentraînement pour améliorer les représentations. Il s'agit ici d'un masquage structuré et d'un apprentissage multitâche, pas de l'injection directe d'un graphe externe d'entités dans le modèle.\n\nPuisqu'ERNIE a apporté ses améliorations à BERT, il était assez prévisible que les chercheurs cherchent à transposer l'idée dans d'autres domaines.\n\n## Définir le problème\n\nLes auteurs s'intéressent aux modèles visuels et linguistiques préentraînés, et surtout à leurs limites dans l'alignement sémantique fin.\n\nCes modèles distinguent souvent mal les mots ordinaires de ceux qui décrivent précisément les objets, leurs attributs ou leurs relations. Dans une scène réelle, ils peuvent alors avoir du mal à représenter les nuances du sens.\n\nLes auteurs définissent plusieurs points à résoudre :\n\n1. **Limites des modèles visuels et linguistiques actuels**\n\n   Les modèles existants masquent et prédisent souvent des sous-mots au hasard, sans distinguer efficacement les mots ordinaires de ceux qui portent les détails sémantiques : objets, attributs des objets et relations entre eux.\n\n2. **Importance d'un alignement sémantique détaillé**\n\n   Les méthodes actuelles négligent souvent l'intérêt d'un alignement fin entre vision et langage. Face à des scènes réelles, le modèle risque alors de manquer certaines différences subtiles.\n\n3. **Difficulté à réunir les données de préentraînement**\n\n   Contrairement à un modèle entraîné sur du texte seul, un modèle visuel et linguistique a besoin de paires image-texte bien alignées, difficiles à obtenir en grande quantité.\n\n## Résoudre le problème\n\n### Architecture d'ERNIE-ViL\n\n![Architecture d'ERNIE-ViL](/content/papers/assets/e59513b3c738e3b5a4f5fa4775c355f3e400801648d5a94e8695db61d024556e.jpg)\n\n### Réseau multimodal à deux flux\n\nLa structure Transformer à deux flux permet de combiner efficacement les informations visuelles et linguistiques pour former une représentation commune plus complète.\n\n1. **Structure à deux flux**\n\n   « Deux flux » signifie que le texte et l'image empruntent chacun une voie. Dans ERNIE-ViL, chaque modalité possède son propre Transformer : il peut ainsi traiter les caractéristiques propres au texte ou à l'image avant leurs interactions.\n\n2. **Traitement des données textuelles et visuelles**\n\n   Le texte est une séquence, tandis que l'image a une structure spatiale en deux dimensions. Les traiter séparément permet au modèle de tenir compte des propriétés de chaque modalité, avant d'apprendre leurs relations par les mécanismes prévus à cet effet.\n\n3. **Blocs Transformer entre modalités**\n\n   Ces blocs favorisent les échanges et l'alignement entre les données textuelles et visuelles. Les deux flux interagissent au moyen de l'attention multimodale ; ils n'attendent pas que chacun termine entièrement ses calculs pour fusionner. Le but est de saisir les correspondances et le contexte entre texte et image.\n\nVoilà l'objectif de cette structure : devant une image et une phrase qui la décrit, le modèle devrait comprendre leur rapport. Si le texte parle d'une « balle rouge », par exemple, il devrait pouvoir repérer la balle rouge dans l'image.\n\n### Tâches de prédiction fondées sur un graphe de scène\n\nUn graphe de scène (Scene Graph) n'est pas en soi un modèle entraînable : c'est une structure de données, une manière de représenter des informations. Ici, on analyse d'abord la description textuelle associée à l'image pour en extraire les objets, leurs attributs et leurs relations.\n\nUn tel graphe décrit les objets d'une scène, leurs attributs et les relations entre eux. Pour une image montrant « une pomme rouge sur une table », il peut contenir les objets « pomme » et « table », l'attribut « rouge » et la relation « sur » qui les relie.\n\nTrois tâches de prédiction en découlent :\n\n1. **Prédiction des objets** : parmi les nœuds d'objets extraits du texte, on en choisit 30 % au hasard, puis on masque les segments textuels correspondants. Le modèle prédit les mots manquants à partir du reste du texte et des régions d'image : par exemple « pomme » ou « table ».\n2. **Prédiction des attributs** : on choisit 30 % des paires objet-attribut. Le mot désignant l'objet reste visible, tandis que son attribut est masqué : garder « pomme », par exemple, pour prédire « rouge ».\n3. **Prédiction des relations** : les mots désignant les deux objets restent visibles, mais le segment textuel qui exprime leur relation est masqué. Le modèle doit prédire « sur », par exemple, à partir de « pomme », « table », du contexte et des régions d'image.\n\nCes trois tâches incitent ERNIE-ViL à modéliser plus finement la sémantique qui relie la vision à la description textuelle. Il ne s'agit plus seulement de reconnaître des objets et leurs noms : les attributs et les relations comptent aussi dans la représentation visuelle et linguistique.\n\n### Alignement sémantique\n\nUn objectif central d'ERNIE-ViL est d'établir un alignement sémantique fin entre l'image et le texte. Autrement dit, le modèle doit relier les objets visibles à la manière dont la phrase les décrit.\n\nSi l'image montre un chat sur une voiture, il ne suffit pas de reconnaître « chat » et « voiture » : il faut aussi comprendre la relation « sur ». C'est ainsi que la description peut être reliée à la scène représentée.\n\nLes tâches de prédiction des objets, attributs et relations jouent donc un rôle décisif. Elles poussent le modèle à tenir compte à la fois des objets, de leurs propriétés et des liens qui les unissent.\n\n### Encodage des entrées\n\nEncoder signifie ici transformer les entrées en vecteurs exploitables par le modèle. ERNIE-ViL traite séparément les données textuelles et visuelles :\n\n1. **Encodage de la phrase**\n\n   - WordPiece décompose la phrase en sous-mots. Un mot comme « playing » peut, selon le vocabulaire, être découpé en « play » et « ing ».\n   - L'encodage de chaque sous-mot combine plusieurs sources : un vecteur lexical pour son sens, un vecteur de segment pour distinguer les phrases ou passages, et un vecteur de position pour sa place dans la séquence.\n\n2. **Encodage de l'image**\n   - Un détecteur d'objets préentraîné repère les objets principaux et extrait les caractéristiques des régions : il peut, par exemple, reconnaître un chat ou une voiture.\n   - Pour chaque objet ou région détectée, le modèle utilise un vecteur à cinq dimensions représentant sa position et sa surface dans l'image. Il ajoute aussi une caractéristique [IMG] pour l'image entière.\n\n### Objectifs de préentraînement\n\nLe préentraînement permet d'apprendre des représentations à partir d'un grand volume de données avant leur adaptation à des tâches particulières. ERNIE-ViL propose plusieurs objectifs pour les images et le langage : prédire objets, attributs et relations, mais aussi effectuer une modélisation du langage masqué. Voyons ce que chacun apporte :\n\n1. **Prédiction des objets**\n\n   Les objets sont essentiels pour comprendre une scène. Imaginez une image avec une pomme et une table : on masque le mot « pomme » dans la description, et non la région de la pomme dans l'image. Le modèle prédit ce mot à partir du reste du texte et des régions visuelles.\n\n2. **Prédiction des attributs**\n\n   Un objet peut avoir une couleur, une taille ou une forme. Dans « pomme rouge », « rouge » est l'un de ses attributs. Cette tâche garde visible le nom de l'objet, masque le mot décrivant son attribut et demande au modèle de le prédire à l'aide de l'image.\n\n3. **Prédiction des relations**\n\n   Les relations renseignent davantage sur la scène. Dans « la pomme est sur la table », « sur » situe l'un des objets par rapport à l'autre. Le modèle conserve les deux noms d'objets, masque l'expression de leur relation et la prédit grâce au texte environnant et aux régions visuelles.\n\n4. **Modélisation du langage masqué (MLM)**\n\n   MLM est une tâche de préentraînement textuelle. Dans « la pomme est rouge », on peut masquer au hasard « rouge », puis demander au modèle de le retrouver à partir du reste de la phrase et des régions d'image. Contrairement aux tâches SGP, le choix du mot à masquer ne dépend pas des nœuds du graphe de scène.\n\n5. **Prédiction des régions masquées et appariement image-texte**\n\n   Deux autres objectifs s'y ajoutent. MRP (Masked Region Prediction) masque certaines caractéristiques des régions d'image et demande de les prédire. ITM (Image-Text Matching) décide si image et texte correspondent. Ces objectifs restent distincts des tâches SGP, qui masquent des éléments du texte. L'article ne calcule les pertes de prédiction des jetons et des régions que pour les paires image-texte correctes.\n\n## Discussion\n\nSur plusieurs tâches visuelles et linguistiques, les résultats d'ERNIE-ViL sont solides face aux autres modèles multimodaux préentraînés de l'époque. Les auteurs retiennent plusieurs observations :\n\n### Avantage des données d'entraînement hors domaine\n\n![Résultats d'ERNIE-ViL sur différents jeux de données](/content/papers/assets/93433c53b7ce9d8a961e2d30a0771510f61e5942904a94002fc80b6403460a2a.jpg)\n\nD'après la Table 3, ERNIE-ViL obtient de bons résultats dans plusieurs tâches, notamment après préentraînement sur les grands jeux de données hors domaine CC et SBU.\n\nVoici quelques points saillants :\n\n1. Face aux autres méthodes préentraînées sur ces mêmes jeux hors domaine, ERNIE-ViL arrive en tête sur les cinq tâches principales.\n2. En raisonnement visuel, ERNIE-ViL-large fait passer le score VCR Q→AR sur le **test** de 59,7 pour VL-BERT-large à 66,3, soit **6,60 points** de plus. En VQA test-std, 72,22 devient 73,96, soit **1,74 point** de plus.\n3. Pour la localisation visuelle RefCOCO+, ERNIE-ViL-large passe de 78,57/62,30 pour VL-BERT-large à 80,97/64,70 sur testA/testB : **2,40 points** de plus dans chaque colonne.\n4. En recherche multimodale Flickr30K, ERNIE-ViL-base dépasse Unicoder-VL-base de **2,94 points** de R@1 en recherche d'images et de **0,50 point** en recherche de texte.\n5. En ajoutant au préentraînement toutes les données hors domaine et du domaine de la tâche, ERNIE-ViL-large dépasse encore plusieurs méthodes avancées, dont UNITER, OSCAR et VILLA, sur plusieurs tâches.\n\n### Importance de la prédiction de graphe de scène\n\n![Résultats d'ERNIE-ViL selon les objectifs](/content/papers/assets/dffdccd969daebdbf36127702b64a2ac3d552250cedf0d61aea1811374fdf957.jpg)\n\nLa tâche Scene Graph Prediction (SGP) contribue aux résultats du modèle. Les expériences font apparaître les observations suivantes :\n\n1. **Ajout de SGP**\n   - Dans les deux premières lignes, dont le flux textuel est initialisé avec BERT, l'ajout de SGP améliore les scores VCR, VQA, RefCOCO+, recherche d'images et de texte. Sur VCR Q→AR dev, par exemple, le score passe de 59,06 à 59,92.\n2. **Gains sur certaines tâches**\n   - Sur RefCOCO+ val, l'exactitude passe de 72,81 à 73,50, soit **0,69 point** de plus.\n   - Sur Flickr30K, le R@1 de recherche d'images passe de 70,74 à 72,96, soit **2,22 points** de plus.\n3. **Effet d'ERNIE 2.0**\n   - Si l'initialisation du flux textuel passe de BERT à ERNIE 2.0 alors que SGP est conservé dans les deux cas, VCR Q→AR dev passe de 59,92 à 61,24. Les auteurs supposent que les autres tâches de préentraînement d'ERNIE 2.0 ont pu apporter davantage de connaissances de sens commun.\n\nL'ajout de SGP améliore sensiblement les résultats d'ERNIE-ViL, en particulier dans les tâches exigeant un alignement sémantique fin, comme la localisation à partir d'une expression référentielle et la recherche multimodale. Cela souligne l'intérêt de modéliser les relations entre image et texte à l'aide d'un graphe de scène.\n\n### Texte à trous\n\n![Exemples de texte à trous pour ERNIE-ViL](/content/papers/assets/078907accdb941702e6734dd39d37f57e3af40b1bcae7846cde7244166affa5d.jpg)\n\nLes auteurs évaluent SGP au moyen d'un test à trous conditionné par l'image. Le modèle doit déduire des éléments sémantiques masqués à partir du contexte textuel et visuel.\n\n1. **Construction du jeu de données**\n   - Ils tirent au hasard **15 000** paires image-texte de Flickr30K, puis choisissent **5 000** cibles masquées dans chacune des catégories objets, attributs et relations.\n2. **Mesures d'évaluation**\n   - ACC@1 mesure la précision de la première proposition et ACC@5 celle des cinq premières.\n3. **Résultats comparés (Table 6 de l'article ; l'image ci-dessus montre les exemples qualitatifs de la Table 5)**\n   - Avec SGP, ACC@1 progresse de **1,20 point** pour les objets, de **3,08 points** pour les relations et de **1,84 point** pour les attributs ; le score global passe de 49,75 à 51,75.\n   - Les paramètres textuels des deux modèles sont initialisés à partir de BERT.\n4. **Autres observations**\n   - Dans certains exemples, le modèle sans SGP ne trouve pas la bonne réponse, peut-être parce que son préentraînement distingue moins bien les mots ordinaires des détails sémantiques. Dans d'autres, il trouve la bonne réponse, mais avec une confiance inférieure à celle du modèle entraîné avec SGP.\n\nLes auteurs concluent de ce test à trous que SGP aide ERNIE-ViL à apprendre un alignement sémantique plus fin entre modalités.\n\n## Conclusion\n\nL'architecture ERNIE peut extraire des connaissances utiles à l'apprentissage multimodal, mais elle demande aussi beaucoup de calcul et de stockage. Dans certains appareils ou contextes, cela peut limiter son usage. De plus, même si elle tire parti de connaissances préalables, sa généralisation à certaines scènes multimodales rares pourrait encore être améliorée.\n\nERNIE-ViL améliore l'alignement sémantique fin grâce à la prédiction de graphe de scène, mais soulève également des questions. Si, par exemple, une relation entre « arbre » et « personne » était mal annotée comme « assise » au lieu de « debout », le modèle pourrait apprendre un mauvais indice pour une tâche ultérieure. C'est une situation hypothétique : l'article ne mesure pas les effets d'une telle erreur.\n\n\n> [!TIP]\n> \n> La justesse et l'exhaustivité du graphe de scène peuvent peser sur les performances du modèle !\n\n\nCette possibilité ajoute de l'incertitude dans l'usage réel. Imaginez aussi une silhouette floue vue de dos, ou plusieurs objets qui se chevauchent : le modèle pourrait hésiter entre « personne », « ombre » ou autre chose. Dans une scène complexe ou ambiguë, interpréter correctement l'image peut devenir difficile, surtout lorsqu'une tâche exige une reconnaissance précise des objets ou de la scène. Ce sont des risques envisagés par l'auteur, pas des échecs mesurés dans l'article.\n\nLe recours à un graphe de scène sous-entend une idée : « la façon humaine d'organiser les connaissances » serait meilleure que « celle qu'apprend le modèle » ; on cherche donc à lui faire apprendre cette organisation.\n\nMais est-ce vraiment une bonne idée ?\n\nJe vous invite aussi à y réfléchir : qu'est-ce que cela apporte, et qu'est-ce que cela risque de coûter ? En examinant les deux côtés, on comprend mieux les possibilités et les difficultés de cette forme d'« enrichissement par les connaissances ».\n\nMalgré ces questions, ERNIE-ViL montre des résultats remarquables en préentraînement multimodal et ouvre de nouvelles pistes. On pourrait, par exemple, intégrer un graphe de scène extrait directement de l'image, ou utiliser un réseau de neurones de graphe (GNN) pour exploiter davantage de connaissances structurées. Ces deux pistes concernent des travaux futurs ; elles ne sont pas des composants du modèle étudié ici.\n","imageSizes":{"/content/papers/assets/e59513b3c738e3b5a4f5fa4775c355f3e400801648d5a94e8695db61d024556e.jpg":{"width":1680,"height":776},"/content/papers/assets/93433c53b7ce9d8a961e2d30a0771510f61e5942904a94002fc80b6403460a2a.jpg":{"width":1024,"height":656},"/content/papers/assets/dffdccd969daebdbf36127702b64a2ac3d552250cedf0d61aea1811374fdf957.jpg":{"width":1024,"height":151},"/content/papers/assets/078907accdb941702e6734dd39d37f57e3af40b1bcae7846cde7244166affa5d.jpg":{"width":1024,"height":398}}}
