Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks
- Publication
- ECCV 2020Conférence
- Premier dépôt sur arXiv
- arXiv:2004.06165
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{multimodalityoscar2020,
title = {{Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks}},
author = {Xiujun Li and Xi Yin and Chunyuan Li and Pengchuan Zhang and Xiaowei Hu and Lei Zhang and Lijuan Wang and Houdong Hu and Li Dong and Furu Wei and Yejin Choi and Jianfeng Gao},
year = {2020},
eprint = {2004.06165},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2004.06165}
}
Dans le domaine vision-langage (V+L), l'ambiguïté reste un obstacle difficile à franchir. Lorsque les régions de plusieurs objets se chevauchent, extraire des caractéristiques visuelles précises devient particulièrement délicat. Imaginez un chat et un chien qui se croisent et se superposent dans une même image : les caractéristiques de leurs régions peuvent devenir confuses, ce qui complique leur alignement sémantique avec les mots. Comment trouver une représentation claire dans cette zone mêlée, puis la relier au langage ? C'est le problème étudié par Oscar.
Pour comprendre le mécanisme, imaginons plutôt une pomme et une banane qui se recouvrent partiellement. Si nous extrayons directement les caractéristiques de la zone commune, nous obtenons une sorte de « mélange » des deux objets, difficile à aligner ensuite avec une description.
Oscar ajoute une idée astucieuse : ne pas regarder seulement la région visuelle ambiguë, mais utiliser les étiquettes d'objets, ici « pomme » et « banane », comme points d'ancrage pour l'alignement.
Chaque exemple d'entraînement est ainsi un triplet : une séquence de mots, des étiquettes d'objets et des caractéristiques de régions d'image. Même si les régions visuelles sont ambiguës, les étiquettes peuvent aider à établir la correspondance avec le texte et offrir une base relativement solide pour les tâches V+L qui suivent.
Définition du problème
Les auteurs identifient deux grandes difficultés dans le pré-entraînement vision-langage (VLP) :
-
Ambiguïté (Ambiguity)
- Problème : quand deux régions d'objets ou davantage se recouvrent, leurs caractéristiques visuelles deviennent difficiles à distinguer.
- Exemple : dans la Figure 2(a), les régions de « dog » et « couch » se chevauchent beaucoup, ce qui peut rendre leurs caractéristiques similaires.
- Conséquence : sur une tâche complexe de correspondance image-texte, il peut être difficile d'apprendre un alignement précis.
-
Manque d'ancrage (Lack of Grounding)
- Problème : le VLP relève d'un apprentissage faiblement supervisé ; il ne fournit pas explicitement la correspondance entre régions ou objets de l'image et mots ou groupes de mots du texte.
- Conséquence : même si « dog » et « couch » apparaissent dans l'image et dans la description, le modèle peut ne pas apprendre exactement quel mot désigne quel objet.
Solution
Conception d'Oscar
-
Entrée sous forme de triplet (w, q, v)
Oscar représente chaque paire image-texte par un triplet (w, q, v).
-
w (séquence d'embeddings des mots du texte)
Ce sont les vecteurs correspondant aux tokens de l'entrée textuelle.
-
q (séquence de mots encodant les étiquettes d'objets)
Elle représente les étiquettes reconnues dans l'image. Elles proviennent du même détecteur Faster R-CNN qui extrait les caractéristiques des régions.
-
v (ensemble des vecteurs de régions)
Ce sont les vecteurs des régions détectées dans l'image ; ils peuvent décrire leur contenu visuel et leur position.
-
-
Étiquettes d'objets comme points d'ancrage
Oscar emploie les étiquettes q pour faciliter l'alignement entre image et texte. Les objets importants d'une image sont souvent mentionnés dans sa description ; q peut donc aider le modèle à apprendre cette relation. Au cours de l'apprentissage, le modèle relie une région visuelle potentiellement ambiguë à une représentation linguistique plus distincte de l'objet.
-
Espace sémantique partagé et attention
Grâce à BERT, le modèle peut établir assez facilement une relation entre les étiquettes q et les mots w. Il peut alors accorder davantage d'attention aux régions liées au sens du texte. Une requête fondée sur des mots proches de q peut recevoir une attention plus forte vers les régions correspondantes.
-
Production de v et q
Pour une image contenant K régions d'objets, Faster R-CNN fournit, pour chacune, une caractéristique visuelle et sa position notées (v’, z). v’ est un vecteur de dimension P, fixé à 2 048 pour les régions dans l'article ; z est un vecteur de position de dimension R, égale à 4 ou 6.
- v concatène v’ et z pour former une caractéristique de région tenant compte de la position, puis la projette linéairement dans la même dimension que les mots encodés.
- La séquence q des étiquettes d'objets vient elle aussi du même Faster R-CNN.
Objectifs de pré-entraînement
On peut considérer l'entrée d'Oscar sous deux angles. x distingue les représentations textuelles et visuelles selon leur modalité ; x’ distingue les deux espaces sémantiques selon leur vocabulaire.
-
Vue du vocabulaire : perte de tokens masqués (Masked Token Loss)
Des vocabulaires différents décrivent les espaces des sous-séquences. Les étiquettes d'objets et les mots partagent l'espace sémantique du langage ; les caractéristiques des régions appartiennent à l'espace visuel. Les auteurs emploient une perte de tokens masqués (Masked Token Loss, MTL) pendant le pré-entraînement.
À chaque itération, chaque token du texte et des étiquettes a 15 % de chances d'être masqué, c'est-à-dire remplacé par
[MASK]. Les caractéristiques des régions ne sont pas masquées ici. Le modèle prédit ces tokens à partir des autres et de toutes les caractéristiques de l'image.Ce procédé ressemble au langage masqué de BERT, car il faut retrouver un mot ou une étiquette à partir du contexte. Les informations visuelles supplémentaires aident cependant à ancrer les mots dans l'image.
Le modèle doit déduire « chien » grâce aux autres mots et à l'image. Les indices visuels apportent un contexte supplémentaire pour cette prédiction.
-
Vue des modalités : perte contrastive (Contrastive Loss)
Pour représenter le triplet, les auteurs considèrent comme la modalité image et comme la modalité langue.
Voici un détail intéressant de l'expérience : avec une probabilité de 50 %, ils remplacent par une autre séquence d'étiquettes tirée au hasard, créant une représentation d'image « contaminée ». La sortie de l'encodeur au marqueur
[CLS]représente la fusion vision-langage de . Une couche entièrement connectée placée au-dessus sert alors de classifieur binaire : contient-elle la représentation d'origine () ou la version contaminée () ?
Tout au long du pré-entraînement multimodal, les étiquettes servent d'intermédiaire pour l'image et ajustent l'espace des mots encodés par BERT. Les représentations du texte devraient se rapprocher des images correspondantes, ou des étiquettes détectées dans ces images, et se distinguer des représentations contaminées.
Discussion
Comparaison de l'efficacité des paramètres
Les auteurs examinent d'abord les performances et l'efficacité d'Oscar sur les tâches V+L, en le comparant à trois types de modèles antérieurs parmi les meilleurs. Face aux grands modèles du tableau, Oscar présente de bons résultats et une efficacité de paramètres élevée sur la plupart des tâches.
Comparaison des performances
-
Performances générales d'Oscar
- Oscar obtient de bons résultats sur la plupart des tâches vision-langage.
- Parmi les sept tâches en aval du tableau, il établit le meilleur résultat de l'époque sur six. Sur GQA, il reste derrière NSM, qui exploite un a priori structurel.
-
Comparaison avec d'autres modèles
- Oscar fait peut-être un peu moins bien que la Neural State Machine (NSM) sur GQA, mais pourrait bénéficier d'un a priori structurel semblable.
- Face au modèle multitâche 12-in-1, OscarB fait mieux sur la plupart des tâches ; son résultat est inférieur sur NLVR2 Test-P.
-
Méthode et stratégie d'entraînement
- Pour la génération de légendes, les auteurs poursuivent l'ajustement avec le Self-Critical Sequence Training (SCST), afin d'améliorer l'apprentissage au niveau de la séquence.
- Dans le Tableau 2(e), après optimisation CIDEr, Oscar-large passe par rapport à VLP de 39,5 à 41,7 pour BLEU@4 et de 129,3 à 140,0 pour CIDEr, soit des gains de 2,2 et 10,7 points.
-
Capacité de généralisation
- Pour NoCaps, les expériences n'utilisent que les légendes COCO comme données d'entraînement. Oscar est initialisé à partir de BERT, sans le pré-entraînement multimodal précédent sur 6,5 millions de paires image-texte.
- Le Tableau 2(f) compare plusieurs variantes d'Oscar à UpDown. Avec SCST et CBS, par exemple, Oscar-large atteint 80,3 sur CIDEr hors domaine, au-dessus des 71,7 d'UpDown + ELMo + CBS. Il faut distinguer les réglages CBS, SCST et ELMo d'une ligne à l'autre.
En utilisant les étiquettes d'objets comme points d'ancrage, Oscar simplifie l'apprentissage de l'alignement sémantique entre images et mots. C'est l'une des raisons possibles de son efficacité et de ses bons résultats. Selon la tâche, ses choix peuvent aussi être combinés à d'autres méthodes ou connaissances préalables.
Malgré ses bonnes performances sur la plupart des tâches, certains réglages ou indicateurs peuvent encore être améliorés, comme le résultat sur NLVR2 Test-P.
Étude qualitative
Les auteurs utilisent t-SNE pour visualiser en deux dimensions l'espace sémantique appris pour les paires image-texte du test COCO. Ils en tirent plusieurs observations :
-
Cohérence au sein des classes
- Les étiquettes d'objets rapprochent les représentations visuelles et textuelles du même objet.
- Pour un objet comme « personne » ou « zèbre », les deux représentations sont plus proches avec Oscar que dans la méthode de référence.
-
Différences entre classes
- Après ajout des étiquettes, les catégories sémantiquement proches se rapprochent, tout en restant distinguables.
- Certaines classes d'animaux, de meubles ou de véhicules se mélangent dans la méthode de référence. Avec les étiquettes, « personne », « zèbre », « mouton », « oiseau », « chaise », « canapé », « banc », « bus », « train », « camion », « moto » et « voiture » se séparent plus clairement.
-
Importance des étiquettes d'objets
- Elles jouent un rôle d'ancrage pour relier et régulariser l'apprentissage des caractéristiques entre modalités.
Étude d'ablation
La figure montre plusieurs points :
- Sur toutes les tâches, les courbes d'ajustement avec étiquettes convergent plus vite et vers de meilleurs scores que la méthode VLP sans étiquettes.
- Sur les courbes de VQA et de recherche d'images, l'ajustement avec étiquettes atteint approximativement le score final de la référence à la moitié de sa progression d'entraînement. Il s'agit d'époques, pas du temps d'exécution sur le matériel.
Dans ces tâches visuelles, les étiquettes améliorent donc les résultats et réduisent le nombre d'époques nécessaire pour atteindre ou dépasser la référence sans étiquettes.
- Avec l'attention complète, le R@1 de recherche de texte est de 77,3, contre 75,4 lorsque seule l'attention – est gardée. Cette expérience part seulement des poids BERT-base, sans pré-entraînement multimodal d'Oscar.
- Lorsque seule l'attention – est gardée, le R@1 tombe à 32,3, sous les 75,4 de –. Les caractéristiques des régions apportent donc plus d'information visuelle que les seules étiquettes d'objets. La figure ne comporte pas de ligne isolant –.
Les étiquettes d'objets aident Oscar sur plusieurs tâches en aval et lui permettent, en nombre d'époques, d'atteindre plus vite le score de la référence sans étiquettes. Elles interagissent avec les caractéristiques de régions dans l'attention ; le choix du jeu d'étiquettes pendant le pré-entraînement influe également sur les résultats.
Conclusion
Au fond, cela me fait aussi penser à une manière d'apporter au modèle des concepts choisis par des humains.
Les étiquettes viennent d'une définition humaine. Elles guident le modèle, mais ce guide est-il juste ? Est-il suffisant ? Ne risque-t-il pas aussi de limiter ce que le modèle pourrait apprendre ?
Oscar dépend en partie de la précision et de la qualité des étiquettes d'objets. Si elles sont trop imprécises ou trop peu variées, le modèle risque d'apprendre des caractéristiques erronées ou trop étroites, ce qui nuit au pré-entraînement et aux tâches en aval. Le langage humain offre une infinité de possibilités, alors que les étiquettes restent limitées. Étendre des concepts finis à une telle diversité constitue un défi difficile.
Quoi qu'il en soit, Oscar enrichit l'étude du pré-entraînement multimodal et montre une voie efficace pour réunir vision et langage. Sa stratégie d'apprentissage et ses expériences laissent des questions ouvertes que les recherches suivantes pourront explorer.