UNITER: UNiversal Image-TExt Representation Learning
- Publication
- ECCV 2020Conférence
- Premier dépôt sur arXiv
- arXiv:1909.11740
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{multimodalityuniter2019,
title = {{UNITER: UNiversal Image-TExt Representation Learning}},
author = {Yen-Chun Chen and Linjie Li and Licheng Yu and Ahmed El Kholy and Faisal Ahmed and Zhe Gan and Yu Cheng and Jingjing Liu},
year = {2019},
eprint = {1909.11740},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1909.11740}
}
Dans les articles précédents, nous avons vu apparaître les « modèles à un flux », puis les « modèles à deux tours », les « modèles à deux flux » et ainsi de suite.
En somme, soit on traite ensemble les informations des différentes modalités, soit on les traite séparément.
Si vous les séparez, les chercheurs suivants voudront les réunir, puis vous dépasser ; si vous les réunissez, ils voudront les séparer, puis vous dépasser.
Nous voulions seulement lire quelques articles tranquillement, et nous voilà en train d'en tirer une petite leçon de vie.
Revenons à UNITER.
Dans les travaux vision-langage (V+L), l'encodage conjoint de plusieurs modalités sert depuis longtemps à réduire l'écart sémantique entre images et textes. Pourtant, ces méthodes et leurs représentations sont souvent conçues pour une tâche particulière. Une méthode bâtie pour une tâche V+L risque donc de mal s'adapter aux autres. Le problème revient fréquemment dans ce domaine et complique la recherche d'une solution générale.
MCB, BAN, DFAF, SCAN et MAttNet, par exemple, proposent des méthodes avancées dans leurs domaines respectifs. Leurs architectures et leurs représentations restent cependant variées et très liées à la tâche, ce qui limite leur emploi sur un ensemble plus large de tâches V+L.
Définition du problème
Les auteurs reconnaissent les réussites des travaux existants, mais voient encore plusieurs défis pour les représentations multimodales générales, les stratégies de masquage et l'alignement :
-
Encodage multimodal propre à une tâche : les méthodes d'encodage vision-langage sont souvent conçues pour un usage précis, ce qui limite leur généralisation à d'autres tâches V+L.
-
Diversité des architectures et des représentations : MCB, BAN et d'autres travaux ont chacun leurs propres choix. Cette diversité complique leur adaptation à de nombreuses tâches.
-
Transposition directe des recettes du NLP : Transformer et BERT ont réussi en traitement du langage, mais appliquer leurs méthodes telles quelles à la vision et au langage n'est peut-être pas optimal. Il faut des stratégies et des objectifs de pré-entraînement propres au domaine V+L.
-
Limites des stratégies de masquage : selon ce qui est masqué, les représentations apprises peuvent changer, tout comme les résultats sur les tâches en aval.
-
Difficulté de l'alignement sémantique : établir la correspondance entre images et mots demeure un défi central, surtout à une échelle fine.
Les auteurs en tirent une question essentielle :
- Pouvons-nous apprendre une représentation image-texte réellement générale pour toutes les tâches V+L ?
Solution
Conception d'UNITER
UNITER vise les tâches vision-langage et cherche d'abord à combler l'écart sémantique entre image et texte. Regardons les principaux composants et les idées qui les motivent.
-
Architecture du modèle
- La structure comprend des modules d'encodage pour l'image et le texte, suivis de plusieurs couches Transformer. Elle extrait d'abord les caractéristiques des deux entrées, puis permet leurs interactions et leur intégration dans le Transformer.
-
Stratégie d'encodage
- Pour l'image, Faster R-CNN fournit les caractéristiques visuelles. Un vecteur à sept dimensions encode la position de chaque région. Les deux caractéristiques sont projetées séparément par des couches entièrement connectées, additionnées, puis normalisées par couche afin de conserver apparence et position.
- Pour le texte, UNITER suit BERT : WordPiece segmente la phrase et chaque token est encodé pour représenter le mot et son contexte.
-
Auto-attention
- Le Transformer d'UNITER apprend des représentations contextualisées par auto-attention et relie les différentes modalités. L'encodage explicite de la position des tokens et des régions l'aide à saisir un contexte plus fin.
-
Tâches de pré-entraînement
- Le modèle combine plusieurs objectifs : langage masqué conditionné par l'image, région masquée conditionnée par le texte, association image-texte et alignement mot-région. Chacun renforce l'apprentissage multimodal sous un autre angle.
-
Masquage conditionnel
- UNITER choisit de masquer une seule modalité à la fois, tout en laissant l'autre intacte. Il cherche ainsi à éviter de perdre simultanément les indices correspondants des deux côtés et à mieux relier images et mots.
-
Alignement mot-région
- Un objectif fondé sur le transport optimal encourage explicitement des correspondances fines entre mots et régions de l'image. Il sert à optimiser leur alignement sémantique.
Stratégie de pré-entraînement
Le pré-entraînement est au cœur d'UNITER. Ses objectifs cherchent à aider le modèle à comprendre et à réunir les informations d'une image et de sa description.
Voyons-les un à un :
-
Modèle de langage masqué (MLM)
Le MLM choisit au hasard 15 % des tokens textuels : 80 % sont remplacés par
[MASK], 10 % par un token aléatoire et 10 % restent tels quels. Le modèle utilise le contexte et l'image entière pour prédire les tokens sélectionnés.Imaginons la phrase « Le chiot joue dans [MASK] » accompagnée d'une image où le chiot gambade sur une pelouse verte. Les indices visuels peuvent aider à prédire « pelouse » à la place de
[MASK].Il ne s'agit pas seulement de remplir un blanc. Le modèle doit aussi rapprocher le contexte de la phrase du contenu visuel ; cette tâche l'entraîne à traiter les deux plus finement.
-
Association image-texte (ITM)
L'ITM sert à juger si une description et une image vont ensemble. Il demande au modèle d'évaluer leur relation sémantique.
Un token spécial
[CLS]est placé dans l'entrée pour produire une représentation fusionnée de l'image et du texte. C'est à partir de cette représentation que le modèle décide si la paire correspond.Prenons la phrase « plage au coucher du soleil » et une photo qui montre précisément cette scène. À l'aide de
[CLS], le modèle produit une représentation commune, puis une couche entièrement connectée et une fonction sigmoïde lui donnent un score compris entre 0 et 1.À l'entraînement, il existe aussi des paires négatives, où texte et image ne correspondent pas. La même phrase peut par exemple être associée à une photo de montagnes. On les crée en choisissant au hasard l'image ou le texte d'un autre exemple.
Le modèle cherche à réduire ses erreurs sur les paires correctes et incorrectes, généralement au moyen d'une perte d'entropie croisée binaire.
-
Alignement mot-région (WRA)
Le WRA emploie le transport optimal (Optimal Transport, OT) pour améliorer la correspondance entre du texte, comme des mots, et les régions d'une image. Il encourage une association précise entre la description et l'élément visuel concerné.
Si la phrase parle d'une « pomme rouge » et que l'image contient des pommes de plusieurs couleurs, le but est d'associer ces mots à la pomme rouge plutôt qu'aux pommes vertes ou jaunes.
Pour y parvenir, l'OT apporte un cadre mathématique qui possède plusieurs propriétés :
- Auto-normalisation : la masse totale transportée vaut 1, ce qui normalise le plan d'alignement.
- Parcimonie : un problème de transport optimal résolu exactement peut admettre un plan de transport parcimonieux, utile pour examiner l'alignement ; l'article utilise en pratique une approximation IPOT.
- Efficacité : des méthodes adaptées peuvent réduire le coût du calcul de transport optimal à grande échelle, important pour le pré-entraînement de gros modèles.
L'OT mesure une distance entre deux distributions et optimise un « plan de transport » indiquant comment déplacer de la masse entre elles. Ici, ces distributions représentent le texte et l'image. Une fois le plan obtenu, la distance de transport optimal, calculée comme une somme des coûts pondérés par ce plan, sert de perte WRA pour mettre à jour le modèle et améliorer l'alignement. Le plan fournit les poids ; ce n'est pas lui qui constitue la perte.
-
Modélisation des régions masquées (MRM)
Le MRM porte sur les caractéristiques visuelles des régions. Comme pour le MLM, environ 15 % des régions sont sélectionnées et leurs caractéristiques sont masquées. Si une image montre plusieurs oiseaux en vol, le modèle peut ainsi perdre les caractéristiques de quelques oiseaux. Il doit alors utiliser les autres régions et le texte associé pour prédire ces caractéristiques manquantes. La tâche renforce sa capacité à raisonner avec une information visuelle incomplète.
Il existe trois variantes principales :
-
Régression des caractéristiques de régions masquées (MRFR)
La méthode la plus directe reconstruit les caractéristiques visuelles masquées. Pour les oiseaux de notre exemple, elle utilise les autres oiseaux et la description pour prédire les caractéristiques des régions cachées.
-
Classification des régions masquées (MRC)
Cette variante prédit la catégorie de l'objet caché. Elle prend comme étiquette d'entraînement la classe jugée la plus probable par le détecteur d'objets. Pour les régions d'oiseaux masquées, elle consulte le reste de l'image et le texte pour prédire la catégorie.
-
Classification des régions masquées par divergence KL (MRC-kl)
Cette variante de MRC ne se limite pas à la classe la plus probable. La distribution de sortie du détecteur sert d'étiquette souple : elle indique les probabilités des différentes catégories, et le modèle apprend à rapprocher sa prédiction de cette distribution.
-
Jeux de données de pré-entraînement
Les auteurs réunissent quatre jeux vision-langage connus :
- COCO ;
- Visual Genome (VG) ;
- Conceptual Captions (CC) ;
- SBU Captions.
Leur combinaison expose le modèle à des données nombreuses et diverses. Les auteurs ne les emploient cependant pas toutes de la même façon. Ils réunissent d'abord les descriptions d'images de COCO et les descriptions détaillées de VG dans un groupe « dans le domaine », puisque plusieurs tâches V+L en aval reposent sur ces jeux.
Pour ce groupe, ils prennent des précautions contre les recoupements. Les images de COCO et de Flickr30K viennent toutes deux de Flickr ; les images qui se chevauchent sont donc écartées. Après préparation, il reste 5,6 millions de paires image-texte pour l'entraînement et 131 000 pour la validation interne.
Conceptual Captions et SBU Captions constituent, eux, les données supplémentaires « hors domaine » du pré-entraînement.
Discussion
Effet des tâches de pré-entraînement
Pour étudier l'effet de leur stratégie multimodale, les auteurs évaluent quatre références V+L : VQA, NLVR2, Flickr30K et RefCOCO+. Ils utilisent aussi Meta-Sum, la somme de tous les scores de ces références, comme vue d'ensemble.
-
Configurations de référence
La première ligne, L1, n'emploie aucun pré-entraînement. L2 reprend les poids d'un MLM pré-entraîné seulement sur du texte. Ce pré-entraînement linguistique augmente déjà nettement Meta-Sum par rapport à L1.
-
Effet d'une seule tâche de pré-entraînement
L'ITM seul en L4 ou le MLM seul en L5 améliore tous les scores en aval du tableau par rapport à L1 et L2. Le MRFR seul en L3, en revanche, ne dépasse L2 que sur NLVR2.
-
Combinaison des tâches
Combiner MLM et ITM en L6 donne un Meta-Sum supérieur à chacun des deux objectifs pris seul ; pourtant RefCOCO+ en L6 reste inférieur à L5, qui n'utilise que MLM. L'ajout de MRM augmente encore Meta-Sum de L7 à L10. L10, qui associe MRC-kl à MRFR, atteint 399,97.
-
Alignement fin
De L10 à L11, l'ajout de WRA fait passer VQA de 71,92 à 72,47 et RefCOCO+ de 74,52 à 74,80. Les scores de recherche d'images Flickr et de NLVR2 baissent légèrement. L'alignement fin paraît donc surtout utile aux tâches qui demandent de reconnaître ou de raisonner sur des régions.
-
Masquage conditionnel
L10 et L12 emploient la même combinaison de tâches ; L12 masque au hasard les deux modalités simultanément. Son Meta-Sum tombe de 399,97 à 396,51, ce qui soutient l'intérêt du masquage conditionnel dans cette expérience.
-
Effet des jeux de pré-entraînement
Avec les seules données hors domaine, L13 obtient 396,91 pour Meta-Sum, moins que L11 avec les seules données du domaine (400,93). En combinant les deux groupes, L14 monte à 405,24.
Cette suite d'expériences aide à comprendre les effets des différents choix de pré-entraînement multimodal.
Résultats sur les tâches en aval
Les auteurs testent UNITER en détail sur plusieurs tâches en aval. Voici les principaux résultats :
-
Résultats d'ensemble
UNITER-large atteint plusieurs scores en tête du tableau à l'époque, dont 73,82 sur VQA test-dev et 79,12 sur NLVR2 dev. Il ne surpasse toutefois pas UNITER-base sur chaque sous-mesure : sur la recherche de texte Flickr sans apprentissage sur cette tâche, R@10 vaut 97,70, contre 98,00 pour Base.
-
Comparaison aux modèles spécialisés
Face à MCAN, MaxEnt, B2T2 et d'autres modèles propres à une tâche, UNITER fait souvent mieux. Sur VCR Q→AR, par exemple, UNITER-base atteint 58,20, au-dessus des 55,00 de B2T2, mais en dessous des 59,70 de VL-BERT-large. UNITER-large obtient 62,80.
-
Comparaison aux autres modèles pré-entraînés
UNITER dépasse souvent d'autres modèles multimodaux pré-entraînés, dont ViLBERT et LXMERT. Sur VQA test-dev, UNITER-base obtient 72,70, contre 70,55 pour ViLBERT, 70,80 pour VisualBERT et 72,42 pour LXMERT : l'écart avec ce dernier n'est que de 0,28 point. Les données et les objectifs de pré-entraînement ne sont pas entièrement les mêmes.
-
Modèles à un ou deux flux
ViLBERT et LXMERT avaient observé des avantages aux modèles à deux flux. Mais UNITER-base, à un flux, atteint aussi des résultats en tête dans ses conditions de pré-entraînement. Les nombres de paramètres indiqués dans l'article sont 86 M pour UNITER, 183 M pour LXMERT et 221 M pour ViLBERT ; ils excluent les embeddings des mots.
-
Pré-entraînement en deux étapes
Pour VCR, les auteurs commencent par les données générales, puis poursuivent le pré-entraînement sur les données d'entraînement de VCR avant l'ajustement final. Cette recette montre son intérêt pour une nouvelle tâche en aval.
-
Adaptation à NLVR2
NLVR2 reçoit deux images pour une même phrase. Les auteurs comparent Triplet, Pair et Pair-biattn. Sur dev, Pair-biattn avec attention bidirectionnelle atteint 77,18, contre 75,85 pour Pair et 73,03 pour Triplet. Les échanges supplémentaires entre les deux images semblent aider dans cette configuration.
Ces résultats soulignent la force d'UNITER sur plusieurs tâches multimodales. La combinaison de ses stratégies de pré-entraînement lui donne, à l'époque de l'article, une place de premier plan dans l'apprentissage conjoint de la vision et du langage.
Qu'a appris le modèle ?
Les auteurs visualisent les cartes d'attention d'UNITER pour étudier son comportement.
Ces images montrent plusieurs façons dont l'attention se répartit entre les entrées. Voici les principaux motifs observés :
-
Motif vertical
L'attention se concentre sur des marqueurs particuliers comme
[CLS]ou[SEP]. La figure montre une distribution d'attention. -
Motif diagonal
L'attention vise surtout un token, une région ou ses positions voisines.
-
Motif vertical et diagonal
Ce motif mêle les deux répartitions précédentes.
-
Motif Block
L'attention reste principalement à l'intérieur d'une même modalité, du texte vers le texte ou de l'image vers l'image.
-
Motif hétérogène
La répartition est plus variée et, selon l'article, dépend fortement de l'entrée. Elle entre difficilement dans les catégories précédentes.
-
Motif Reversed Block
L'attention traverse les modalités, du texte vers l'image et de l'image vers le texte. Cela montre des échanges multimodaux, sans suffire à prouver que le modèle comprend correctement leur relation.
Conclusion
En revenant sur cet article, on voit l'intérêt constant que portaient déjà les chercheurs à la rencontre de la vision et du langage. UNITER est proposé comme un modèle de pré-entraînement à grande échelle, visant une représentation image-texte robuste et générale. Ses études d'ablation évaluent les quatre tâches de pré-entraînement proposées.
Entraîné sur des données du domaine et hors domaine, UNITER affiche à l'époque de bons résultats sur plusieurs tâches vision-langage. L'étude suggère aussi des pistes à approfondir, notamment les interactions entre images et phrases ainsi que des stratégies de pré-entraînement plus efficaces.
Cet article nous donne l'occasion de revenir sur une étape de l'histoire de l'apprentissage conjoint de la vision et du langage.