Retour à la bibliothèque
arXiv 2019EMNLP 2019Apprentissage multimodalNotes de lecture

LXMERT

Encore plus de pré-entraînement

Article original

LXMERT: Learning Cross-Modality Encoder Representations from Transformers

Auteurs de l’article

Hao Tan · Mohit Bansal

Publication
EMNLP 2019Conférence
Premier dépôt sur arXiv
arXiv:1908.07490
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{multimodalitylxmert2019,
  title = {{LXMERT: Learning Cross-Modality Encoder Representations from Transformers}},
  author = {Hao Tan and Mohit Bansal},
  year = {2019},
  eprint = {1908.07490},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1908.07490}
}
Sur cette page

À cette époque, les chercheurs se tournent les uns après les autres vers les travaux multimodaux.

Plusieurs articles, dont ViLBERT, VL-BERT et VisualBERT, paraissent au cours du même mois.

Avec davantage de mécanismes d'attention et une stratégie de pré-entraînement plus complète, LXMERT propose une solution vision-langage relativement aboutie pour son époque.

Définition du problème

Les articles de cette période suivent tous la même grande direction.

La question centrale est la suivante :

  • Comment concevoir et entraîner un modèle capable de comprendre et de représenter efficacement les informations visuelles et linguistiques, puis de bien fonctionner sur diverses tâches multimodales ?

ViLBERT et VisualBERT s'y emploient déjà, mais les auteurs estiment que leurs résultats ne sont pas assez bons.

Pourquoi ? Ils généralisent mal.

Solution

Architecture du modèle

La conception s'inspire du Transformer et combine des couches d'auto-attention et d'attention croisée. Le modèle peut ainsi traiter une image et la phrase qui l'accompagne. Il encode séparément les informations visuelles et linguistiques, puis les fait interagir pour produire une représentation multimodale.

Pour la partie linguistique, le modèle segmente la phrase avec WordPiece, puis l'encode afin de représenter chaque mot et sa position dans la phrase par un vecteur.

Pour la partie visuelle, il reçoit d'abord la sortie de Faster R-CNN et encode chaque objet. Cette représentation comprend les caractéristiques de sa région et sa position spatiale, afin que le modèle tienne mieux compte de l'espace.

Comme le montre la figure, LXMERT fournit finalement trois types de sorties : linguistiques, visuelles et multimodales. Les sorties linguistiques et visuelles proviennent directement des séquences de caractéristiques de l'encodeur multimodal. La sortie multimodale utilise le jeton spécial [CLS] ; elle résume les informations de la langue et de l'image et peut servir à plusieurs tâches en aval.

Stratégie de pré-entraînement

Pour approfondir la compréhension des liens entre images et langage, LXMERT est pré-entraîné sur un grand ensemble de données agrégées.

Le pré-entraînement se répartit en plusieurs tâches :

  • Tâche linguistique : modélisation du langage multimodal masqué

    Cette tâche aide le modèle à retrouver les parties de la phrase masquées au hasard.

    Le modèle masque aléatoirement 15 % des mots. À la différence de BERT, LXMERT exploite aussi l'image pour prédire ces mots.

    Par exemple, si le mot « pomme » est masqué dans la phrase alors qu'une pomme apparaît dans l'image, LXMERT peut s'aider de cet indice visuel pour le retrouver.

  • Tâche visuelle : prédiction des objets masqués

    Elle vise à renforcer la compréhension des objets présents dans l'image.

    Les caractéristiques régionales d'environ 15 % des objets de l'image sont mises à zéro. Le modèle doit reconstruire les caractéristiques RoI initiales et classer les étiquettes d'objets prédites par Faster R-CNN. Il peut s'appuyer sur le reste de l'image ou sur la phrase associée ; ces étiquettes viennent du détecteur et ne sont pas des annotations humaines uniformes entre les jeux de données.

  • Tâches multimodales

    • Association image-texte

      Cette tâche renforce la capacité du modèle à relier image et phrase. Il reçoit une image et une phrase censée la décrire, puis décide si la description correspond bien à l'image. Cela rappelle la « prédiction de la phrase suivante » de BERT, mais porte sur l'association entre vision et langage.

    • Questions sur l'image

      Le modèle reçoit une image et une question à son sujet. Lorsque la paire image-texte est correcte, il classe la réponse parmi des possibilités prédéfinies, sans générer librement du texte. Il lui faut donc comprendre et combiner les informations visuelles et linguistiques.

Les données de pré-entraînement viennent de cinq grands jeux vision-langage, dont les images proviennent de MS COCO et Visual Genome. L'ensemble comprend 180 000 images et 9,18 millions de paires image-phrase correspondantes.

Les paramètres des encodeurs linguistique, de relations entre objets et multimodal sont initialisés de zéro, sans reprendre ceux d'un BERT pré-entraîné. En revanche, le Faster R-CNN qui fournit les caractéristiques des objets est déjà entraîné. Les pertes des différentes tâches ont le même poids. La perte des questions sur l'image n'est pas utilisée pendant les dix premières époques ; elle est ajoutée pendant les dix suivantes. Le pré-entraînement complet prend dix jours sur quatre Titan Xp.

Discussion

Comparaison avec les autres modèles

D'après le tableau, LXMERT obtient de bons résultats sur plusieurs tests.

  1. VQA (Visual Question Answering)

    Le meilleur résultat antérieur vient de BAN+Counter, proposé par Kim et ses collègues en 2018. Sur VQA, il faisait mieux que d'autres méthodes récentes comme MFH, Pythia, DFAF et Cycle-Consistency.

    LXMERT fait pourtant passer la précision globale de 70,4 % à 72,5 %, soit 2,1 points de plus ; les catégories « Binary » et « Other » gagnent chacune 2,4 points. Sans module de comptage explicite comme BAN+Counter, il passe aussi de 53,7 % à 54,2 % sur les questions de type « Number ».

  2. GQA

    Le meilleur résultat antérieur sur GQA repose sur BAN et figure au classement public ; la méthode de Kim et ses collègues date de 2018.

    La précision de LXMERT passe de 57,1 % à 60,3 % par rapport à ce résultat, soit 3,2 points de plus, un gain supérieur à celui de VQA. Les auteurs supposent que GQA demande davantage de raisonnement visuel ; sur les questions « Open », le score passe de 40,4 % à 45,0 %, soit 4,6 points de plus.

  3. NLVR2

    Sur Test-U, le jeu de test non public de NLVR2, la précision de LXMERT passe de 53,5 % pour le résultat antérieur du tableau à 76,2 %, un gain de 22,7 points. L'indicateur de cohérence passe de 12,0 % à 42,1 %, soit environ 3,5 fois le score précédent.

Importance du pré-entraînement

  1. Comparaison entre BERT et LXMERT

    Employer BERT comme seul encodeur linguistique, ou ajouter l'attention croisée sans le pré-entraînement de LXMERT, reste insuffisant. Sur le jeu de développement NLVR2, les modèles du tableau se situent autour de 50,9 % à 52,6 %, contre 74,9 % pour LXMERT complet : environ 22 à 24 points d'écart. NLVR2 combine langue et vision ; le modèle doit comprendre le contenu de l'image et le faire correspondre à une description en langage naturel.

    LXMERT propose un pré-entraînement particulier, qui tient compte des informations visuelles autant que linguistiques. Il capte ainsi mieux leurs relations complexes.

  2. Importance des questions sur l'image au pré-entraînement

    Grâce à cette tâche, le modèle n'apprend pas seulement la structure du langage : il apprend aussi à interpréter une image pour répondre à des questions. Cela améliore ses résultats sur une tâche comme NLVR2.

    Dans la comparaison du Tableau 4 sur le jeu de développement NLVR2, l'ajout de cette tâche fait passer le score de 72,4 % à 74,9 %, soit 2,5 points de plus. Le texte de l'article indique 2,1 %, ce qui ne concorde pas avec les valeurs du tableau.

  3. Pré-entraînement et augmentation des données

    Ici, « augmentation des données » désigne l'ajout, pendant l'ajustement, de questions provenant d'autres jeux de données de questions-réponses sur images. Il s'agit d'élargir les données de questions-réponses, pas de tourner ou recadrer les images.

    Plutôt que de mélanger ces autres données pendant l'ajustement, LXMERT se pré-entraîne sur plusieurs jeux de questions-réponses avant de s'ajuster à une seule tâche. Dans le Tableau 4, les résultats avec pré-entraînement aux questions-réponses dépassent ceux des configurations correspondantes avec augmentation des données. Ajouter encore cette augmentation au même pré-entraînement fait même légèrement baisser le score.

Conclusion

En combinant cette stratégie avec différentes tâches de pré-entraînement, LXMERT obtient de bons résultats sur une série de tâches vision-langage.

Il établit de nouveaux résultats sur les deux grands jeux de questions-réponses sur images, VQA et GQA, et montre aussi une capacité de généralisation impressionnante sur NLVR2.