Retour à la bibliothèque
arXiv 2019ICLR 2020Apprentissage multimodalNotes de lecture

VL-BERT

Un spectateur derrière le rideau

Article original

VL-BERT: Pre-training of Generic Visual-Linguistic Representations

Auteurs de l’article

Weijie Su · Xizhou Zhu · Yue Cao …

Afficher les 7 auteurs

Weijie Su · Xizhou Zhu · Yue Cao · Bin Li · Lewei Lu · Furu Wei · Jifeng Dai

Publication
ICLR 2020Conférence
Premier dépôt sur arXiv
arXiv:1908.08530
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{multimodalityvlbert2019,
  title = {{VL-BERT: Pre-training of Generic Visual-Linguistic Representations}},
  author = {Weijie Su and Xizhou Zhu and Yue Cao and Bin Li and Lewei Lu and Furu Wei and Jifeng Dai},
  year = {2019},
  eprint = {1908.08530},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1908.08530}
}
Sur cette page

Nous avons déjà parlé de VisualBERT. Son architecture relève de l'encodeur One-Tower ; l'entraînement n'a pas d'objectif direct de supervision des régions visuelles et porte surtout sur la partie textuelle.

Nous avons aussi vu ViLBERT. C'est une architecture Two-Tower, avec un encodeur pour le texte et un autre pour l'image. Les deux échangent de l'information par attention croisée, au prix d'une certaine complexité.

  • Hé, attendez ! One-Tower, Two-Tower : qu'est-ce que c'est ?

Nous n'avions pas présenté ces termes, surtout parce qu'ils ne nous aidaient pas encore beaucoup et ajoutaient des soucis inutiles. Maintenant que nous devons comparer plusieurs architectures, c'est le bon moment pour en parler.

Dans l'apprentissage multimodal vision-langage, on rencontre souvent ces deux grandes familles, One-Tower et Two-Tower. Il y en a d'autres ; nous en discuterons quand elles apparaîtront.

Ces termes décrivent avant tout la manière d'intégrer et de faire interagir les informations des différentes modalités.

  1. Single-Tower Architecture (One-Tower)

    Un seul encodeur Transformer traite la concaténation des représentations visuelles et textuelles.

    Les tokens visuels et textuels se trouvent dans la même entrée ; leurs interactions sont donc libres. Un encodeur unique peut aussi réduire le nombre de paramètres, selon la configuration du modèle.

    Parmi les exemples, citons ViLT, VL-BERT, UNITER et OSCAR. Plusieurs modèles, dont VisualBERT et VL-BERT, sont des variantes de BERT.

  2. Two-Tower Architecture (Dual-Tower)

    Ici, les entrées visuelles et textuelles ne sont pas concaténées. Chacune est encodée dans sa propre pile de Transformers, puis l'attention croisée permet aux deux modalités d'échanger de l'information.

    Les échanges sont ainsi plus explicites et ordonnés. La structure est souvent plus facile à comprendre, car chaque modalité possède son propre encodeur.

    ViLBERT, LXMERT et BridgeTower sont des représentants de cette famille.

Définition du problème

Face à ces deux architectures, on peut facilement hésiter.

D'un côté, One-Tower offre une manière assez directe d'entraîner le modèle, mais risque de ne pas exploiter pleinement les relations entre texte et image. De l'autre, Two-Tower peut approfondir ces relations, mais son fonctionnement est plus complexe et demande davantage de calcul.

Les auteurs de cet article choisissent une architecture One-Tower et cherchent à créer une représentation vision-langage générale. Elle doit réussir sur plusieurs tâches, et pas seulement sur une seule.

Solution

Architecture du modèle

L'idée vient encore de BERT : VL-BERT repose sur un encodeur Transformer bidirectionnel multicouche, où chaque élément d'entrée peut dépendre des autres.

Pour recevoir à la fois vision et langage, la séquence commence par le marqueur [CLS], se poursuit avec les éléments textuels puis visuels, et se termine par [END]. Un marqueur [SEP] sépare le texte de l'image pour les distinguer clairement.

La représentation de chaque élément combine quatre types d'encodage : token, caractéristique visuelle, segment et position dans la séquence. L'encodage visuel introduit les indices fournis par l'image ; les trois autres reprennent les idées de BERT.

Les caractéristiques visuelles comprennent l'apparence et la géométrie. Pour une région de l'image, Fast R-CNN extrait l'apparence de la RoI et ses informations de position. Les éléments non visuels, comme les mots, reçoivent quant à eux les caractéristiques d'apparence de l'image entière.

Mécanisme de pré-entraînement

La figure ci-dessus présente les entrées et sorties lors de l'ajustement fin pour VCR, VQA et RefCOCO+ ; elle ne décrit pas le pré-entraînement. Les auteurs pré-entraînent VL-BERT avec les tâches suivantes pour apprendre les relations entre vision et langage. Les paires image-texte proviennent de Conceptual Captions, auxquelles s'ajoutent des textes seuls de BooksCorpus et de Wikipedia.

  • Tâche nº 1 : modélisation du langage masqué à l'aide d'indices visuels. C'est une variante du MLM de BERT. Imaginons la phrase « Le chiot joue dans [MASK] » et l'image d'un chiot qui joue dans une piscine. Le modèle doit déduire « piscine » du texte non masqué et de l'image.
  • Tâche nº 2 : classification de RoI masquées à l'aide d'indices linguistiques. Environ 15 % des RoI sont choisies au hasard ; leurs pixels originaux sont mis à zéro avant d'entrer dans Fast R-CNN, puis le modèle prédit la catégorie de l'objet caché. Dans le schéma, la région masquée contient un chat et la phrase « kitten drinking from bottle » aide à prédire « chat ». L'étiquette de supervision vient d'un détecteur pré-entraîné.

Discussion

Comparaison avec les autres modèles

Le jeu VQA v2.0 est construit à partir d'images COCO. Ses ensembles d'entraînement, de validation et de test contiennent respectivement 83 000, 41 000 et 81 000 images, ainsi que 444 000, 214 000 et 448 000 questions.

Sur VQA test-dev, le pré-entraînement fait passer VL-BERT-BASE de 69,58 % à 71,16 %, soit environ 1,6 point de plus. VL-BERT-BASE dépasse de 5,84 points les 65,32 % de BUTD, un modèle populaire conçu pour cette tâche. Le tableau donne 71,79 % à VL-BERT-LARGE : c'est plus que ViLBERT et VisualBERT, mais moins que les 72,42 % de LXMERT, pré-entraîné sur davantage de données de questions-réponses sur images.

Cette expérience confirme l'intérêt du pré-entraînement, en particulier pour les questions visuelles. Même avec des données d'entraînement moins riches que celles de LXMERT, VL-BERT reste proche des meilleurs modèles du moment.

Le modèle comprend-il le langage naturel ?

Pour répondre à cette question, les auteurs choisissent RefCOCO+.

Il s'agit d'un jeu de recherche d'objets par référence linguistique (referential object retrieval). On fournit une image et une description, généralement en langage naturel ; le système doit localiser ou reconnaître l'objet désigné dans l'image.

Les résultats montrent que le pré-entraînement améliore la compréhension de ces expressions. Dans la colonne val avec régions détectées, VL-BERT-BASE passe de 66,03 % à 71,60 %. Le tableau rapporte aussi les résultats obtenus avec des régions de référence ; il ne faut pas mélanger ces deux conditions.

Face à d'autres modèles connus comme MAttNet, VL-BERT allie simplicité et bonnes performances. Avec les mêmes régions détectées, VL-BERT-LARGE est proche de ViLBERT sur val et testA, mais légèrement en dessous sur testB ; VL-BERT n'a pas besoin de module supplémentaire propre à la tâche.

Étude d'ablation

Les auteurs mènent de nombreuses expériences pour mesurer l'effet de leurs choix de conception.

  1. Importance du pré-entraînement

    Ce tableau ne porte que sur VL-BERT-BASE et utilise deux fois moins d'époques d'ajustement fin que l'expérience principale. Entre la configuration « sans pré-entraînement » et la configuration complète, les résultats de VCR, VQA et RefCOCO+ progressent, à des degrés différents.

  2. Apport propre à chaque tâche

    Les tâches de pré-entraînement n'aident pas toutes les applications de la même manière. Ajouter la classification de RoI masquées au langage masqué de la ligne (a) fait par exemple passer RefCOCO+ de 69,1 % à 70,7 % ; VCR et VQA restent à peu près stables.

  3. Effet de la relation phrase-image

    Dans cette ablation, ajouter à (b) la prédiction de relation phrase-image pour obtenir (c) fait baisser les valeurs de VCR, VQA et RefCOCO+. Les auteurs supposent que les paires négatives, où texte et image ne correspondent pas, peuvent gêner les autres tâches. C'est une observation propre à cette expérience.

  4. Ajout de textes seuls

    Entre (b) et (d), l'ajout d'un corpus purement textuel fait progresser les deux scores VCR ; VQA reste à 71,1 % et RefCOCO+ à 70,7 %. Les auteurs pensent que cela aide VCR, dont les phrases sont plus longues et plus complexes.

  5. Entraînement de bout en bout

    De (d) à la dernière ligne, Fast R-CNN, qui produit les caractéristiques visuelles, est lui aussi mis à jour. Les valeurs indiquées pour VCR, VQA et RefCOCO+ augmentent toutes légèrement.

Ces expériences amènent les auteurs à considérer la stratégie de pré-entraînement comme le choix le plus important de VL-BERT : elle aide plusieurs tâches en aval, quoique différemment. Le modèle tient aussi compte de ces effets propres à chaque tâche et améliore encore les résultats par l'entraînement de bout en bout.

Conclusion

Le principal intérêt de VL-BERT est son architecture Transformer, qui évite les modules improvisés pour chaque tâche et reste simple et efficace. Son pré-entraînement sur le grand jeu Conceptual Captions et sur des textes seuls renforce l'alignement entre indices visuels et linguistiques.

En explorant davantage de tâches de pré-entraînement, les auteurs ouvrent aussi des pistes aux chercheurs qui suivront.