Retour à la bibliothèque
arXiv 2021ICML 2021Apprentissage multimodalNotes de lecture

VL-T5

Des sorties bien ordonnées

Article original

Unifying Vision-and-Language Tasks via Text Generation

Auteurs de l’article

Jaemin Cho · Jie Lei · Hao Tan · Mohit Bansal

Publication
ICML 2021Conférence
Premier dépôt sur arXiv
arXiv:2102.02779
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{multimodalityvlt52021,
  title = {{Unifying Vision-and-Language Tasks via Text Generation}},
  author = {Jaemin Cho and Jie Lei and Hao Tan and Mohit Bansal},
  year = {2021},
  eprint = {2102.02779},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2102.02779}
}
Sur cette page

À force de lire ces articles, vous connaissez sans doute déjà un peu les façons de prédire les résultats de certaines tâches en aval.

Regardons d'abord deux exemples :

Le premier concerne le VQA. On le traite généralement comme dans la partie (a) de l'image :

  1. Détection d'objets : un détecteur produit les régions d'objets de l'image. Cela aide à reconnaître et à localiser ses principaux objets et caractéristiques.

  2. Entrée en tokens : les résultats du détecteur sont convertis en tokens et placés au début de la séquence. La question, également convertie en tokens, vient ensuite.

  3. Transformer : la séquence réunissant l'image et la question entre dans le Transformer. Celui-ci applique plusieurs couches d'auto-attention pour produire des représentations contextualisées de l'entrée.

  4. Tête de prédiction et sigmoïde : la sortie du Transformer, souvent celle du token [CLS], est transmise à une tête dédiée. Celle-ci attribue un score à chaque réponse possible ; une sigmoïde ramène chaque score entre 0 et 1, ce qui peut s'interpréter comme la probabilité que cette réponse soit correcte.

  5. Choix des réponses Top-k : les réponses sont classées selon leurs scores, puis le modèle retient celles qui arrivent en tête.

Beaucoup de jeux VQA, en particulier ceux qui reposent sur un ensemble de réponses possibles, sont limités par ce vocabulaire prédéfini. Une réponse plus appropriée peut exister sans figurer dans la liste, ce qui fait perdre des détails. Il arrive aussi que plusieurs réponses soient raisonnables pour une question : l'évaluation peut alors pénaliser une réponse valable dans son contexte.

Le second exemple est la sélection d’une région correspondant à une expression référentielle, illustrée dans la partie (b) :

  1. Détection d'objets : on commence encore par obtenir les régions d'objets et leurs caractéristiques à l'aide d'un détecteur.
  2. Entrée en tokens : ces régions deviennent des tokens placés en tête de séquence ; les tokens de la description à localiser les suivent.
  3. Transformer : les tokens de l'image et de la question sont traités ensemble par auto-attention pour produire des représentations contextualisées.
  4. Tête softmax : les représentations des tokens correspondant aux régions de l'image servent à calculer les scores.
  5. Choix de la réponse : le modèle sélectionne l'une de ces régions de l'image comme réponse de classification.

Cette méthode demande encore de régler une tête supplémentaire pour classer les régions visuelles. Du point de vue des auteurs, c'est beaucoup trop compliqué.

Définition du problème

Les auteurs estiment que les tâches vision-langage actuelles exigent des architectures et des fonctions objectif propres à chaque tâche. Cette pratique complique les modèles et limite leur généralité ainsi que leurs performances :

  1. Unifier l'architecture des tâches

    • Pour différents préentraînements et tâches en aval, les Transformers vision-langage classiques ajoutent souvent des composants propres à chaque tâche, dotés de paramètres séparés. Concevoir et affiner le modèle devient donc plus complexe.
    • Toute nouvelle tâche peut demander une nouvelle architecture ou une nouvelle adaptation, ce qui ajoute du travail.
    • Pourtant, les capacités de raisonnement nécessaires à beaucoup de tâches vision-langage se recoupent largement.
  2. Générer des réponses ouvertes

    • Chaque tâche représente autrement ses étiquettes. Le VQA, par exemple, est souvent traité comme une classification multiétiquette sur un vocabulaire fixe, alors que ses réponses sont déjà du texte.
    • Une méthode discriminative ne peut choisir que parmi des réponses prédéfinies ; elle ne peut pas produire librement une réponse en langage naturel.
  3. Apprentissage multitâche et généralisation

    • Les architectures et objectifs propres à chaque tâche peuvent réduire la généralité du préentraînement.
    • Les approches traditionnelles peinent à répondre aux questions dont la réponse a rarement été rencontrée pendant l'entraînement, surtout en VQA.

Résolution du problème

Conception de VL-T5

VL-T5 vise à formuler les problèmes vision-langage comme une génération de texte conditionnée par plusieurs modalités. Voici ses choix principaux :

  1. Un Transformer préentraîné comme base

    • VL-T5 part de T5-Base ; le même article construit aussi VL-BART à partir de BART-Base.
    • Pour intégrer la vision, les auteurs étendent l'encodeur textuel en lui ajoutant les représentations de régions d'image. L'encodeur devient multimodal.
  2. Représentations visuelles (Visual Embeddings)

    • Un Faster R-CNN fournit 36 régions d'objets pour représenter l'image d'entrée.
    • La représentation de chaque région additionne quatre types d'information : caractéristiques de l'objet RoI, coordonnées de sa boîte, identifiant de l'image et identifiant de la région.
    • Des couches linéaires encodent les caractéristiques et les coordonnées ; des représentations apprises encodent les identifiants. L'identifiant d'image distingue les régions provenant d'images différentes lorsqu'il y en a plusieurs.
  3. Représentations textuelles (Text Embeddings)

    • Un préfixe propre à la tâche est ajouté au texte d'entrée, évitant de concevoir une architecture particulière pour chacune.
    • L'encodeur, le décodeur et la tête de langage partagent les paramètres des représentations textuelles. Les auteurs ajoutent des tokens visuels correspondant aux régions et réutilisent leurs représentations textuelles comme représentations des identifiants de région ; les requêtes, les étiquettes et les objets peuvent ainsi être reliés.
  4. Architecture encodeur-décodeur

    • Un Transformer encode les entrées visuelles et textuelles, puis génère une étiquette sous forme de texte.
    • L'encodeur reçoit la concaténation des deux types de représentations et produit une représentation contextualisée commune.
    • Le décodeur s'appuie sur les tokens déjà générés et sur la sortie de l'encodeur pour produire le texte suivant.
  5. Des sorties bien ordonnées

    • Cadre unifié ou méthodes propres à chaque tâche

      • Les méthodes classiques créent souvent une architecture et un objectif particuliers pour chaque tâche.
      • VL-T5 fournit un seul cadre, sans avoir à concevoir un nouveau modèle pour chaque tâche.
    • Question-réponse visuelle

      • Les modèles habituels placent souvent un classifieur multiétiquette MLP au-dessus du réseau. La tête et le Transformer sont entraînés avec une entropie croisée binaire pondérée par les scores VQA.
      • VL-T5 traite question et réponse comme du texte, puis résout la tâche avec le même objectif de modélisation du langage.
    • Compréhension d'expressions référentielles

      • Des méthodes comme UNITER ajoutent une tête MLP qui note les régions de l'image, sous forme de classification multiclasse ou binaire.
      • VL-T5 représente la région cible par un token visuel, par exemple <vis_3>, et génère cet identifiant avec le même objectif de langage.

Jeux de données utilisés

  • MS COCO

    Ce jeu populaire sert notamment à la détection d'objets, à la segmentation sémantique des pixels et à la description d'images. COCO signifie Common Objects in Context : les objets y apparaissent dans un environnement réel, plutôt que seuls. Le jeu sert largement à entraîner et à évaluer des modèles de vision.

  • Visual Genome (VG)

    VG vise une compréhension plus détaillée des objets, de leurs attributs et de leurs relations. Il ne se limite pas à les étiqueter : il décrit aussi leurs interactions.

  • Taille et composition des données

    • Le préentraînement utilise environ 180 000 images distinctes, issues de MS COCO et de Visual Genome. Outre leurs descriptions, les tâches de questions-réponses exploitent VQA v2.0, GQA et Visual7W.
    • Au total, les auteurs comptent 9,18 millions de paires image-texte dans cet ensemble multitâche de préentraînement.

Tâches de préentraînement

  1. Modélisation du langage multimodal (MLM)

    VL-T5 est une version multimodale du modèle T5 (Text-to-Text Transfer Transformer).

    Les auteurs choisissent au hasard 15 % des tokens textuels de l'entrée, remplacent chaque segment contigu masqué par son propre token sentinelle, puis font générer le texte retiré. C'est l'une des tâches de préentraînement.

    Comment traduire ce nom ? À vrai dire, je n'en suis pas certain non plus : littéralement, on pourrait parler de « token sentinelle ».

    Ces tokens spéciaux marquent les segments masqués dans l'entrée. Ils jouent un rôle essentiel dans l'entraînement de débruitage non supervisé de T5 : lorsqu'un passage est masqué, une sentinelle le remplace dans l'entrée et réapparaît dans la sortie avec le passage d'origine à restituer.

L'idée est de signaler puis de reconstruire des parties masquées de la séquence au cours de cet apprentissage non supervisé. Elle diffère du masque [MASK] classique.

Dans BERT, toutes les parties masquées sont remplacées par le même token [MASK]. Dans VL-T5, chaque segment reçoit son identifiant, comme <text_1> ou <text_2>, afin que le modèle puisse générer les passages manquants dans leur ordre.

[MASK] sert surtout à entraîner un modèle comme BERT à comprendre le contexte et à prédire les éléments cachés. Les sentinelles conviennent à la conception text-to-text de T5, qui ramène les tâches NLP à un texte d'entrée et un texte de sortie.

Les tokens sentinelles eux-mêmes sont fixes, mais le contenu concret qu'ils représentent change selon le contexte et la prédiction du modèle. Un même token peut donc servir dans différentes phrases : son contenu est déterminé pendant l'entraînement ou la génération.

  1. Question-réponse visuelle (Visual Question Answering)

    Les méthodes VQA classiques disposent souvent d'un ensemble prédéfini de réponses, par exemple un vocabulaire fixe. Elles choisissent la meilleure réponse parmi ces candidats sans pouvoir produire une réponse absente de la liste. La méthode des auteurs génère directement le texte de la réponse : elle peut ainsi traiter des questions plus ouvertes.

  2. Appariement image-texte (Image-text Matching)

    Cette tâche consiste à déterminer si une image et un texte correspondent. Une image d'un chien jouant au parc et la phrase « Un chien court après une balle sur l'herbe » décrivent, par exemple, une situation assez proche pour former une paire pertinente.

    Les auteurs utilisent ici les descriptions de COCO et créent deux sortes de paires :

    • Paire correcte : image et description d'origine, qui correspondent réellement.
    • Paire incorrecte : avec une probabilité de 50 %, une description issue d'une autre image d'entraînement est associée à l'image courante.

    Le modèle prédit pour chaque paire « true » ou « false ». C'est donc une tâche binaire où il doit apprendre à distinguer les associations réelles des fausses.

  3. Visual Grounding

    La « localisation visuelle » consiste à retrouver dans une image la région correspondant à une description. Elle demande de situer un objet ou une caractéristique et de l'associer au texte. Pendant le préentraînement, les auteurs prennent une région prédite par le détecteur, construisent une description avec son nom d'objet et son attribut, puis font générer l'identifiant visuel de cette région, tel que <vis_3>.

    Comme les descriptions proviennent des prédictions du détecteur, cette tâche ne requiert pas d'annotations humaines supplémentaires région par région.

  4. Grounded Captioning

    Il s'agit de produire une description textuelle à partir d'une région donnée, plutôt que de décrire l'image entière. Si le visual grounding cherche une région à partir du texte, cette tâche inverse en quelque sorte le sens : on fournit un token visuel de région et le modèle génère le nom de l'objet et ses attributs.

  5. Détails de l'exécution du préentraînement

    • Le préentraînement dure 30 époques sur 4 GPU RTX 2080 Ti, soit environ 4 jours.
    • Les auteurs utilisent AdamW avec les hyperparamètres précisés dans l'article.

Discussion

Analyse de VQA et GQA

Sur sept tâches en aval, VL-T5 et VL-BART sont comparés à plusieurs Transformers vision-langage existants. La génération unifiée approche les méthodes spécialisées pour certaines tâches, mais les résultats varient : dans le tableau, VL-BART n'atteint que 22,4 sur RefCOCOg test, contre 71,3 pour VL-T5.

VL-BART obtient 71,3 sur VQA test-std, un peu plus que les 70,3 de VL-T5, mais reste derrière sur RefCOCOg et VCR. Nous nous concentrerons désormais sur VL-T5.

  1. Résultats sur VQA et GQA

    Ces tâches demandent de répondre à partir d'une image. VL-T5 obtient 70,3 / 60,8 sur VQA / GQA test-std ; VL-BART, 71,3 / 60,5. Avec les mêmes 180 000 images de préentraînement, LXMERT obtient 72,5 / 60,3. Les scores sont proches, mais on ne peut pas dire que VL-T5 dépasse ses comparateurs dans les deux tâches.

  2. Génération ou discrimination

    Beaucoup de méthodes traitent le VQA comme une classification multiétiquette sur un ensemble fixe de réponses. Les auteurs séparent les questions selon que la meilleure réponse figure parmi 3 129 candidats. Hors de cet ensemble, VL-T5 génératif obtient 13,1, sa version discriminative utilisant le même réseau dorsal 7,1, et UNITER-Base 10,0. Cependant, son score global de 67,9 reste inférieur aux 70,5 d'UNITER-Base. Les résultats soutiennent donc un avantage pour les réponses rares, pas une supériorité sur toutes les questions.

  3. Effet du préfixe propre au jeu de données

    Les préfixes textuels peuvent modifier l'affinage du modèle. Les auteurs emploient le même préfixe « vqa » pour VQA et GQA au préentraînement comme à l'affinage. Face à des préfixes distincts pour chaque jeu, VQA Karpathy-test monte de 67,9 à 69,3 et GQA test-dev de 60,0 à 60,2. Ce gain vaut pour la configuration testée.

Analyse de NLVR2

NLVR2 demande de décider si un énoncé en langage naturel s'applique à une paire d'images. La tâche teste l'intégration des informations visuelles et textuelles. Trois schémas d'encodage sont comparés :

  • Triplet : les deux images et le texte sont encodés conjointement.
  • Pair : chaque image est encodée avec le texte, puis les résultats sont concaténés.
  • Pair-biattn : le schéma Pair est complété par une attention bidirectionnelle.

VL-T5 emploie Triplet : il concatène les caractéristiques régionales des deux images, les distingue par des représentations d'identifiant d'image et génère « true » ou « false ». Il obtient 74,6 / 73,6 sur dev / test-P ; UNITER obtient 73,0 / 73,9 avec le même schéma Triplet et 77,2 / 77,9 avec Pair-biattn. Les deux autres schémas demandent environ le double de calcul par rapport à Triplet : l'écart de scores entre schémas ne peut donc être attribué à la seule architecture du modèle.

Analyse de VCR

VCR, ou raisonnement visuel de sens commun, est une tâche à choix multiples qui exige davantage que la simple reconnaissance d'un objet ou d'une action. Chaque question propose quatre réponses et quatre justifications. Elle se décompose en sélection de la réponse (Q→A) puis de la justification (QA→R) ; le but global est de choisir la bonne réponse et sa bonne raison.

Comme dans l'approche de Nogueira et ses collègues, VL-T5 joint le contexte (image et question) à chaque proposition, puis génère « true » ou « false » selon qu'elle est correcte. À l'inférence, il classe les propositions avec P(true)/(P(true)+P(false)) et retient la mieux notée.

Sur la validation VCR, le score Q→AR de VL-T5 passe de 52,5 sans préentraînement à 54,7 après le préentraînement général, puis à 57,5 après une deuxième étape dans le domaine VCR. Le modèle en deux étapes atteint 58,9 sur le test, proche des 58,2 d'UNITER également préentraîné en deux étapes, et au-dessus des 54,8 de ViLBERT dans le tableau. Les conditions de préentraînement de chaque modèle doivent rester visibles dans cette comparaison.

Conclusion

On cite souvent l'architecture encodeur-décodeur des Transformers. VL-T5 l'explore pour intégrer vision et langage et chercher de meilleures performances ; ce premier essai ne produit pourtant pas un bond spectaculaire.

La combinaison d'un encodeur et d'un décodeur a fait ses preuves dans beaucoup de tâches, mais certaines tâches vision-langage peuvent exiger encore des ajustements : une architecture plus fine, d'autres formes d'attention ou un préentraînement mieux adapté.

Changer simplement l'architecture ne suffit peut-être pas à gagner beaucoup en performance. Il faut peut-être surtout tirer meilleur parti des données abondantes, des stratégies d'entraînement et d'une compréhension plus profonde de chaque tâche.

Dans notre propre travail de développement, nous constatons qu'avec un encodeur seul, le modèle apprend souvent plus facilement les caractéristiques des données. L'encodeur vise à condenser les propriétés importantes de l'entrée dans une représentation. Celle-ci est généralement plus compacte que l'entrée brute et retient l'information essentielle. Une architecture fondée sur l'encodeur seul est aussi souvent plus rapide à entraîner qu'un couple encodeur-décodeur, ce qui économise du temps et des ressources.

Ajouter un décodeur exige souvent davantage de données : il doit reconstruire l'entrée ou produire une nouvelle sortie à partir de la représentation de l'encodeur, ce qui complique l'apprentissage. Des exemples nombreux peuvent aider à apprendre ces correspondances. Le décodeur rend aussi l'architecture plus complexe, accroît les paramètres à entraîner et peut augmenter le risque de surapprentissage.

Bref, VL-T5 est un point de départ précieux pour l'étude des architectures encodeur-décodeur en vision-langage. Examiner leurs limites et leurs avantages, puis les ajuster, pourrait ouvrir de nouvelles pistes et mener à de meilleures performances.