Retour à la bibliothèque
arXiv 2021ICML 2021Apprentissage multimodalNotes de lecture

ViLT

Chacun son tour sur scène

Article original

ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision

Auteurs de l’article

Wonjae Kim · Bokyung Son · Ildoo Kim

Publication
ICML 2021Conférence
Premier dépôt sur arXiv
arXiv:2102.03334
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{multimodalityvilt2021,
  title = {{ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision}},
  author = {Wonjae Kim and Bokyung Son and Ildoo Kim},
  year = {2021},
  eprint = {2102.03334},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2102.03334}
}
Sur cette page

Vous vous souvenez peut-être que le Transformer a été proposé en 2017.

Le Vision Transformer (ViT), consacré aux images, n'est arrivé qu'à la fin de 2020, plus de trois ans après.

Cette fois, l'attente sera plus courte : en moins de six mois, ViT sert déjà à remplacer l'architecture visuelle des modèles VLP.

Pendant les années précédentes, les travaux se concentraient surtout sur l'amélioration de la représentation visuelle des modèles vision-langage pour accroître leurs performances. Mais personne ne voulait vraiment regarder la vérité en face : les détecteurs d'objets préentraînés sont lourds !

Les auteurs de ViLT estiment que cette manière de construire les modèles n'est pas la bonne. Leur proposition est radicale :

  • Abandonner complètement cette architecture !

Définition du problème

Les auteurs formulent principalement les défis suivants :

  1. Un encodage visuel complexe

    Les modèles de préentraînement vision-langage (VLP) emploient souvent des réseaux convolutifs profonds ou des détecteurs d'objets préentraînés pour encoder les images. Le processus est complexe et coûteux en calcul, surtout lorsqu'il faut traiter beaucoup d'images ; il pèse alors sur les ressources et le temps d'exécution.

  2. Des encodeurs visuels lourds

    Les modèles VLP existants s'appuient généralement sur de tels encodeurs pour extraire les caractéristiques des images. Dans les expériences universitaires, on peut mettre les caractéristiques régionales en cache pour alléger la charge. En pratique, notamment face à des requêtes immédiates sur de nouvelles images, cette solution ne convient pas.

  3. L'équilibre entre efficacité et performance

    Comment accélérer l'encodage et réduire les coûts de calcul et de stockage sans sacrifier la performance ? La question reste difficile. La plupart des travaux antérieurs ne cherchaient pas avant tout une architecture qui allie de bons résultats vision-langage à un encodage plus simple et plus rapide.

  4. Les limites des architectures habituelles

    Pour traiter l'entrée visuelle, les modèles VLP classiques recourent souvent à un encodeur profond et convolutif. Cela augmente la complexité et le temps d'exécution, et peut aussi limiter leur souplesse et leur adaptation.

Résolution du problème

L'idée derrière ViLT

Les auteurs classent les modèles vision-langage selon deux axes :

  • Les deux modalités, vision et langage, disposent-elles d'un niveau comparable de représentation, en termes de paramètres dédiés et/ou de calcul ?
  • Ces deux modalités interagissent-elles au sein d'un réseau profond ?

Ces critères donnent quatre archétypes :

  • Type (a) : les modèles d'encodage sémantique visuel (VSE), comme VSE++ et SCAN. L'image et le texte ont des encodeurs séparés, dont celui de l'image est plus lourd ; leur interaction reste superficielle, souvent un simple produit scalaire ou une couche d'attention peu profonde.
  • Type (b) : CLIP, par exemple, possède deux encodeurs séparés dont le coût est comparable, mais l'interaction entre modalités reste peu profonde.
  • Type (c) : les modèles à interaction profonde, dont plusieurs VLP récents. Un Transformer profond modélise les rapports entre modalités, mais l'encodage visuel dépend toujours de réseaux convolutifs coûteux.
  • Type (d) : ViLT concentre l'essentiel du calcul sur l'interaction entre modalités ; les couches spécialisées qui incorporent pixels bruts et texte sont peu profondes et légères.

Chacun de ces archétypes traduit un compromis différent :

  • Type (a) : le calcul peut être relativement léger, au prix d'une interaction profonde limitée entre les modalités.
  • Type (b) : les ressources sont réparties de manière comparable entre vision et langage, mais leur interaction reste superficielle.
  • Type (c) : davantage de calcul sert aux interactions profondes, tandis que l'entrée visuelle peut encore dépendre excessivement de convolutions coûteuses.
  • Type (d) : la plupart des ressources vont à l'interaction profonde ; les couches d'incorporation propres à l'image et au texte demeurent légères.

Chaque choix apporte avantages et difficultés. Les modèles du type (b), comme CLIP, brillent parfois en apprentissage zero-shot, mais peuvent être moins efficaces sur des tâches qui demandent une interaction plus profonde entre modalités. Cette classification aide à voir les forces et les faiblesses des architectures dans leurs usages concrets. Elle suggère aussi de choisir le modèle selon les besoins de l'application.

Détails de conception de ViLT

ViLT simplifie l'encodage visuel par projection des patches. Il initialise aussi son Transformer avec un ViT déjà capable de traiter des caractéristiques visuelles. L'objectif est d'obtenir un modèle VLP efficace, moins gourmand en ressources, tout en conservant de bonnes performances. Cette architecture illustre une approche multimodale plus légère.

  1. Méthodes d'encodage visuel

    Comme d'autres modèles VLP, ViLT emploie pour le texte une méthode proche de BERT, notamment son tokenizer et ses incorporations. C'est l'encodage de l'image qui change. Comparons les possibilités :

    • Region Feature

    Les approches classiques exploitent souvent des caractéristiques de régions produites par un détecteur d'objets tel que Faster R-CNN. ViLT se passe de ce procédé et choisit une voie plus directe.

    • Grid Feature

    Une autre solution consiste à utiliser la grille de caractéristiques issue d'un réseau convolutif. ViLT ne s'appuie pas non plus principalement sur elle.

    • Patch Projection

    ViLT adopte la projection des patches introduite par ViT : chaque bloc de l'image est directement projeté linéairement. L'encodage visuel devient ainsi beaucoup plus simple. La couche de projection des patches de 32×32 pixels compte environ 2,4 millions de paramètres ; le modèle ViLT-B/32 entier du tableau en compte 87,4 millions.

  2. Architecture du modèle

    • ViLT utilise une architecture compacte et un seul flux pour les modalités.
    • Beaucoup de modèles VLP antérieurs initialisent leurs poids à partir de BERT. ViLT initialise ceux du Transformer d'interaction à partir de ViT, qui sait déjà traiter des caractéristiques visuelles.
    • ViT empile notamment des couches d'auto-attention multitête (MSA) et de MLP ; ViLT y joint le texte pour le préentraînement multimodal.
    • ViLT projette des patches de 32×32 pixels. Son Transformer d'interaction est initialisé avec les poids d'un ViT-B/32 préentraîné sur ImageNet-21K, puis affiné sur ImageNet-1K ; viennent ensuite le préentraînement image-texte et l'adaptation aux tâches en aval.
  3. Détails de l'encodage

    • L'entrée textuelle additionne incorporations des mots et incorporations de position.
    • L'image est découpée en patches, aplatis, puis soumis à une projection linéaire et à un encodage de position.
    • On ajoute aux représentations textuelles et visuelles leur vecteur de type de modalité, on concatène les deux séquences, puis plusieurs couches Transformer les mettent à jour ensemble.

Stratégie de préentraînement

Les objectifs de préentraînement sont l'appariement image-texte, avec un alignement mot-patch, et la modélisation du langage masqué. Le masquage de mots entiers est une stratégie de masquage ; l'augmentation d'images intervient lors de l'affinage en aval.

  1. Appariement image-texte (Image Text Matching, ITM)

    • Remplacement aléatoire de l'image : avec une probabilité de 0,5, l'image associée au texte est remplacée. Dans la moitié des cas, image et description ne correspondent donc plus.
    • Tête ITM : une seule couche linéaire projette la représentation agrégée vers deux logits, correspondance ou non-correspondance, puis calcule la perte de log-vraisemblance négative.
  2. Alignement mot-patch (WPA)

    Imaginons une image montrant un homme qui mange une pomme, décrite par « A man is eating an apple ». L'objectif ITM ordinaire peut se contenter de l'association globale entre l'image entière et la phrase entière.

    Le WPA cherche une correspondance plus fine entre vision et langage. Il estime l'alignement des tokens textuels et des patches visuels à partir des représentations produites par le Transformer, sans supervision fondée sur une « région de la pomme » annotée. Les auteurs multiplient par 0,1 une approximation de la distance de Wasserstein et l'ajoutent à la perte ITM.

  1. Modélisation du langage masqué (Masked Language Modeling, MLM)

    • Masquage aléatoire : à la manière de BERT, une partie du texte est masquée et le modèle tente de la prédire à partir du contexte. L'expérience applique le masquage aux tokens textuels avec une probabilité de 0,15.
    • Tête MLM : un MLP à deux couches prédit les tokens masqués. L'objectif minimise la log-vraisemblance négative des prédictions par rapport aux vrais tokens.
  2. Masquage de mots entiers (Whole Word Masking)

    • Cette stratégie masque le mot complet plutôt qu'une seule de ses sous-unités. Supposons que « giraffe » soit découpé par le tokenizer BERT en [« gi », « ##raf », « ##fe »] : toutes ses unités sont alors masquées ensemble. Les auteurs pensent ainsi réduire la possibilité de deviner le mot à partir d'une sous-unité restée visible.
    • Cette pratique s'inspire de Pre-training with whole word masking for chinese bert.
  3. Augmentation des images (Image Augmentation)

    Pendant l'affinage sur les tâches en aval, les auteurs utilisent RandAugment, sans l'inversion des couleurs ni Cutout. La couleur peut être mentionnée dans le texte, et Cutout risque de cacher de petits objets importants.

En associant ces stratégies, les auteurs cherchent à mieux exploiter les interactions entre image et texte dans le préentraînement VLP.

Discussion

Le modèle est d'abord préentraîné sur plusieurs jeux de données : MSCOCO, Visual Genome, SBU Captions et Google Conceptual Captions, pour apprendre des caractéristiques visuelles et linguistiques variées.

ViLT utilise AdamW, un échauffement du taux d'apprentissage et une décroissance linéaire. L'image est redimensionnée en préservant son rapport hauteur-largeur, puis les patches correspondants sont sélectionnés. Le texte est traité par le tokenizer de BERT, tandis que les paramètres propres au texte sont appris depuis zéro.

Après le préentraînement, les auteurs évaluent les tâches de classification VQAv2 et NLVR2, ainsi que la recherche sur MSCOCO et Flickr30K. Pour la classification, ils rapportent la moyenne de trois initialisations et ordres de données différents, avec l'écart-type dans le tableau d'ablation. La recherche n'est affinée qu'une seule fois.

Le préentraînement est exécuté sur 64 GPU NVIDIA V100 pendant 100 000 ou 200 000 étapes ; l'entraînement des tâches en aval dure 10 époques.

Quels résultats ?

Sur VQAv2, ViLT-B/32 obtient 70,33 sur test-dev ; avec l'augmentation des images pendant l'affinage et un préentraînement plus long, il atteint 71,26. Dans le tableau, Pixel-BERT-R50 obtient 71,35 et VinVL-Base 75,95. Les auteurs supposent que les questions VQA portent souvent sur des objets et que leurs représentations séparées, produites par un détecteur, peuvent aider. Cela reste une explication proposée, pas une cause démontrée par le tableau.

Pour NLVR2, il faut raisonner sur deux images et une question en langage naturel afin de produire une classe binaire. ViLT associe séparément chaque image à la question, traite les deux paires, puis concatène leurs représentations agrégées pour la prédiction finale. ViLT-B/32 obtient 74,41 / 74,57 sur dev / test-P ; avec un préentraînement plus long et l'augmentation lors de l'affinage, 75,70 / 76,13. Il se rapproche de certains modèles, mais reste sous les 82,05 / 83,08 de VinVL-Base dans le tableau.

Quelle contribution compte le plus ?

Le tableau permet aux auteurs d'étudier trois choix :

  1. Davantage d'étapes d'entraînement

    Dans les trois premières lignes, sans masquage de mots entiers, MPP ni augmentation d'images, passer de 25 000 à 100 000 étapes améliore tous les indicateurs affichés. Dans une autre configuration, passer de 100 000 à 200 000 étapes améliore encore la classification ; en revanche, le rappel R@1 de recherche de texte après affinage sur Flickr30K et MSCOCO passe respectivement de 83,69 / 62,88 à 83,50 / 61,49. On ne peut donc pas dire que tous les résultats continuent d'augmenter. Les scores zero-shot entre parenthèses s'améliorent, eux, dans une comparaison distincte.

  2. Masquage de mots entiers

    À 100 000 étapes, ce masquage porte VQAv2 de 70,16 à 70,33 et NLVR2 dev de 73,54 à 74,41. Cela appuie son intérêt pour les tâches testées ; la capacité de génération de texte n'a pas été évaluée. Le même tableau montre qu'ajouter la prédiction des patches masqués (MPP) fait au contraire baisser la plupart des indicateurs.

  3. Augmentation des images

    L'ajout de RandAugment lors de l'affinage porte VQAv2 de 70,33 à 70,85 et NLVR2 dev de 74,41 à 74,91 pour le modèle préentraîné 100 000 étapes. Les valeurs de recherche zero-shot entre parenthèses ne changent pas dans ce tableau.

Analyse de complexité

On peut examiner la complexité des modèles VLP sous plusieurs angles : le nombre de paramètres, les opérations en virgule flottante (FLOPs) et la latence d'inférence.

  1. Nombre de paramètres

    Sans les incorporations textuelles, le tableau compte 87,4 M paramètres pour ViLT-B/32, 94,9 M pour Pixel-BERT-R50 et 154,7 M pour UNITER-Base. Ce nombre décrit la taille du modèle.

  2. FLOPs

    Ils estiment le coût du passage avant : 55,9 G pour ViLT-B/32, 136,8 G pour Pixel-BERT-R50 et 949,9 G pour UNITER-Base. La résolution des images et le nombre de tokens diffèrent toutefois entre ces modèles ; il ne s'agit pas d'une ablation d'architecture à entrée identique.

  3. Latence d'inférence

    Les auteurs mesurent celle de l'incorporateur visuel et du Transformer sur un CPU Xeon E5-2650 et un GPU NVIDIA P40 : environ 15 ms pour ViLT-B/32, 60 ms pour Pixel-BERT-R50 et 900 ms pour UNITER-Base. L'incorporation textuelle est exclue ; la latence de la NMS par classe n'est pas non plus comprise dans les FLOPs.

  4. Résolution et longueur des entrées

    Les modèles VLP utilisent des résolutions d'image différentes, selon leurs objectifs et leurs usages. Une résolution plus élevée apporte généralement plus de détails, mais aussi un coût de calcul accru.

  5. Traitement de la séquence d'entrée

    Sur ce matériel, les auteurs mesurent moins de 1 ms d'écart d'exécution pour un Transformer de type BERT-base avec une séquence de longueur inférieure à 300. Le ViLT-B/32 du tableau reçoit 200 patches visuels et 40 tokens textuels ; le nombre de patches peut atteindre 240, auquel il faut encore ajouter les tokens de texte pour obtenir la longueur totale.

Ainsi, la complexité d'un modèle VLP dépend à la fois du calcul, des ressources et du contexte d'utilisation. Savoir d'où viennent ces coûts aide à choisir, optimiser et déployer un modèle adapté.

Conclusion

Au moment où paraît cet article, ViT est encore tout récent ; beaucoup d'idées et de théories restent à explorer.

Après la publication de ViT, quantité de travaux discutent et améliorent son efficacité d'entraînement et sa précision. Les débats techniques se poursuivent longtemps.

ViLT montre néanmoins de bonnes performances dans certains contextes et une forte amélioration de la vitesse d'inférence grâce à ViT. Pour des applications en temps réel, cette vitesse peut compter beaucoup : elle facilite l'usage du modèle dans des situations concrètes et ouvre de nouvelles possibilités.

ViLT apporte donc une autre direction à la conception et au préentraînement des modèles : se concentrer davantage sur l'interaction entre modalités à l'intérieur du réseau, plutôt que de chercher uniquement à agrandir les modèles ou à complexifier leur structure. Cette idée suggère qu'une conception plus fine peut améliorer les performances sans ajouter une charge de calcul excessive.

Elle ouvre une voie centrée sur l'interaction entre modalités et l'amélioration de l'architecture interne. Les travaux à venir pourront explorer les possibilités et les limites de ViLT, puis s'en inspirer pour imaginer d'autres modèles et stratégies d'application.