Retour à la bibliothèque
arXiv 2020Apprentissage multimodalNotes de lecture

Pixel-BERT

Le langage des pixels

Article original

Pixel-BERT: Aligning Image Pixels with Text by Deep Multi-Modal Transformers

Auteurs de l’article

Zhicheng Huang · Zhaoyang Zeng · Bei Liu · Dongmei Fu · Jianlong Fu

Publication
Lieu de publication non encore vérifié
Premier dépôt sur arXiv
arXiv:2004.00849
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{multimodalitypixelbert2020,
  title = {{Pixel-BERT: Aligning Image Pixels with Text by Deep Multi-Modal Transformers}},
  author = {Zhicheng Huang and Zhaoyang Zeng and Bei Liu and Dongmei Fu and Jianlong Fu},
  year = {2020},
  eprint = {2004.00849},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2004.00849}
}
Sur cette page

Jusque-là, quand on parlait de combiner modèles visuels et modèles de langage, la plupart des chercheurs suivaient une procédure devenue habituelle :

  1. D'abord, extraire des caractéristiques régionales de l'image avec un détecteur d'objets comme Faster R-CNN.
  2. Puis les combiner à un modèle de langage pour l'apprentissage multimodal.
  3. Enfin, explorer différentes façons de concevoir cet apprentissage multimodal.

Mais alors…

Qui a décidé qu'il fallait greffer un « détecteur d'objets » tout au début de l'encodage de l'image ?

Peut-être personne. Tout le monde s'est simplement mis à le faire, presque sans s'en rendre compte.

Si vous avez déjà fait de la recherche, vous savez qu'une façon assez simple de proposer un article consiste à suivre les travaux précédents, puis à les améliorer : gagner 1 à 3 % de performance peut suffire à faire un bon article.

Cela continue jusqu'à l'arrivée d'une méthode qui change la donne, ou jusqu'à la saturation des jeux de données d'évaluation. Alors seulement commence un nouveau cycle.

Peut-être que dans quelques années, une nouvelle génération de chercheurs demandera : pourquoi les gens d'« avant » aimaient-ils tant les Transformers ?

Pour les auteurs de cet article, le choix même d'un détecteur d'objets pourrait avoir été une erreur dès le départ.

Ces détecteurs sont généralement conçus pour une tâche visuelle particulière. Leur représentation peut donc introduire des biais peu compatibles avec la compréhension du langage, surtout lorsqu'elle reste limitée aux catégories de cette tâche.

Pixel-BERT propose une autre perspective. Au lieu de dépendre d'un détecteur d'objets préentraîné, il part de l'image et apprend ses représentations visuelles à partir d'une carte de caractéristiques produite par un CNN. Il peut ainsi conserver des informations de forme, de texture ou de relations spatiales que des caractéristiques régionales risquent de perdre. Associé à l'encodage du langage, ce choix permet d'apprendre des représentations multimodales plus fines.

Définir le problème

Les auteurs observent et définissent les difficultés suivantes :

  1. Écart sémantique entre modalités

    L'apprentissage multimodal, notamment entre vision et langage, se heurte à un écart sémantique entre ces deux modalités.

  2. Limites des caractéristiques visuelles

    Les méthodes précédentes utilisent souvent des caractéristiques régionales extraites par un détecteur d'objets. Mais ces extracteurs ont surtout été conçus pour des tâches visuelles précises, d'où un écart avec les besoins de compréhension du langage. Des informations importantes, comme la forme d'un objet, les relations spatiales entre objets qui se chevauchent ou leur état, peuvent être perdues.

  3. Limites des représentations visuelles existantes

    Les caractéristiques régionales actuelles représentent imparfaitement la sémantique visuelle. Un détecteur d'objets peut, par exemple, manquer des informations plus générales sur une scène ou son ambiance.

Résoudre le problème

Architecture de Pixel-BERT

Dans les premiers modèles associant vision et langage, il était courant d'extraire des caractéristiques régionales de l'image avec un détecteur d'objets, comme Faster R-CNN. Le modèle repère alors certains objets ou sujets, trace une boîte englobante autour de chacun, puis extrait des caractéristiques de ces régions pour l'apprentissage.

Cette approche a toutefois ses limites :

  • Perte d'information : une boîte peut inclure du fond sans intérêt ou laisser de côté une partie importante de l'objet.
  • Spécialisation : ces détecteurs ont été conçus pour des tâches visuelles particulières et peuvent mal convenir à d'autres tâches multimodales.

Encodage des caractéristiques visuelles

Pour dépasser ces limites, Pixel-BERT suit une autre stratégie. Il ne dépend plus des boîtes englobantes : il part de l'image entière et utilise un CNN pour apprendre une représentation sur sa carte de caractéristiques.

  1. Apprentissage à partir de l'image : un CNN, tel que ResNet, traite l'image entière. Le Transformer reçoit les vecteurs situés aux positions d'une carte de caractéristiques sous-échantillonnée, et non chaque pixel RVB brut.
  2. Extraction des caractéristiques :
    • Image : l'image entre d'abord dans le modèle.
    • CNN Backbone : ce réseau préentraîné extrait les caractéristiques visuelles de l'image.
    • Convolution (Conv) : des couches de convolution traitent ensuite ces caractéristiques.
    • Pooling : cette étape sous-échantillonne la carte de caractéristiques et en réduit généralement les dimensions spatiales.
    • Random Sample : pendant le préentraînement, 100 vecteurs de position sont tirés au hasard de cette carte et envoyés au Transformer pour maîtriser le coût de calcul.
  3. Encodage sémantique : le même vecteur sémantique sv est ajouté à chaque vecteur de position de la carte. Il distingue les encodages visuels des encodages linguistiques. Comme toutes les positions visuelles partagent ce même sv, on peut aussi le voir comme un biais ajouté aux caractéristiques issues du CNN (la partie « Semantic Embedding » de la figure).

Encodage de la phrase

Le modèle suit l'approche de BERT pour encoder le langage de la phrase.

  1. Découpage de la phrase

    Une phrase donnée en entrée est d'abord découpée en une suite de mots. C'est une étape courante du traitement automatique du langage, qui décompose la phrase en unités lexicales.

  2. Découpage des mots en unités

    WordPiece, une méthode de segmentation également utilisée par BERT, traite ensuite ces mots. Elle peut décomposer un mot en fragments ou sous-mots reconnaissables, ce qui aide notamment pour les mots rares ou absents du corpus.

  3. Transformation par la matrice d'encodage

    Chaque unité, ou sous-mot, est alors encodée en vecteur. Une matrice d'encodage associe chaque unité distincte à un vecteur de dimension fixe.

  4. Encodage positionnel

    Outre l'encodage lexical, la position est essentielle pour un modèle comme le Transformer. À la manière de BERT, Pixel-BERT ajoute donc un encodage positionnel à chaque unité de la séquence.

  5. Combinaison des caractéristiques encodées

    Les encodages lexicaux et positionnels sont combinés. L'article donne la formule LayerNorm(wi + pi + sw), où wi désigne l'encodage lexical, pi l'encodage positionnel et sw le vecteur d'encodage sémantique. Il précise cependant que le terme sw est omis dans l'implémentation.

  6. Représentation linguistique finale :

    Les caractéristiques combinées [w^1,w^2,...,w^n] forment la représentation linguistique finale de la phrase, utilisée par la suite du modèle.

Apprentissage multimodal

Un Transformer apprend l'attention entre modalités, en particulier les relations entre positions de la carte de caractéristiques et unités linguistiques. Tous les encodages sont rassemblés dans une longue séquence d'entrée, avec des marqueurs spéciaux comme [CLS] et [SEP] pour en délimiter la structure. Grâce à cette architecture, les gradients des tâches multimodales remontent jusqu'au CNN.

Préentraînement

Pour apprendre des représentations générales des images et des phrases utiles aux tâches de vision et de langage, les auteurs préentraînent le modèle de façon autosupervisée sur un grand ensemble de données réunies.

  • Modélisation du langage masqué (MLM)

    Environ 15 % des unités linguistiques en entrée sont choisies au hasard pour être masquées : leur valeur initiale est cachée au modèle. Celui-ci doit ensuite les retrouver à partir des unités non masquées et des caractéristiques visuelles disponibles.

    Le BERT classique est unimodal : il prédit les unités masquées à partir du langage seul. Pixel-BERT peut aussi exploiter les informations visuelles. Cela peut l'aider lorsque le contexte linguistique seul laisse une ambiguïté : si une unité masquée renvoie à un objet ou à une scène de l'image, les caractéristiques visuelles apportent le contexte nécessaire à sa prédiction.

  • Appariement image-texte (ITM)

    Cette tâche vise à évaluer si une image et sa description textuelle correspondent sur le plan sémantique, y compris dans leurs liens plus subtils.

    Pixel-BERT utilise le marqueur [CLS] comme point de représentation commune de l'image et du texte. Par exemple, face à la phrase « sous les cerisiers en fleurs au printemps » et à une photo de parc fleuri, le modèle peut produire une représentation fusionnée indiquant une forte correspondance. Une couche entièrement connectée, suivie d'une fonction sigmoïde, transforme cette représentation en un score proche de 1 lorsque la paire correspond bien.

    L'entraînement comprend aussi des paires négatives, dont l'image et le texte ne correspondent pas. On pourrait, par exemple, associer la même phrase à une photo de désert. Avec des paires positives et négatives, le modèle apprend à estimer dans quels cas image et texte vont ensemble.

  • Échantillonnage aléatoire des positions visuelles (Pixel Random Sampling)

    Cette stratégie propre à Pixel-BERT vise à rendre l'apprentissage des caractéristiques plus robuste et à réduire le surapprentissage lié à une entrée visuelle toujours identique.

    Pendant le préentraînement, après extraction de la carte de caractéristiques du CNN, les auteurs échantillonnent au hasard 100 vecteurs de position et les transmettent au Transformer. Les caractéristiques visuelles présentées varient donc légèrement d'une itération à l'autre.

    Cela peut présenter plusieurs avantages :

    • Robustesse : le modèle apprend à tirer des informations essentielles d'une partie de la carte, même si certaines positions ne sont pas sélectionnées.
    • Efficacité : moins de jetons visuels entrent dans le Transformer, ce qui réduit son coût de calcul.
    • Surapprentissage limité : en faisant varier régulièrement l'entrée, on rend moins probable la mémorisation d'un motif particulier et on favorise la généralisation.

    Cet échantillonnage n'est utilisé que pendant le préentraînement. À l'ajustement fin, le modèle reçoit toute la carte de caractéristiques du CNN : cela évite de perdre des informations durant un ajustement relativement court et maintient des entrées cohérentes entre l'entraînement et le test des tâches aval.

Discussion

Résultats en VQA

  • Avec ResNet-50 comme backbone visuel, Pixel-BERT obtient 71,35 sur la partition test-dev de VQA. C'est mieux que ViLBERT (70,55) et VisualBERT (70,80) dans le tableau, mais moins bien que VL-BERT (71,79) et LXMERT (72,42).
  • Avec ResNeXt-152, Pixel-BERT atteint 74,45 sur test-dev et 74,55 sur test-std, des scores supérieurs à ceux des autres méthodes avancées comparées ici.
  • Le tableau donne 72,46 pour UNITER sur test-std. Le corps de l'article cite aussi 73,40 pour UNITER-large : il s'agit de lignes de comparaison différentes, et non de deux valeurs pour la même entrée du tableau.

Ces résultats étayent l'apprentissage conjoint des positions de la carte de caractéristiques du CNN et des unités linguistiques. Il faut néanmoins distinguer les backbones visuels et les configurations de préentraînement des modèles comparés.

Résultats en NLVR2

Dans la tâche Natural Language for Visual Reasoning for Real (NLVR2), le modèle doit prédire si une description linguistique correspond à une paire d'images. Pixel-BERT reçoit deux paires image-texte et extrait un vecteur encodé de chaque marqueur [CLS]. Ces deux vecteurs sont concaténés, puis un classifieur « vrai » ou « faux » est appris par entropie croisée.

Pixel-BERT avec ResNeXt-152 atteint une exactitude de 76,5 sur dev et 77,2 sur test-P. Il dépasse LXMERT et la configuration « Pair » d'UNITER figurant dans le tableau, mais reste derrière la configuration « Pair-biattn » d'UNITER, à 77,1 et 77,9.

Pixel-BERT obtient donc de bons résultats aussi bien en VQA que sur une tâche qui exige de relier deux images à une description. Ils montrent également qu'il peut s'adapter à différents formats d'entrée.

Recherche image-texte

  • La figure ci-dessus concerne le test Flickr30K 1K (Table 4 de l'article), et non MS-COCO. Pour Pixel-BERT avec ResNeXt-152, le rappel au rang 1 en recherche de texte (TR R@1) est de 87,0, contre 86,2 pour Unicoder-VL et 84,7 pour UNITER. Le rappel en recherche d'images (IR R@1) est de 71,5, à égalité avec ces deux modèles.
  • La Table 5 rapporte séparément les résultats MS-COCO : pour ResNeXt-152, TR R@1 vaut 84,9 et 63,6 sur les partitions 1K et 5K, tandis que IR R@1 vaut 71,6 et 50,1. Les gains de 0,6, 0,3 et de 1,9, 1,7 points cités dans l'article renvoient à des comparaisons précises, selon le sens de la recherche et la partition ; ce ne sont pas les chiffres Flickr30K de la figure.

Pixel-BERT obtient de bons résultats en recherche image-texte, notamment pour le R@1 de MS-COCO dans le sens texte vers image. Ces chiffres comparent toutefois des modèles dont les backbones visuels et l'entraînement diffèrent.

Quels choix de conception comptent le plus ?

Les auteurs attribuent une partie de l'efficacité de Pixel-BERT à plusieurs choix de conception :

  1. Choix des tâches de préentraînement

    Par rapport à la ligne 1, sans préentraînement, MLM seul (ligne 3) fait passer VQA de 63,50 à 71,13 et NLVR2 de 52,0 à 70,9. ITM seul (ligne 2) améliore les scores de recherche, mais NLVR2 recule légèrement, de 52,0 à 51,9.

  2. Combinaison des tâches de préentraînement

    En combinant MLM et ITM, les auteurs observent un effet positif sensible sur les performances, ce qui montre l'intérêt de plusieurs tâches de préentraînement pour les tâches aval.

  3. Échantillonnage aléatoire des positions visuelles

    Ce choix propre à Pixel-BERT vise à renforcer la robustesse et à limiter le surapprentissage. À backbone ResNet-50 et tâches MLM+ITM identiques, la comparaison des lignes 4 et 5 montre que l'échantillonnage au préentraînement fait passer VQA de 70,84 à 71,35, TR de 72,0 à 75,7, IR de 57,7 à 59,8 et NLVR2 de 71,3 à 71,7.

  4. Choix du backbone visuel

    Les performances dépendent aussi du backbone choisi. Un ResNeXt-152 plus puissant améliore nettement les résultats, montrant que Pixel-BERT peut profiter d'un encodeur visuel plus fort.

Conclusion

Enfin, les auteurs présentent la visualisation ci-dessus. Les cartes d'attention de Pixel-BERT montrent certaines relations sémantiques entre texte et image et rendent plus visibles les résultats de l'apprentissage multimodal.

Les modèles préentraînés ont récemment produit des résultats remarqués en vision et en langage. Pour répondre aux limites des représentations régionales, les auteurs introduisent un encodeur visuel fondé sur un CNN, qu'ils combinent à un Transformer multimodal pour former Pixel-BERT.

Pixel-BERT explore les liens entre image et texte et obtient de bons résultats d'encodage vision-langage. Son échantillonnage aléatoire renforce encore la robustesse de l'apprentissage. Préentraîné sur des jeux de données connus tels que Visual Genome et MSCOCO, le modèle donne des résultats prometteurs. Les auteurs envisagent de le préentraîner sur davantage de données et d'y ajouter des tâches visuelles autosupervisées pour améliorer encore ses performances.