UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning
- Publication
- ACL 2021Conférence
- Premier dépôt sur arXiv
- arXiv:2012.15409
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{multimodalityunimo2020,
title = {{UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning}},
author = {Wei Li and Can Gao and Guocheng Niu and Xinyan Xiao and Hao Liu and Jiachen Liu and Hua Wu and Haifeng Wang},
year = {2020},
eprint = {2012.15409},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2012.15409}
}
Cela fait longtemps que vous n'avez pas eu cours de chinois, non ? Vous souvenez-vous de ce qu'est le cuòzōng, cet art de varier une expression ?
Ce début semble sortir de nulle part. Peu importe : commençons par une petite révision.
Le cuòzōng
-
Intervertir les mots (changer leur ordre)
- On réorganise les mots d'une phrase pour lui donner un autre sens ou une autre impression.
- Texte initial : « 陟罰臧否 » → variante : « 陟臧罰否 ». L'ordre des caractères change.
-
Remplacer les mots
- Des mots voisins prennent la place des mots initiaux et donnent une autre couleur à la phrase.
- Texte initial : « 南山烈烈,飄風發發 » → variante : « 南山律律,飄風弗弗 ».
-
Allonger ou raccourcir la phrase
- Modifier volontairement sa longueur permet de changer son rythme.
- Texte initial : « 於山見終南嵩華之高,於水見黃河之大且深 » → variante abrégée : « 於山見高,於水見大且深 ». Les noms des montagnes et du fleuve disparaissent.
-
Changer la forme de la phrase
- On en modifie le ton ou la construction, par exemple en transformant une affirmation en question.
- Texte initial : « 徐公何能及君也? » → variante : « 徐公能及君也嗎? ».
Le cuòzōng joue donc sur la structure, l'ordre, la longueur et la forme du langage.
Revenons au sujet.
Dans UNIMO, les auteurs empruntent une idée qui rappelle le remplacement des mots pendant l'entraînement multimodal. Ils la combinent à d'autres reformulations et à la recherche d'exemples pour produire davantage de paires positives et de négatifs difficiles.
Vous voulez dire qu'ils ne remplacent que des mots et ne font rien d'autre ?
Pas tout à fait. L'article emploie aussi la rétrotraduction au niveau de la phrase, la recherche de négatifs difficiles et l'augmentation par des images ou des textes retrouvés. Gardez malgré tout la leçon de rhétorique en tête : quelles autres variations pourraient ouvrir de nouvelles pistes ?
Définition du problème
En passant en revue les travaux antérieurs sur le préentraînement, les auteurs distinguent les approches unimodales et multimodales. Les unes comme les autres ont leurs limites :
-
Les difficultés de l'apprentissage unimodal
Les modèles et les études se concentrent souvent sur une seule modalité, texte ou image. Cela limite directement leur capacité à combiner les deux dans une tâche multimodale et à exploiter ensemble les informations visuelles et linguistiques.
-
La quantité limitée de données multimodales appariées
Des méthodes comme ViLBERT, VisualBERT ou UNITER reposent largement sur des paires image–texte, moins abondantes que les données propres à chaque modalité. Selon les auteurs, leur transfert vers les tâches unimodales peut aussi être irrégulier.
-
La difficulté d'aligner les espaces sémantiques
Il faut placer textes et images dans un espace sémantique commun pour les aligner et les combiner. Faire en sorte que les représentations apprises se transfèrent entre modalités et au-delà des paires d'entraînement reste difficile.
-
L'efficacité de l'apprentissage des représentations croisées
Les stratégies précédentes apprennent surtout à partir de paires image–texte limitées, avec l'appariement image–texte et la prédiction de mots masqués. Les auteurs cherchent des représentations visuelles et textuelles plus générales, utiles aussi pour les tâches unimodales.
-
Comprendre et générer grâce à plusieurs modalités
Mettre en commun connaissances visuelles et linguistiques pour mieux comprendre des exemples multimodaux et générer du texte constitue un autre défi. Les auteurs veulent que les deux sources d'information se renforcent mutuellement.
Résolution du problème
Conception d'UNIMO
UNIMO est une méthode de préentraînement multimodal qui cherche à apprendre, au niveau sémantique, des informations indépendantes de la modalité. Son idée centrale s'inspire de notre manière de percevoir le monde par plusieurs sens.
Ses grands principes sont les suivants :
-
Apprentissage multimodal
- UNIMO apprend à partir d'images, de textes et de paires image–texte. Il cherche ainsi une information sémantique commune aux modalités et des représentations plus solides et générales pour les entrées visuelles et textuelles.
-
Architecture Transformer
- Un Transformer à plusieurs couches d'autoattention apprend une représentation sémantique unifiée des données visuelles et textuelles.
- Le texte est segmenté en sous-mots par Byte Pair Encoding (BPE) ; l'autoattention produit ensuite des représentations contextualisées des tokens.
- Pour les images, Faster R-CNN détecte les régions saillantes et extrait leurs caractéristiques visuelles.
-
Apprentissage contrastif intermodal (CMCL)
- CMCL vise à aligner les représentations textuelles et visuelles de plusieurs granularités dans un même espace sémantique.
- L'idée est de rapprocher les représentations des images et textes appariés, et d'éloigner celles qui ne correspondent pas.
- Les reformulations textuelles produisent des paires image–texte positives X+ et négatives X− ; une recherche dans les données unimodales fournit des images XI et des textes XT apparentés.
- Le même Transformer unifié encode ensemble les paires image–texte. Les images et textes unimodaux retrouvés, plus faiblement liés à la paire initiale, sont encodés séparément avant le calcul de la perte contrastive.
-
Apprentissage conjoint unimodal et multimodal
- UNIMO est préentraîné sur de vastes collections d'images, de corpus textuels et de paires image–texte. La prédiction masquée lui donne des représentations visuelles et textuelles transférables dans un même espace sémantique.
- Il apprend conjointement les connaissances visuelles, linguistiques et croisées : les régions visuelles masquées font l'objet d'une régression de caractéristiques et d'une prédiction de catégorie ; le texte est entraîné avec une prédiction bidirectionnelle et un objectif de génération Seq2Seq. Les expériences suggèrent que ces connaissances peuvent se compléter.
CMCL
CMCL cherche à rapprocher les exemples apparentés, dits positifs, dans l'espace sémantique commun, tout en séparant les exemples négatifs. La formule est la suivante :
Dans cette formule :
- est un score de similarité entre l'image et le texte . L'article l'appelle aussi « distance », mais le terme suppose un score plus élevé pour les positifs que pour les négatifs.
- est la température qui contrôle la concentration de la distribution softmax.
- Au numérateur, comprend les paires positives ainsi que des images et des textes unimodaux liés à la paire initiale. Pour calculer leur score intermodal, on associe respectivement l'image retrouvée au texte original et le texte retrouvé à l'image originale .
- Au dénominateur, comprend ces positifs et les paires, images et textes négatifs. Il ne contient donc pas uniquement des négatifs.
- désigne l'espérance sur les paires image–texte de l'entraînement.
Cette perte reprend l'idée de l'apprentissage contrastif : les images et textes sémantiquement apparentés doivent recevoir des représentations proches, les exemples sans rapport des représentations plus éloignées.
- Au numérateur, un score de similarité plus élevé pour les paires positives et les éléments retrouvés augmente le terme exponentiel correspondant.
- Le dénominateur comprend à la fois positifs et négatifs ; faire baisser le score d'un négatif réduit son terme exponentiel.
En maximisant la part attribuée aux positifs, le modèle apprend à distinguer dans cet espace multimodal les exemples apparentés des autres.
Alignement sémantique à plusieurs granularités
-
Réécriture du texte
Elle sert à enrichir l'alignement entre images et textes à plusieurs échelles. Le titre ou la description d'une image est reformulé au niveau de la phrase, du syntagme et du mot. Le modèle dispose ainsi de davantage d'exemples pour apprendre un alignement plus précis.
-
Réécriture au niveau de la phrase
- Exemples positifs : on traduit une légende vers une autre langue, puis on la retraduit vers la langue d'origine. Pour la même image, on obtient ainsi des légendes proches par le sens mais différentes par la syntaxe ou le vocabulaire.
- Exemples négatifs : une recherche fondée sur la similarité TF-IDF trouve des légendes d'autres images. Elles ressemblent à la légende initiale sans décrire correctement l'image, et servent de négatifs difficiles.
-
Réécriture au niveau du syntagme et du mot
- On analyse d'abord la légende en un graphe de scène représentant objets, attributs et relations. Un nœud est remplacé par une entrée voisine du vocabulaire correspondant ; une reformulation fluide est retenue comme négatif difficile, au niveau du syntagme ou du mot, pour l'image initiale.
Là où un tirage aléatoire donne souvent des négatifs faciles, ces reformulations peuvent produire des exemples proches des positifs mais porteurs d'une différence subtile. Ils rendent la tâche du modèle plus exigeante.
Les contrastes entre légendes positives et négatives aident ainsi le modèle à aligner image et texte à plusieurs niveaux. La réécriture ne travaille pas seulement la phrase entière : elle permet aussi d'examiner des écarts sémantiques plus fins, entre mots et syntagmes.
-
-
Recherche d'images et de textes
Son objectif principal est d'introduire davantage d'informations unimodales dans l'apprentissage intermodal afin d'améliorer l'alignement sémantique.
-
Augmenter les informations unimodales
Chaque paire image–texte est enrichie par des images et des textes apparentés retrouvés dans des corpus qui ne contiennent qu'une seule modalité.
- Images : des caractéristiques TF-IDF sont construites à partir des étiquettes d'objets détectés ; elles servent à retrouver des images présentant des objets semblables.
- Textes : TF-IDF fournit d'abord des phrases candidates, puis la similarité des représentations BERT sert à les classer selon leur proximité avec la description initiale.
-
Encoder les informations ajoutées
Après encodage, les images et textes unimodaux retrouvés entrent dans le calcul de la perte contrastive intermodale.
- Encodage par le Transformer : le même Transformer unifié encode séparément ces images et ces textes. Pour calculer la relation croisée, l'image retrouvée est associée au texte original, et le texte retrouvé à l'image originale.
- Calcul de la perte contrastive : leurs représentations fournissent les scores positifs de la perte présentée plus haut.
-
Renforcer l'apprentissage intermodal grâce aux données unimodales
Ces exemples ajoutent du contexte et aident le modèle à établir des correspondances sémantiques plus solides entre vision et langage.
En complétant chaque paire initiale par des données unimodales apparentées, la recherche fournit les exemples supplémentaires nécessaires à l'alignement intermodal.
-
Protocole expérimental
Les auteurs décrivent ici le préentraînement d'UNIMO et les expériences de réglage fin.
-
Données de préentraînement et détails de réalisation
-
Données de préentraînement
- Corpus textuels : BookWiki et OpenWebText sont les principales sources de texte.
- Images : un sous-ensemble d'OpenImages et de COCO unlabel fournit des images sans description textuelle.
- Paires image–texte : COCO, Visual Genome, Conceptual Captions et SBU Captions sont réunis.
-
Détails de réalisation
- Tailles : UNIMO-base possède 12 couches Transformer, UNIMO-large en possède 24.
- Préentraînement : les modèles sont initialisés respectivement avec RoBERTa-base et RoBERTa-large, puis entraînés pendant au moins 500 000 étapes.
- Optimisation et matériel : Adam, entraînement en précision mixte float16 et GPU Nvidia Tesla V100 de 32 Go.
-
-
Tâches de réglage fin et paramètres expérimentaux
-
Tâches unimodales
- Génération : question-réponse conversationnelle (CoQA), génération de questions (SQuAD 1.1), résumé abstrait (CNN/DailyMail) et compression de phrases (Gigaword).
- Compréhension : classification de sentiment (SST-2), inférence en langue naturelle (MNLI), acceptabilité linguistique (CoLA) et similarité sémantique (STS-B).
-
Tâches multimodales
- Question-réponse visuelle (VQA v2.0), légendage d'images (Microsoft COCO Captions), inférence visuo-linguistique (SNLI-VE) et recherche image–texte (Flickr30k).
-
Pendant l'entraînement, Faster R-CNN, préentraîné sur Visual Genome, extrait les caractéristiques des régions visuelles. Les auteurs fixent aussi les critères de détection et de sélection des régions ; pour CMCL, ils construisent et choisissent les exemples positifs et les négatifs difficiles.
Discussion
Résultats sur les tâches multimodales
UNIMO se montre compétitif sur plusieurs tâches multimodales face à ViLBERT, VLP, UNITER ou Oscar. Pour la recherche d'images et de textes, le R@1 d'UNIMO-large dépasse celui d'ERNIE-ViL-large de 1,34 et 1,3 point respectivement. Le gain existe donc sur ces tests de recherche précis.
En légendage d'images, UNIMO-large atteint 39,6 en BLEU-4 contre 37,4 pour Oscar-large ; son CIDEr est en revanche légèrement inférieur, 127,7 contre 127,8. Dans l'ensemble, il reste compétitif pour ces tâches de compréhension et de génération multimodales.
Résultats sur les tâches unimodales
UNIMO s'adapte aussi aux tâches unimodales. Face à BERT, RoBERTa, XLNet et UniLM, ses résultats sont comparables ou un peu meilleurs sur beaucoup des tâches de compréhension et de génération présentées. UNIMO-large reste toutefois derrière RoBERTa-large sur MNLI et CoQA. La comparaison avec UniLM montre qu'un modèle entraîné sur plusieurs modalités peut rester compétitif sur des tâches purement linguistiques.
On peut attribuer une partie de ces résultats à la manière dont le cadre unifié exploite de grands corpus de textes et d'images unimodaux. L'adaptation à d'autres domaines et tâches reste à vérifier.
Qui apporte quoi ?
Dans l'apprentissage multimodal, la façon dont le texte et la vision interagissent, ainsi que la contribution de chacun à l'entraînement, mérite une attention particulière.
Les auteurs étudient donc comment ces deux types de données se renforcent dans UNIMO :
-
L'apport du texte : donner du contexte aux images
Lorsque l'apprentissage linguistique sur les corpus textuels unimodaux est retiré (tableau 3), les mesures multimodales baissent. Sur Flickr30k, le R@1 de la recherche d'images et de textes passe respectivement de 74,66 et 89,70 à 72,04 et 85,80. Sur VQA test-dev, il ne passe que de 73,79 à 73,77. Ces écarts soutiennent l'apport des textes unimodaux, avec une ampleur très différente selon la tâche.
-
L'apport de la vision : enrichir les représentations linguistiques
Inversement, retirer les images et les paires image–texte du préentraînement (tableau 4) fait baisser la plupart des mesures de compréhension linguistique et toutes les mesures de génération indiquées. Les scores MNLI matched et mismatched montent toutefois légèrement. La vision aide donc plusieurs tâches de ce tableau, sans améliorer systématiquement chaque mesure.
Cette complémentarité entre texte et vision ouvre une piste de recherche. Dans l'espace sémantique commun, les textes fournissent aux images un contexte et un cadre de sens ; les images apportent aux représentations linguistiques des situations concrètes. C'est dans ce sens que l'on peut parler de « coopération » entre modalités.
Conclusion
Dans cette discussion, l'alignement sémantique à plusieurs granularités revient souvent. Si cette idée compte autant pour faire correspondre texte et image à différents niveaux, pourquoi ne dispose-t-on pas d'une analyse expérimentale qui l'isole ? Son effet a-t-il été moins important que prévu ? La question reste intéressante et demanderait une ablation propre à chaque composant.
On pourrait, par exemple, retirer un type d'alignement fin à la fois et observer la variation des résultats sur les tâches intermodales. Certaines tâches exigent-elles un alignement plus précis ? D'autres garderaient-elles des résultats acceptables sans lui ? Les expériences sur les sources de données ne mesurent pas séparément chaque voie de réécriture ou de recherche.
Il faudrait d'autres expériences pour répondre à ces questions. J'espère qu'elles nous aideront à mieux comprendre le rôle de l'alignement à plusieurs granularités et à déterminer quelles parties de cette méthode méritent d'être conservées.