Learning to Prompt for Vision-Language Models
- Publication
- International Journal of Computer Vision 2022Revue
- Premier dépôt sur arXiv
- arXiv:2109.01134
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{modeltuningcoop2021,
title = {{Learning to Prompt for Vision-Language Models}},
author = {Kaiyang Zhou and Jingkang Yang and Chen Change Loy and Ziwei Liu},
year = {2021},
eprint = {2109.01134},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2109.01134}
}
Nous avons regardé l’article sur les Soft Prompts il y a peu. Voyons maintenant une application qui a suivi.
Cette façon d’ajuster un modèle en y ajoutant un module vise généralement les LLM ou les VLM.
Les auteurs de cet article ont choisi un VLM, plus précisément le CLIP que nous connaissons bien.
CLIP est paru en mars 2021. Un mois plus tard, quelqu’un proposait le concept de Soft Prompts.
Les auteurs ont alors décidé d’appliquer ce concept à CLIP. Voilà comment est né cet article.
Définir le problème
Le problème est le même que pour les Soft Prompts : les prompts conçus à la main ont bien des défauts. Leur effet peut varier du tout au tout selon le modèle et la tâche.
Prenons CLIP dans la figure ci-dessus. Avec le prompt a photo of [CLASS], on obtient une précision d’environ 80 %. Il suffit d’ajouter un a, pour écrire a photo of a [CLASS], et elle monte à 86 % !
Ce n’est pas un cas isolé : les quatre images de la figure présentent le même phénomène.
Comment est-ce possible ? Quelques mots qui semblent sans importance peuvent-ils vraiment faire une telle différence ?
Revoir CLIP
Nous supposons que vous n’avez pas envie de lire l’article de CLIP. Revenons donc brièvement sur son architecture.
CLIP contient deux encodeurs :
- Encodeur d’images : il projette des données visuelles de grande dimension dans un espace de caractéristiques plus petit. Son architecture peut être un CNN ou un ViT.
- Encodeur de texte : fondé sur un Transformer, il transforme le langage naturel en représentation textuelle.
Le texte d’entrée est traité par BPE (Byte Pair Encoding), puis transformé en vecteurs de plongement de mots de dimension 512. Le vocabulaire compte 49 152 entrées. Pendant l’entraînement, les phrases reçoivent les symboles spéciaux [SOS] et [EOS], et leur longueur maximale est limitée à 77. Enfin, la caractéristique à la position [EOS] passe par LayerNorm, puis par une projection linéaire.
L’objectif de CLIP est d’aligner les espaces de plongement de l’image et du texte. À partir d’un lot de paires image-texte, le modèle maximise la similarité cosinus des paires correspondantes et minimise celle des paires non correspondantes.
Pour que le modèle apprenne des concepts visuels variés, l’équipe CLIP a réuni un jeu d’entraînement gigantesque de 400 millions de paires image-texte.
Révision terminée : vous voilà, vous aussi, maître de CLIP.
Résoudre le problème
Architecture du modèle
La figure montre l’architecture de Context Optimization, ou CoOp. Elle représente les mots de contexte par des vecteurs continus appris sur les données, afin d’éviter d’ajuster les prompts à la main.
Les auteurs distinguent deux conceptions du contexte. Pendant l’entraînement, seuls les vecteurs de contexte sont mis à jour ; les paramètres préentraînés de CLIP restent gelés :
-
Contexte unifié
Son nom dans l’article est Unified Context, abrégé UC.
Toutes les classes partagent les mêmes vecteurs de contexte pour former un prompt commun. Celui-ci a la forme suivante :
Ici, () est un vecteur de même dimension que le plongement des mots, par exemple 512 pour les caractéristiques de CLIP. est un hyperparamètre qui indique le nombre de tokens de contexte.
La prédiction se déroule ainsi :
- On transmet le prompt à l’encodeur de texte pour obtenir le vecteur de poids de classification correspondant (toujours à la position du marqueur [EOS]).
- La probabilité prédite est calculée comme suit :
Ici, est la caractéristique produite par l’encodeur d’images et le prompt de la classe , qui contient le plongement du nom de cette classe.
-
Contexte propre à chaque classe
Son nom dans l’article est Class-Specific Context, abrégé CSC.
Chaque classe possède ses propres vecteurs de contexte.
Le prompt prend la forme suivante :
Ici, () est un vecteur de même dimension que le plongement des mots. est un hyperparamètre qui indique le nombre de tokens de contexte.
La prédiction se déroule ainsi :
- On transmet le prompt à l’encodeur de texte pour obtenir le vecteur de poids de classification correspondant (toujours à la position du marqueur [EOS]).
- La probabilité prédite est calculée comme suit :
Ici, est le prompt de la classe et contient le plongement du nom de cette classe.
Discussion
Résultats sur plusieurs jeux de données
Les traits pleins montrent les gains de CoOp par rapport à CLIP ; les étoiles, CLIP en zéro-shot.
Les traits pointillés représentent une autre méthode, la sonde linéaire.
indique la longueur du contexte.
« end » et « mid » placent le token de classe à la fin ou au milieu.
CSC désigne un contexte propre à chaque classe.
La figure montre qu’avec seulement deux exemples par classe (2-shot), CLIP+CoOp dépasse déjà en moyenne CLIP en zéro-shot. À 16-shot, le gain moyen de précision approche 15 points de pourcentage.
Sur les tâches spécialisées EuroSAT et DTD, les gains de précision à 16-shot dépassent respectivement 45 et 20 points. Ils dépassent aussi 10 points sur les jeux de données fins (Flowers102, StanfordCars, FGVCAircraft), ainsi que sur ceux de scènes et d’actions (SUN397, UCF101).
Même sur ImageNet, jeu plus difficile avec 1 000 classes, le gain est de 4,77 points.
Comparer UC et CSC
Nous venons de voir le contexte unifié (Unified Context, UC) et le contexte propre à chaque classe (CSC). Lequel fonctionne le mieux ?
Revenons à la figure et comparons les résultats avec et sans CSC, autrement dit ceux de CSC et d’UC.
En moyenne, UC obtient de meilleurs résultats dans la plupart des cas. CSC fait mieux à 16-shot sur certains jeux fins, comme Flowers102 et FGVCAircraft, et sur une tâche spécialisée comme EuroSAT. Mais ce n’est pas le cas de StanfordCars et DTD dans la figure ; en dessous de 8-shot, CSC est souvent derrière UC.
Aucune des deux méthodes n’est donc toujours supérieure. Choisir la version adaptée à la tâche peut encore améliorer les performances.
Transfert de la capacité de généralisation
CLIP possède déjà une forte capacité de zéro-shot. Les auteurs se demandent donc si l’ajustement de CoOp sur un jeu de données donné risque de nuire à sa généralisation.
Dans le tableau, source désigne ImageNet, utilisé pour l’ajustement, et target les jeux qui servent à mesurer la généralisation.
CoOp fait mieux que CLIP en zéro-shot dans la plupart des tests entre domaines, surtout avec un contexte court (). Certaines combinaisons d’architecture et de jeu cible restent toutefois en dessous de CLIP en zéro-shot : on ne peut pas dire que tous les réglages améliorent la robustesse.
Quelle longueur de prompt ?
Les auteurs expérimentent sur 11 jeux de données avec des contextes de 4, 8 ou 16 tokens.
Augmenter le nombre de tokens de contexte améliore généralement la précision moyenne sur ces 11 jeux. Le passage de 4 à 8 tokens apporte un gain plus marqué avec mid, mais, à 16 tokens, end reste légèrement devant mid sur la figure. Il n’existe pas de longueur optimale fixe : il faut trouver un équilibre entre la précision sur le jeu source et la robustesse au changement de distribution.
Méthode d’initialisation
Les auteurs comparent une initialisation aléatoire à une initialisation manuelle, qui utilise les vecteurs de plongement de « a photo of a ».
Les résultats montrent qu’une bonne initialisation a peu d’effet sur les performances. Ajuster davantage les tokens de départ pourrait aider, mais une initialisation aléatoire est déjà assez efficace en pratique.
Interpréter les prompts
Les vecteurs de contexte étant optimisés dans un espace continu, il est difficile de les interpréter directement.
Les auteurs adoptent donc une méthode indirecte : chercher dans le vocabulaire, selon la distance euclidienne, les mots les plus proches des vecteurs appris.
Voici quelques résultats de cette recherche :
- Food101 : « enjoyed » est lié à la tâche.
- OxfordPets : « fluffy » et « paw » ont un certain rapport avec elle.
- DTD : « pretty » évoque la description des textures.
L’expérience montre que les mots les plus proches n’expliquent les prompts appris que de façon limitée. Le sens des vecteurs ne correspond pas nécessairement à celui de ces mots ; ils peuvent aller au-delà du sens du vocabulaire existant et représenter des informations sémantiques de dimension plus élevée.
Conclusion
Les expériences montrent que CoOp obtient de bons résultats sur plusieurs jeux de données, surtout en généralisation entre domaines, où il dépasse nettement les prompts conçus à la main. Il montre ainsi son potentiel pour apprendre efficacement avec peu de données.
Première étude approfondie de l’adaptation de grands modèles visuels par l’apprentissage de prompts, ce travail joue un rôle pionnier. Il apporte des preuves expérimentales en faveur de cette méthode et pose des bases pour les recherches à venir.