Conditional Prompt Learning for Vision-Language Models
- Publication
- CVPR 2022Conférence
- Premier dépôt sur arXiv
- arXiv:2203.05557
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{modeltuningcocoop2022,
title = {{Conditional Prompt Learning for Vision-Language Models}},
author = {Kaiyang Zhou and Jingkang Yang and Chen Change Loy and Ziwei Liu},
year = {2022},
eprint = {2203.05557},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2203.05557}
}
Après avoir publié CoOp, les auteurs ont remarqué un problème.
Les tokens qui guident le modèle vision-langage ne dépendent pas de l’image d’entrée. Une fois entraînés, ils ne tiennent donc plus compte des informations propres à cette image.
Définir le problème
Les modèles vision-langage comptent souvent des centaines de millions, voire des milliards de paramètres. Ajuster le modèle entier demande trop de ressources et risque de perturber les représentations acquises lors du préentraînement. Les auteurs avaient donc proposé CoOp : apprendre un prompt pour aider le modèle à généraliser à de nouvelles tâches.
Mais, en apprenant le contexte, CoOp se surajuste aux classes d’entraînement. Sa précision baisse nettement sur les classes inédites. Ce contexte statique généralise mal à des situations plus variées.
Une idée vient alors assez naturellement : au moment de prédire, pourrait-on ajuster les tokens en fonction de l’image reçue ?
Résoudre le problème
L’architecture de cet article ressemble beaucoup à celle de CoOp. Concentrons-nous sur les éléments importants.
Architecture du modèle
Par rapport à CoOp, CoCoOp ajoute une branche qui produit un token conditionnel à partir des caractéristiques de l’image, puis l’ajoute aux vecteurs de contexte appris.
Jusque-là, les branches image et texte fonctionnaient séparément. Cette architecture permet aux informations visuelles d’influencer la représentation du prompt textuel.
CoCoOp introduit un petit réseau, le Meta-Net, qui combine sa sortie avec les vecteurs de contexte appris pour produire un contexte conditionné par l’entrée. Le Meta-Net comporte un goulot à deux couches Linear–ReLU–Linear ; sa dimension cachée vaut un seizième de la dimension d’entrée. Il reçoit les caractéristiques produites par l’encodeur d’images.
Le vecteur de contexte conditionnel s’écrit ainsi : est la caractéristique issue de l’encodeur d’images et le même produit par le Meta-Net est ajouté à chaque vecteur de contexte.
Le prompt devient , et la formule de la probabilité prédite devient :
À l’entraînement, les vecteurs de contexte et les paramètres du Meta-Net sont optimisés ensemble. Le modèle de base, CLIP, reste gelé.
Discussion
Regardons surtout les différences entre CoCoOp et CoOp.
Généralisation aux classes inédites
Les auteurs évaluent encore les modèles sur 11 jeux de données. Dans le tableau, Base désigne les classes de base, New les classes inédites et H leur moyenne harmonique. CoOp est le modèle de première génération ; CoCoOp est celui de cet article.
Dans le tableau, CoOp fait mieux que CLIP sur les classes de base, mais sa précision baisse nettement sur les classes inédites : de 82,69 % sur les classes de base à 63,22 % sur les nouvelles, soit près de 20 points d’écart. CoOp s’est peut-être trop ajusté aux classes de base, au détriment des nouvelles. Il faut donc améliorer la généralisation des prompts appris.
CoCoOp atteint 71,69 % sur les nouvelles classes et réduit nettement l’écart avec les prompts rédigés à la main. Sur 5 des 11 jeux de données, sa précision sur les nouvelles classes dépasse celle de CoOp de plus de 10 points. Sur ImageNet, elle passe de 67,88 % à 70,43 % et dépasse même les 68,14 % de CLIP.
Par rapport à CoOp, CoCoOp perd un peu de précision sur les classes de base dans certains jeux de données. Parmi les 9 cas de baisse, 6 restent sous 3 points, tandis que les gains sur les nouvelles classes compensent cette perte. Sur StanfordCars, par exemple, la précision Base baisse de 7,63 points et la précision New monte de 13,19 points : la somme de ces deux variations est positive, à 5,56 points. La moyenne harmonique du tableau passe, elle, de 68,13 % à 72,01 %.
Augmenter le nombre de paramètres, qui ne saurait le faire ?
CoCoOp introduit un Meta-Net, qui ajoute des paramètres. En connaisseur, vous posez aussitôt la question :
- Le gain vient-il simplement de paramètres supplémentaires ?
Pour y répondre, les auteurs retirent le Meta-Net de CoCoOp et augmentent autant que possible le nombre de vecteurs de contexte de CoOp, jusqu’à approcher le nombre de paramètres de CoCoOp.
Le tableau compare CoOp (ctx=60) et CoOp (ctx=4) + Meta-Net, dont les nombres de paramètres sont proches. Augmenter seulement le contexte de CoOp n’améliore pas la généralisation aux nouvelles classes : par rapport au CoOp (ctx=4) initial, sa précision New baisse même de 2,54 points. Cela étaye l’idée des auteurs selon laquelle CoOp se surajuste aux classes de base.
Ainsi, au moins dans cette expérience ImageNet, augmenter simplement le nombre de vecteurs de contexte de CoOp ne procure pas le gain de CoCoOp sur les nouvelles classes.
Conclusion
Grâce au prompt conditionnel, CoCoOp résout le problème de généralisation des prompts statiques et obtient de bons résultats dans plusieurs situations, notamment le transfert de prompts entre jeux de données et la généralisation à d’autres domaines.
Les auteurs signalent enfin un entraînement nettement moins efficace que celui de CoOp. Sur 7 des 11 jeux de données, CoCoOp reste moins performant que CLIP sur les classes inédites. L’écart entre prompts appris et prompts rédigés à la main n’est donc pas complètement comblé. Ce problème est loin d’être réglé.