The Power of Scale for Parameter-Efficient Prompt Tuning
- Publication
- EMNLP 2021Conférence
- Premier dépôt sur arXiv
- arXiv:2104.08691
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{modeltuningsoftprompts2021,
title = {{The Power of Scale for Parameter-Efficient Prompt Tuning}},
author = {Brian Lester and Rami Al-Rfou and Noah Constant},
year = {2021},
eprint = {2104.08691},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2104.08691}
}
Nous avons vu Prefix-Tuning il n’y a pas longtemps. Voici maintenant une autre méthode : Prompt Tuning.
Définir le problème
Pour présenter les difficultés que pose l’ajustement des modèles, les auteurs commencent par l’architecture de l’article sur T5.
T5 traite toutes les tâches comme des problèmes de génération de texte. Traduction, résumé ou classification : chacune peut s’exprimer comme la génération d’un texte de sortie à partir d’un texte d’entrée.
Un modèle de classification classique emploie la probabilité pour associer l’entrée à une classe . Dans l’architecture T5, la question est celle de la génération conditionnelle : il s’agit de calculer
où :
- est le texte qui représente la classe, par exemple « positive » ou « negative », et non un numéro comme 0, 1 ou 2.
- désigne les paramètres du Transformer.
Cette approche permet au modèle de produire directement un texte plus riche qu’une simple étiquette de classe.
Un prompt est un morceau de texte placé avant l’entrée pour guider la génération de la bonne sortie . Il donne au modèle le contexte ou les instructions de la tâche et l’aide à comprendre comment traiter l’entrée.
Pour une analyse de sentiment, par exemple, on pourrait écrire :
« Détermine le sentiment de la phrase suivante : »
Puis ajouter la phrase de l’utilisateur pour former l’entrée finale :
« Détermine le sentiment de la phrase suivante : I love this movie! »
Mais ce prompt « traditionnel » coûte du travail humain, ses résultats sont instables et il n’est pas différentiable. Ce dernier point signifie que nous ne pouvons pas mettre à jour ses paramètres par rétropropagation ; le modèle ne peut donc pas apprendre automatiquement la meilleure façon de formuler le prompt.
Pour résoudre ce problème, Prefix-Tuning, une étude antérieure, proposait d’ajouter au tout début de l’entrée un token appelé préfixe afin de guider la sortie. Ce préfixe doit intervenir dans chacune des couches du modèle pour les guider toutes.
Ne pourrait-on pas simplifier les choses et guider le modèle uniquement à sa couche d’entrée ?
C’est précisément l’idée de cet article : Prompt Tuning.
Résoudre le problème
Prompt Tuning
Les auteurs proposent Prompt Tuning : des paramètres de plongement de prompt modifiables, , qui ne sont plus limités au tableau de plongement des mots du modèle et peuvent être appris automatiquement sur les données d’entraînement.
La nouvelle formule de génération conditionnelle est :
où :
- désigne la concaténation du prompt et de l’entrée .
- représente les paramètres gelés du modèle.
- représente les paramètres entraînables du prompt.
Pendant l’entraînement, la rétropropagation ne met à jour que les paramètres du prompt , tandis que les paramètres du modèle principal restent fixes.
Voici, dans les grandes lignes, les étapes de mise en œuvre :
- Plongement de l’entrée : les tokens d’entrée deviennent une matrice , où est la dimension du plongement.
- Plongement du prompt : le prompt devient une matrice , où est sa longueur.
- Concaténation : les deux matrices de plongement sont assemblées :
- Traitement par le modèle : le plongement concaténé passe dans une architecture encodeur-décodeur.
Supposons que nous voulions déterminer le sentiment de « I love this movie! ». Avec la méthode traditionnelle, l’entrée du modèle serait :
« Détermine le sentiment de la phrase suivante : I love this movie! »
Avec Prompt Tuning, elle serait :
[Token1] [Token2] [Token3] [Token4] [Token5] I love this movie!
Chacun de ces tokens est un vecteur continu entraînable, pas une chaîne réelle du vocabulaire. Le modèle doit apprendre lui-même à se servir au mieux de ces prompts.
Discussion
Les auteurs mènent plusieurs études d’ablation pour examiner quelques questions essentielles sur Prompt Tuning :
Quelle longueur donner au prompt ?
Dans la partie (a) de la figure, ils testent les modèles Small, Base, Large, XL et XXL avec des prompts de longueur {1, 5, 20, 100, 150}.
Pour la plupart des modèles, passer à plus d’un token améliore nettement les performances. T5-XXL obtient néanmoins de bons résultats même avec un seul token : un grand modèle semble avoir moins besoin de ce signal de guidage.
Au-delà de 20 tokens, les gains se tassent ; sur certains des plus grands modèles, dépasser 100 tokens fait même légèrement baisser les performances.
Quel effet a la stratégie d’initialisation ?
Dans la partie (b), les auteurs comparent trois stratégies :
- Initialisation aléatoire : tirage uniforme dans l’intervalle .
- Initialisation par plongement lexical : choix de plongements parmi les 5 000 mots les plus fréquents de T5.
- Initialisation par étiquette de classe : conversion des étiquettes de la tâche cible en plongements. Si une étiquette comporte plusieurs tokens, on prend la moyenne de leurs plongements. Si le prompt est plus long que le nombre de classes, les tokens restants sont remplis avec des plongements lexicaux.
L’initialisation par étiquette de classe donne globalement les meilleurs résultats, surtout sur les petits modèles, où la stratégie choisie change beaucoup la performance. T5-XXL y est moins sensible : les résultats des différentes méthodes sont proches.
Quel effet a l’objectif de préentraînement ?
Dans la partie (c), les auteurs étudient différents objectifs de préentraînement :
- Span Corruption : l’objectif de préentraînement span corruption par défaut de T5.
- Span Corruption + Sentinel : ajout de symboles sentinelles aux sorties cibles des tâches aval, pour imiter le format des sorties de préentraînement.
- Adaptation LM : poursuite du préentraînement de T5 avec un objectif de modélisation du langage (LM) pendant 100 000 étapes supplémentaires.
Les modèles préentraînés par Span Corruption se prêtent mal à Prompt Tuning avec un modèle gelé, car ils ont appris à lire et à produire des textes munis de sentinelles. Même « Span Corruption + Sentinel », qui imite le format de préentraînement, n’apporte qu’une amélioration limitée.
LM Adaptation améliore les résultats à toutes les échelles, même si le gain est plus faible pour T5-XXL.
Quelle durée pour l’adaptation LM ?
Dans la partie (d), les auteurs étudient l’effet de la durée de l’adaptation LM sur Prompt Tuning.
Dans la plage testée, prolonger cette adaptation jusqu’à 100 000 étapes continue d’apporter des gains. Passer du préentraînement Span Corruption à l’objectif LM n’est pas simple : cela réclame des ressources d’entraînement considérables, équivalant à 10 % des étapes du préentraînement initial de T5.
T5-XXL reste performant même avec diverses configurations imparfaites, ce qui montre sa grande tolérance aux réglages. Avec Span Corruption, les résultats sont instables et les petits modèles dépassent parfois Base, Large et XL. Ce n’est pas une fluctuation aléatoire : les trois répétitions de l’expérience présentent toutes une faible variance.
Par rapport aux modèles préentraînés avec Span Corruption, ceux ayant subi une adaptation LM sont stables à toutes les échelles et réduisent beaucoup le risque de performance instable.
Comparaison avec d’autres méthodes
La figure compare Prompt Tuning à plusieurs méthodes voisines. Comme elles sont nombreuses, en voici une brève présentation avec leurs références.
-
Prefix Tuning :
Cette méthode ajoute un préfixe apprenable à chaque couche du Transformer, ce qui revient à fixer des valeurs d’activation pour chacune. Elle s’applique à GPT-2 et à BART, alors que Prompt Tuning, dans cette étude, se concentre sur T5. Sur BART, Prefix Tuning doit ajouter des préfixes à l’« encodeur et au décodeur » ; Prompt Tuning n’ajoute un prompt qu’à l’encodeur.
Prompt Tuning ne place un prompt apprenable qu’à la couche d’entrée, pas un préfixe à chaque couche ; il demande donc moins de paramètres. Il laisse aussi le Transformer actualiser ses représentations intermédiaires de la tâche selon l’exemple d’entrée, tandis que Prefix Tuning, dans la configuration comparée par cet article, demande une reparamétrisation pour stabiliser l’entraînement.
-
WARP
WARP ajoute les paramètres du prompt à la couche d’entrée et utilise un token [MASK] ainsi qu’une couche de sortie entraînable pour associer la partie masquée à une classe. Comme il ne produit qu’une seule sortie, il se limite aux tâches de classification.
Prompt Tuning n’exige ni conception spéciale de l’entrée ni couche de sortie propre à la tâche. Il convient donc à un éventail de tâches plus large et se rapproche aussi davantage des performances d’un ajustement complet du modèle.
-
P-tuning
P-tuning insère des plongements continus entraînables entre les éléments de l’entrée et les dispose selon un motif conçu par l’humain. Pour obtenir de bons résultats sur SuperGLUE, il doit s’accompagner d’un ajustement du modèle : on entraîne à la fois le prompt et les paramètres du modèle principal.
Prompt Tuning ne met à jour que les paramètres du prompt. Le modèle de langage principal reste gelé, ce qui évite le coût d’un ajustement complet.
-
Soft Words
-
[21.04] Learning How to Ask: Querying LMs with Mixtures of Soft Prompts
Les prompts appris par Soft Words partent de modèles de prompts conçus à la main. La méthode ajoute des paramètres entraînables à chaque couche ; le nombre de paramètres croît donc avec la profondeur du modèle.
Prompt Tuning n’a pas besoin d’ajouter des paramètres à chaque couche, ce qui le rend plus économe en paramètres.
-
-
Adapters
-
[19.02] Parameter-Efficient Transfer Learning for NLP
Les Adapters sont de petites couches à goulot insérées entre celles d’un modèle gelé afin de limiter les paramètres propres à la tâche. Sur BERT-Large, l’ajustement des couches Adapter n’ajoute que 2 à 4 % de paramètres et approche les performances d’un ajustement complet.
Les Adapters modifient le comportement du modèle en réécrivant les activations de ses couches intermédiaires. Prompt Tuning, lui, ajuste la représentation d’entrée et conserve les calculs internes du modèle.
-
Que suggère au juste le prompt ?
Comme nous l’avons vu, Prompt Tuning agit dans un espace continu, non dans un vocabulaire explicite. Il est donc difficile de comprendre directement comment ces prompts influencent le comportement du modèle.
Les auteurs calculent la « similarité cosinus » entre chaque token du prompt et les tokens du vocabulaire pour trouver les mots les plus proches. Ces « voisins lexicaux » donnent un aperçu du sens que pourrait porter chaque token du prompt.
Les cinq voisins les plus proches d’un token de prompt forment souvent un « groupe sémantiquement cohérent ». Lorsque l’on remplace le token appris par un vecteur aléatoire, on n’observe pas de groupement semblable.
Ces observations suggèrent qu’après entraînement, les vecteurs de prompt présentent une structure qui ressemble à celle du vocabulaire. Avec un long prompt, plusieurs tokens peuvent aussi partager les mêmes mots voisins.
Les auteurs envisagent deux explications :
- Capacité redondante : le prompt pourrait contenir des informations répétées ou superflues.
- Absence de structure séquentielle : le modèle pourrait avoir du mal à situer une information à un endroit précis de la séquence de prompt.
Autre observation importante : les mots les plus proches des tokens de prompt comprennent souvent les « étiquettes de classe de la tâche aval ». Prompt Tuning pourrait donc stocker dans le modèle les classes de sortie attendues et s’en servir pour guider la génération.
Conclusion
Dans les expériences, Prompt Tuning atteint des performances comparables à l’ajustement traditionnel du modèle. Plus le modèle grandit, plus l’écart de performance se réduit. Dans les tâches de transfert de domaine en zéro-shot, il généralise mieux. Geler les paramètres généraux du modèle de langage et limiter l’apprentissage à de légers vecteurs de prompt peut ainsi réduire le surajustement à un domaine particulier.
Les auteurs estiment qu’une piste future serait de séparer les « paramètres qui définissent la tâche » des « paramètres généraux de modélisation du langage ». Cela permettrait de mieux contrôler le modèle et d’améliorer son interprétabilité.