Retour à la bibliothèque
arXiv 2020EMNLP 2020Adaptation des modèlesNotes de lecture

AutoPrompt

La langue du modèle

Article original

AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts

Auteurs de l’article

Taylor Shin · Yasaman Razeghi · Robert L. Logan · Eric Wallace · Sameer Singh

Publication
EMNLP 2020Conférence
Premier dépôt sur arXiv
arXiv:2010.15980
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{modeltuningautoprompt2020,
  title = {{AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts}},
  author = {Taylor Shin and Yasaman Razeghi and Robert L. Logan and Eric Wallace and Sameer Singh},
  year = {2020},
  eprint = {2010.15980},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2010.15980}
}
Sur cette page

Les modèles de langage grossissent sans cesse. Quand la plupart des gens n’ont plus les moyens de les entraîner ou de les ajuster, une autre piste de recherche apparaît : le Prompt Engineering.

L’idée est de concevoir un bon prompt pour qu’un grand modèle de langage réponde à une question précise.

Mais écrire des prompts, que c’est pénible !

Définir le problème

Écrire les prompts à la main prend du temps

Rédiger un prompt pour chaque nouvelle tâche ressemble à un puzzle d’essais et d’erreurs. Cela demande beaucoup de temps.

Ce n’est pas simple non plus : il faut très bien connaître le modèle et la tâche pour écrire un prompt efficace, ce qui n’a rien d’intuitif pour la plupart des gens.

Le modèle est extrêmement sensible à l’entrée

Les modèles sont très exigeants sur les prompts : un tout petit changement peut faire chuter leurs performances.

Il suffit de se tromper légèrement dans la formulation pour que les résultats tournent mal.

Le manque d’expertise

Écrire des prompts à la main est fatigant et demande beaucoup d’expertise. Sans cette connaissance, on risque de passer à côté du concept central et le modèle ne pourra fournir que des réponses superficielles.

Changer de modèle, changer de façon de penser

Après tous ces obstacles, vous avez passé des mois à élaborer un prompt qui tire enfin tout le potentiel du modèle.

Mais voilà que le modèle est mis à jour !

Il faut alors tout recommencer.

Résoudre le problème

Conception de l’architecture

Pour résoudre ces problèmes, l’article propose une nouvelle méthode : AutoPrompt.

L’idée paraît toute simple : puisque je ne sais pas quel prompt fonctionne pour le modèle, laissons le modèle le produire lui-même.

La figure ci-dessus expose clairement l’architecture :

  1. Original Input : c’est l’entrée initiale XX.

  2. [MASK] : c’est la position où le modèle de langage masqué doit prédire un mot, et non la sortie connue YY.

Ici, la tâche est une analyse de sentiment. La prédiction du modèle à la position [MASK] est donc convertie en probabilités pour les classes positive et négative.

La partie [T] au milieu est le cœur d’AutoPrompt : l’espace dans lequel le prompt est produit automatiquement.

Autrement dit, la méthode utilise des données d’entraînement étiquetées pour trouver un ensemble de mots déclencheurs partagé par la tâche. À l’évaluation, ces mots et la nouvelle entrée sont insérés dans le gabarit.

Recherche de prompts guidée par les gradients

Les auteurs construisent des gabarits différents selon les tâches. La figure montre des exemples de prompts trouvés.

AutoPrompt se sert ici d’une stratégie de recherche fondée sur les gradients pour produire automatiquement des prompts.

Dans le gabarit, les mots déclencheurs [T] sont initialisés par [MASK]. Le gradient sert ensuite à estimer l’effet d’un mot de remplacement : on choisit les meilleurs candidats top-k, on les essaie l’un après l’autre dans le gabarit et on garde le meilleur.

Cette méthode ne modifie donc pas le modèle de langage cible. Le gradient cherche des mots déclencheurs discrets dans le vocabulaire ; il ne met pas à jour les poids du modèle.

Discussion

Expérience d’analyse de sentiment

Les résultats montrent que :

  1. Les prompts trouvés par AutoPrompt font ressortir de bonnes performances d’analyse de sentiment de BERT et RoBERTa sans les ajuster.
  2. Sans ajustement, BERT obtient 82,3 % au test SST-2, proche des 82,8 % d’un BiLSTM supervisé.
  3. RoBERTa obtient 91,4 %, au-dessus des 89,3 % de BiLSTM + ELMo, mais en dessous des 93,5 % de BERT ajusté.

Les auteurs observent aussi que les prompts construits automatiquement sont plus efficaces que ceux écrits à la main, tout en étant difficiles à imaginer intuitivement :

  • Sur le test SST-2, le prompt automatique de BERT dépasse le manuel de 19,1 points (82,3 % contre 63,2 %) ; celui de RoBERTa le dépasse de 6,2 points (91,4 % contre 85,2 %).
  • Pour RoBERTa, le meilleur gabarit est « {phrase} atmosphere alot dialogue Clone totally [P]. ».

Recherche de faits

Les auteurs expérimentent aussi sur la recherche de faits avec les jeux LAMA et LPAQA. Ils examinent si des modèles de langage masqué préentraînés, comme BERT et RoBERTa, peuvent reconnaître correctement des faits du monde réel. Le gabarit « {sub}[T]...[T][P] » représente un triplet : les tokens déclencheurs sont propres à la relation, et l’objet correct sert d’étiquette.

  • Collecte et préparation des données

    • Pour chaque relation de LAMA, au plus 1 000 faits sont collectés dans T-REx et Wikidata pour entraîner AutoPrompt.
    • Les triplets T-REx utilisés ne doivent pas figurer dans le test LAMA. Les données collectées sont séparées en ensembles d’entraînement et de développement à 80/20 ; une autre répartition T-REx à 60/20/20 évalue les résultats sur la même distribution.
  • Évaluation des performances

    • Les mesures comprennent le rang réciproque moyen (MRR), la précision au premier rang (P@1) et la précision parmi les dix premiers (P@10).
    • Sur le test LAMA Original de la figure, P@1 vaut 43,34 % avec sept mots déclencheurs, contre 34,10 % pour LPAQA ; avec cinq déclencheurs, il atteint encore 42,94 %.
  • Comparaison entre BERT et RoBERTa :

    • Les auteurs ne comparent les deux modèles que sur le sous-ensemble de LAMA où chacun peut représenter la réponse par un seul token. BERT atteint 45,23 % en P@1, RoBERTa 40,01 %. Les prompts de RoBERTa contiennent aussi souvent davantage de mots sans rapport apparent.

Dans ces évaluations de recherche de faits, AutoPrompt obtient de meilleurs scores que les prompts manuels et ceux extraits d’un corpus.

Il est surprenant que RoBERTa ne fasse pas mieux que BERT ; les auteurs y voient une question pour de futurs travaux.

Conclusion

Comme les auteurs l’ont indiqué plus haut :

  • Pour RoBERTa, le meilleur gabarit est « {phrase} atmosphere alot dialogue Clone totally [P]. ».

Les modèles de langage sont entraînés avec les connaissances linguistiques humaines. Peut-être ont-ils pourtant tiré de ces données une « langue du modèle » que seuls eux comprennent.

Cette « langue du modèle » naîtrait de la capacité des réseaux neuronaux profonds à abstraire des caractéristiques linguistiques complexes, dont les structures sémantiques et contextuelles profondes.

Quand le modèle utilise ces groupes de mots apparemment désordonnés pour exprimer son état interne, il traiterait et encoderait donc l’information à sa manière.

Je trouve cette idée très intéressante. Elle ouvre de nombreuses questions :

  1. La langue humaine est-elle trop inefficace ?

  2. Faudrait-il effacer la différence entre la « langue du modèle » et la langue humaine ? Et pourrait-on vraiment le faire ?

  3. Nous reprochons souvent aux modèles leur manque de transparence. L’existence d’une telle « langue du modèle » les rendrait-elle encore plus difficiles à expliquer ?

  4. Les « langues » de différents modèles se ressembleraient-elles, puisqu’ils apprennent tous à partir de textes humains ?

Continuons à lire les travaux suivants pour voir si ces questions trouvent davantage de réponses.