Retour à la bibliothèque
arXiv 2022NeurIPS 2022Langage et TransformersNotes de lecture

Zero-shot CoT

Il suffit d'une phrase

Article original

Large Language Models are Zero-Shot Reasoners

Auteurs de l’article

Takeshi Kojima · Shixiang Shane Gu · Machel Reid · Yutaka Matsuo · Yusuke Iwasawa

Publication
NeurIPS 2022Conférence
Premier dépôt sur arXiv
arXiv:2205.11916
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{transformerszeroshotcot2022,
  title = {{Large Language Models are Zero-Shot Reasoners}},
  author = {Takeshi Kojima and Shixiang Shane Gu and Machel Reid and Yutaka Matsuo and Yusuke Iwasawa},
  year = {2022},
  eprint = {2205.11916},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2205.11916}
}
Sur cette page

L'article de GPT-3 s'intitule « Language Models are Few-Shot Learners ». Depuis, quand on parle de ce qui rend les grands modèles de langage impressionnants, on pense d'abord à l'apprentissage few-shot ; quelques exemples dans le prompt, et le modèle apprend une nouvelle tâche.

Le prompting par chaîne de pensée de janvier 2022 suit la même voie. On écrit les étapes du raisonnement dans la réponse des exemples, le modèle fait de même, et les scores en maths progressent nettement. L'article ne donne même pas de résultats en zero-shot, comme s'il était inutile de comparer sans exemples.

Quatre mois plus tard, Kojima, de l'Université de Tokyo, Shane Gu, de Google, et leurs collègues découvrent qu'on peut se passer complètement d'exemples. Il suffit d'ajouter « Let's think step by step » devant la réponse pour que text-davinci-002 passe de 17.7 % à 78.7 % sur MultiArith, et de 10.4 % à 40.7 % sur GSM8K.

Définir le problème

La chaîne de pensée few-shot pose deux problèmes. Il faut écrire les exemples à la main, tâche par tâche, avec des étapes de raisonnement bien rédigées et un format de réponse uniforme ; et quand les exemples ne correspondent pas aux questions, les résultats se dégradent nettement, comme le montreront les chiffres plus loin.

Le prompting zero-shot existait déjà, mais il s'agissait surtout de concevoir un gabarit pour chaque tâche, à repenser dès qu'on change de tâche.

Existe-t-il une phrase, indépendante de la tâche, qui suffise à faire écrire au modèle un raisonnement en plusieurs étapes, sans aucun exemple ? C'est la question que pose cet article.

Résoudre le problème

Figure 1 de l'article : entrées et sorties de quatre façons de prompter, toutes sur la même question, « un jongleur peut lancer 16 balles, dont la moitié sont des balles de golf, et la moitié des balles de golf sont bleues ; combien y a-t-il de balles de golf bleues ? ». (a) Few-shot, l'exemple ne donne que la réponse ; le modèle répond 8, à tort. (b) Chaîne de pensée few-shot, l'exemple écrit le raisonnement ; le modèle l'imite, écrit 16 / 2 = 8, puis 8 / 2 = 4, et trouve la bonne réponse, 4. (c) Zero-shot, avec seulement « The answer (arabic numerals) is » ; le modèle répond 8, à tort. (d) Chaîne de pensée zero-shot, avec la seule phrase « Let's think step by step. » ; le modèle écrit lui-même le raisonnement et trouve 4 balles, la bonne réponse.
Figure 1 de l'article de Kojima et al., extraite de la page 2 du PDF, licence arXiv, citation académique.

En haut, le few-shot ; en bas, le zero-shot. À gauche, la réponse directe ; à droite, le raisonnement d'abord. La case en bas à droite est la méthode de l'article, sans aucun exemple, avec la même phrase pour toutes les tâches.

Un prompt en deux temps

Figure 2 de l'article : le déroulement complet de la chaîne de pensée zero-shot. Le premier prompt est « Q: [question] A: Let's think step by step. », et le modèle de langage poursuit en écrivant le raisonnement, 25 coups de poing par minute, 75 en trois minutes, 375 en cinq rounds. Le second prompt met bout à bout la question, le raisonnement de la première étape et « Therefore, the answer (arabic numerals) is », puis le renvoie au même modèle de langage, qui répond 375.
Figure 2 de l'article de Kojima et al., extraite de la page 4 du PDF, licence arXiv, citation académique.

La méthode tient en une phrase, mais en pratique, il faut interroger le modèle deux fois :

  1. Extraction du raisonnement : on insère la question dans « Q: [question]. A: Let's think step by step. » et l'on laisse le modèle poursuivre, ce qui donne le raisonnement zz. Tout l'article utilise le décodage glouton.
  2. Extraction de la réponse : on renvoie au même modèle le premier prompt et le raisonnement zz, suivis d'une phrase de déclenchement de la réponse. Pour les réponses numériques, c'est « Therefore, the answer (arabic numerals) is » ; pour les QCM, « Therefore, among A through E, the answer is ».

La seconde étape est nécessaire parce qu'aucun exemple ne montre qu'il faut finir par « The answer is X » ; une fois le raisonnement écrit, le modèle ne donne pas forcément de lui-même une réponse facile à extraire. Le prompting few-shot se passe de cette étape, puisque les exemples ont déjà montré le format de réponse.

Une fois la réponse donnée, il reste à la nettoyer. Pour les nombres, on prend le premier nombre qui apparaît ; pour les QCM, la première lettre majuscule ; pour les questions oui/non, le premier yes ou no. Dans le problème de boxe ci-dessus, le modèle écrit « 375. » à la seconde étape, et le nettoyage donne 375. Ces règles sont rudimentaires ; si le modèle écrit d'un coup « B, C, and D », on ne récupère que B, et si la phrase commence par Among, la première majuscule trouvée est le A de Among. Mais toutes les méthodes utilisent les mêmes règles, si bien que la comparaison reste à peu près équitable.

Dispositif expérimental

  • Tâches : 12 jeux de données répartis en quatre catégories. En arithmétique, SingleEq, AddSub, MultiArith, AQUA-RAT, GSM8K et SVAMP, les deux premiers se résolvant le plus souvent en une seule étape ; en sens commun, CommonsenseQA et StrategyQA ; en raisonnement symbolique, la concaténation des dernières lettres de quatre noms et une pièce retournée quatre fois ; en autres raisonnements logiques, la compréhension de dates et le suivi de trois objets échangés, tirés de BIG-bench.
  • Modèles : 17 au total, de 0.3B à 540B. Les expériences principales utilisent InstructGPT (text-ada/babbage/curie/davinci-001 et text-davinci-002), le GPT-3 d'origine en quatre tailles et PaLM 8B/62B/540B ; l'étude d'échelle ajoute GPT-2, GPT-Neo, GPT-J, T0 et OPT. Sauf mention contraire, le modèle est text-davinci-002.
  • Références : la référence zero-shot utilise des phrases de déclenchement de réponse similaires ; le few-shot et la chaîne de pensée few-shot reprennent les exemples de Wei et al., avec le même jeu de 8 exemples pour l'arithmétique.

Discussion

Face au zero-shot

Jeu de donnéesZero-shotZero-shot CoT
SingleEq74.678.0
AddSub72.269.6
MultiArith17.778.7
GSM8K10.440.7
AQUA-RAT22.433.5
SVAMP58.862.1
CommonsenseQA68.864.6
StrategyQA12.754.8
Compréhension de dates49.367.5
Suivi d'objets échangés31.352.4
Dernières lettres0.257.6
Pièce retournée12.891.4

D'après la Table 1 de l'article, avec les phrases de déclenchement adaptées au format de réponse ; valeurs en %.

Les tâches qui demandent un raisonnement en plusieurs étapes progressent toutes fortement. MultiArith gagne 61 points, la concaténation des dernières lettres passe de presque 0 à 57.6 %, et la pièce retournée de 12.8 % à 91.4 %. SingleEq et AddSub, qui ne demandent guère de calcul en plusieurs étapes, restent à peu près au même niveau.

CommonsenseQA, à l'inverse, recule de 68.8 % à 64.6 %. Les auteurs rappellent que l'article sur la chaîne de pensée observait un phénomène semblable ; la chaîne de pensée few-shot n'aidait pas LaMDA 137B sur les questions de sens commun, et ne devenait efficace sur StrategyQA qu'avec PaLM 540B.

Deux chiffres du tableau méritent un second regard. StrategyQA et la pièce retournée sont des questions oui/non, où le hasard donne 50 %, et pourtant la référence zero-shot n'obtient qu'environ 12 %. Le tableau d'origine donne aussi les résultats obtenus en extrayant la réponse avec « The answer is » ; ces deux références zero-shot remontent alors à 54.3 % et 53.8 %. Une partie des mauvais scores de la référence zero-shot semble donc venir de réponses mal extraites ; pour la chaîne de pensée zero-shot, l'écart entre les deux méthodes d'extraction est bien plus faible.

Face au few-shot

MéthodeMultiArithGSM8K
Zero-shot17.710.4
Few-shot (8 exemples)33.815.6
Chaîne de pensée zero-shot78.740.7
Chaîne de pensée few-shot (2 exemples)84.841.3
Chaîne de pensée few-shot (8 exemples)93.048.7
Chaîne de pensée à 8 exemples, avec « Let's think step by step. » avant la réponse92.851.5
GPT-3 175B fine-tuné-33
GPT-3 175B fine-tuné + vérificateur-55
PaLM 540B : zero-shot25.512.5
PaLM 540B : chaîne de pensée zero-shot66.143.0
PaLM 540B : chaîne de pensée zero-shot + Self-Consistency89.070.1
PaLM 540B : chaîne de pensée few-shot-56.9

D'après la Table 2 de l'article, sélection de lignes ; sauf mention du modèle, il s'agit de text-davinci-002 ; valeurs en %.

La chaîne de pensée zero-shot reste évidemment en dessous de la chaîne de pensée few-shot et de ses exemples soigneusement rédigés, mais elle bat le prompting few-shot standard à 8 exemples et, sur GSM8K, GPT-3 175B fine-tuné. Autrement dit, les 8 exemples du prompting few-shot apportent bien moins qu'une simple phrase « réfléchissons étape par étape ».

Ajoutée aux exemples de la chaîne de pensée few-shot, cette phrase fait encore passer GSM8K de 48.7 % à 51.5 %. Et avec l'échantillonnage et le vote de Self-Consistency, PaLM 540B atteint 70.1 % même en zero-shot.

Il faut un modèle assez grand

Figure 3 de l'article : étude de l'effet de la taille du modèle. (a) Précision sur MultiArith du GPT-3 d'origine, de 0.3B à 175B ; en zero-shot (bleu), presque toujours sous 5 % ; en chaîne de pensée zero-shot (rouge), seul le 175B monte à environ 20 %. (b) InstructGPT en tailles S, M, L et XL (text-ada-001, babbage-001, curie-001, text-davinci-002) ; la chaîne de pensée zero-shot bondit à environ 79 % pour XL, contre environ 18 % en zero-shot. (c) PaLM 8B, 62B et 540B sur GSM8K ; la chaîne de pensée zero-shot atteint environ 43 % à 540B, contre environ 12 % en zero-shot.
Figure 3 de l'article de Kojima et al., extraite de la page 7 du PDF, licence arXiv, citation académique.

Sans raisonnement, agrandir le modèle ne fait presque pas bouger les scores ; avec cette phrase, ils grimpent en flèche à mesure que le modèle grossit. Sur les petits modèles, en revanche, elle est inutile, et les raisonnements produits sont de mauvaise qualité. C'est cohérent avec les résultats de la chaîne de pensée few-shot ; la capacité de raisonnement n'apparaît qu'à partir d'une certaine taille, et la phrase ne fait que la faire sortir.

Le gain du GPT-3 175B d'origine est bien plus faible que celui de text-davinci-002, qui a reçu un fine-tuning sur instructions ; les auteurs reconnaissent dans leur discussion que les détails des données d'entraînement de ces modèles ne sont pas publics, et qu'ils ne peuvent pas dire d'où vient la différence.

Et avec une autre phrase ?

TypeDéclencheurMultiArith
IncitatifLet's think step by step.78.7
IncitatifFirst,77.3
IncitatifLet's think about this logically.74.5
IncitatifLet's solve this problem by splitting it into steps.72.2
IncitatifLet's think like a detective step by step.70.3
IncitatifLet's think57.5
IncitatifThe answer is after the proof.45.7
TrompeurDon't think. Just feel.18.8
TrompeurLet's think step by step but reach an incorrect answer.18.7
TrompeurBy using the fact that the earth is round,9.3
Hors sujetBy the way, I found a good restaurant nearby.17.5
Hors sujetAbrakadabra!15.5
Aucun(zero-shot)17.7

D'après la Table 4 de l'article, 12 des 16 phrases de déclenchement ; text-davinci-002, valeurs en %.

Toutes les phrases qui incitent le modèle à raisonner fonctionnent, mais avec des écarts importants. Sans « step by step », « Let's think » tombe de 78.7 % à 57.5 %. Les phrases trompeuses ou hors sujet restent autour du niveau zero-shot, et « By using the fact that the earth is round » fait même chuter le score à 9.3 %. Les auteurs remarquent aussi que des déclencheurs différents amènent le modèle à rédiger son raisonnement de façons très différentes. Quant à trouver automatiquement de meilleurs déclencheurs, ils laissent la question ouverte.

Des exemples qui ne collent pas

MéthodeAQUA-RATMultiArith
Zero-shot22.417.7
Chaîne de pensée few-shot, exemples de CommonsenseQA31.927.0
Chaîne de pensée zero-shot33.578.7
Chaîne de pensée few-shot, exemples de la même tâche39.088.2

D'après la Table 5 de l'article ; valeurs en %.

Ici, on résout des problèmes de maths avec des exemples de sens commun. AQUA-RAT et CommonsenseQA sont tous deux des QCM, au même format, et les exemples aident encore un peu ; MultiArith attend une réponse numérique, dans un autre format, et les exemples ne servent presque à rien. Cela rejoint l'observation de Min et al., selon laquelle le modèle tire surtout des exemples le format de la réponse, plutôt que la tâche elle-même. Dans les deux cas, le résultat reste en dessous de la chaîne de pensée zero-shot.

Où le modèle se trompe

Table 3 de l'article : deux exemples de chaîne de pensée zero-shot sur CommonsenseQA. Le premier demande où l'on trouve le plus probablement une petite voiture qui a beaucoup servi ; le modèle raisonne qu'elle se trouve dans une chambre d'enfant, elle-même dans une maison, et répond (E) house, alors que la réponse de référence est (A) child's room ; le raisonnement se tient. Le second demande ce qu'il faut pour se remettre en forme ; le modèle cite trois choses, faire régulièrement de l'exercice, manger sainement et dormir suffisamment, puis répond par trois options, B, C et D, alors que la réponse de référence est (B) exercise.
Table 3 de l'article de Kojima et al., extraite de la page 7 du PDF, licence arXiv, citation académique.

Les auteurs ont examiné à la main les sorties de text-davinci-002 :

  • Sens commun : le raisonnement tient souvent la route, mais la réponse diffère de la référence ; dans le premier exemple, « la petite voiture est dans la maison » n'a rien de faux. Quand le modèle n'arrive pas à trancher entre plusieurs options, il lui arrive aussi d'en choisir plusieurs à la fois.
  • Arithmétique : la chaîne de pensée zero-shot a souvent déjà trouvé la bonne réponse, puis continue à écrire quelques étapes de trop et la rend fausse ; parfois, elle ne commence même pas à raisonner et se contente de reformuler la question. La chaîne de pensée few-shot se trompe autrement ; elle bute souvent sur des expressions qui enchaînent deux opérations d'un coup, comme (3 + 2) * 4.

Limites

Les auteurs en mentionnent deux :

  • Données d'entraînement opaques : ni ce qui distingue les versions 001 et 002 de la série GPT-3, ni les données utilisées pour PaLM n'ont été rendus publics. L'argument des auteurs est que les progrès sont constants sur tous les modèles et sur les tâches arithmétiques comme non arithmétiques, ce qui ressemble moins à des réponses apprises par cœur qu'à une capacité générale de raisonnement.
  • Biais : le prompt exploite des schémas que le modèle a appris sur des données du web, et fait donc ressortir aussi les biais de ces données.

Par ailleurs, la plupart des résultats portent sur text-davinci-002, avec le seul décodage glouton ; les résultats clés ont été reproduits sur PaLM.

La suite

« Let's think step by step » est vite devenu le prompt zero-shot le plus répandu, et la question laissée ouverte par les auteurs n'a pas tardé à trouver preneur.

En novembre 2022, APE, de l'Université de Toronto, fait proposer des instructions candidates par un modèle de langage, puis les note. Les auteurs génèrent d'abord une série de raisonnements avec « Let's think step by step », jettent ceux qui aboutissent à une mauvaise réponse (une étape inspirée de STaR), puis cherchent la phrase d'ouverture la plus à même de produire ces raisonnements corrects ; ils trouvent « Let's work this out in a step by step way to be sure we have the right answer. ». Sur text-davinci-002, MultiArith passe de 78.7 % à 82.0 %, et GSM8K de 40.7 % à 43.0 %.

En septembre 2023, OPRO, de Google DeepMind, se sert d'un modèle de langage comme optimiseur, qui propose de nouvelles phrases, regarde leur score et les réécrit, encore et encore. Quand c'est PaLM 2-L qui répond, la meilleure phrase est « Take a deep breath and work on this problem step-by-step. », avec 80.2 % sur GSM8K ; « Let's think step by step » obtient 71.8 %, et la phrase trouvée par APE seulement 58.8 %. La meilleure phrase change avec le modèle ; celle qu'on avait trouvée pour text-davinci-002 se retrouve loin derrière une fois passée sur PaLM 2-L.

Avec les modèles de raisonnement, la boucle est bouclée. Ces modèles écrivent de toute façon un long raisonnement avant de répondre, et le guide de prompting d'OpenAI pour ses modèles de raisonnement dit explicitement d'éviter les prompts par chaîne de pensée ; comme ces modèles raisonnent en interne, leur demander de « think step by step » ou d'« explain your reasoning » est superflu.

Conclusion

Une phrase, « Let's think step by step », ajoutée devant la réponse, et text-davinci-002 passe de 17.7 % à 78.7 % sur MultiArith et de 10.4 % à 40.7 % sur GSM8K, au-dessus même du prompting few-shot standard à 8 exemples. C'est là que l'article pèse le plus ; la capacité de raisonnement était déjà dans le modèle, et les exemples few-shot apportaient pour une bonne part un simple format.

Mais la méthode est capricieuse. Il faut un modèle assez grand, elle n'aide pas sur le sens commun, quelques mots de différence dans le déclencheur font varier le score de 20 points, et la meilleure phrase change d'un modèle à l'autre.

La suite ne manque pas d'ironie. On a passé plus d'un an à chercher, par algorithme, une meilleure formulation de cette phrase ; puis les modèles de raisonnement ont intégré « réfléchir avant de répondre » directement dans leurs poids, et les guides de prompting vous demandent désormais de ne plus le leur rappeler.