Large Language Models are Zero-Shot Reasoners
- 发表版本
- NeurIPS 2022会议
- arXiv 首次提交
- arXiv:2205.11916
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{transformerszeroshotcot2022,
title = {{Large Language Models are Zero-Shot Reasoners}},
author = {Takeshi Kojima and Shixiang Shane Gu and Machel Reid and Yutaka Matsuo and Yusuke Iwasawa},
year = {2022},
eprint = {2205.11916},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2205.11916}
}
GPT-3 的论文标题是「Language Models are Few-Shot Learners」。从那以后,大家讲到大语言模型的厉害之处,第一个想到的就是少样本学习:在提示词里放几个示例,模型就学会了新任务。
2022 年 1 月的思维链提示也是这个路线。在示例的答案里写出推理步骤,模型照着写,数学题就大幅进步。那篇论文甚至没有报告零样本的成绩,仿佛不给示例根本不用比。
四个月后,东京大学的 Kojima 和 Google 的 Shane Gu 等人发现,示例可以全部拿掉。只要在答案前面加一句「Let's think step by step」,text-davinci-002 在 MultiArith 上就从 17.7% 升到 78.7%,GSM8K 从 10.4% 升到 40.7%。
定义问题
少样本思维链有两个麻烦。示例要人一个任务一个任务地手写,推理步骤要写得好,答案的格式也要统一;而且示例和题目不搭的时候,效果会明显变差,后面会看到数字。
零样本提示也不是没有人做,但大多是给每个任务各自设计模板,换一个任务就要重新想。
这篇想问的是,有没有一句和任务无关的话,不给任何示例,就能让模型写出多步推理?
解决问题

上排是少样本,下排是零样本;左边直接回答,右边先写推理。右下角就是这篇的方法,不需要任何示例,每个任务都用同一句话。
两段式提示

方法说起来只有一句话,实现上要问模型两次:
- 提取推理:把题目套进「Q: [题目]. A: Let's think step by step.」,让模型接着写,得到推理 。全篇都用贪婪解码。
- 提取答案:把第一段的提示词、推理 ,再接上一句答案触发语,送回同一个模型。数字题用「Therefore, the answer (arabic numerals) is」,选择题用「Therefore, among A through E, the answer is」。
需要第二段,是因为没有示例示范「最后要写 The answer is X」,模型写完推理不一定会乖乖给出可解析的答案。少样本提示不用这一步,示例的答案格式已经教过了。
模型讲完答案,还要再清洗一次。数字题取第一个出现的数字,选择题取第一个出现的大写字母,是非题取第一个 yes 或 no。上图的拳击题,模型在第二段写出「375.」,清洗后得到 375。这套规则很粗糙,模型如果一次写出「B, C, and D」,只会取到 B;句子以 Among 开头时,抓到的第一个大写字母是 Among 的 A。不过所有方法都用同一套规则,比较起来还算公平。
实验设置
- 任务:四类共 12 个数据集。算术有 SingleEq、AddSub、MultiArith、AQUA-RAT、GSM8K、SVAMP,前两个大多一步就能算完;常识有 CommonsenseQA、StrategyQA;符号推理有四个名字的末尾字母拼接、翻四次的硬币;其他逻辑推理有 BIG-bench 的日期理解和三个物体的交换追踪。
- 模型:共 17 个,从 0.3B 到 540B。主要用 InstructGPT(text-ada/babbage/curie/davinci-001 和 text-davinci-002)、原始 GPT-3 的四种规模、PaLM 8B/62B/540B;规模实验另外加了 GPT-2、GPT-Neo、GPT-J、T0、OPT。没有特别说明时都是 text-davinci-002。
- 对照:零样本基线也用类似的答案触发语;少样本和少样本思维链用 Wei 等人的示例,算术题是同一组 8 个。
讨论
和零样本比
| 数据集 | 零样本 | 零样本思维链 |
|---|---|---|
| SingleEq | 74.6 | 78.0 |
| AddSub | 72.2 | 69.6 |
| MultiArith | 17.7 | 78.7 |
| GSM8K | 10.4 | 40.7 |
| AQUA-RAT | 22.4 | 33.5 |
| SVAMP | 58.8 | 62.1 |
| CommonsenseQA | 68.8 | 64.6 |
| StrategyQA | 12.7 | 54.8 |
| 日期理解 | 49.3 | 67.5 |
| 物体交换追踪 | 31.3 | 52.4 |
| 末尾字母拼接 | 0.2 | 57.6 |
| 翻硬币 | 12.8 | 91.4 |
整理自原论文 Table 1,使用按答案格式设计的触发语;单位为 %。
需要多步推理的题目,进步都很大:MultiArith 多了 61 个百分点,末尾字母拼接从几乎为 0 到 57.6%,翻硬币从 12.8% 到 91.4%。SingleEq 和 AddSub 本来就不太需要多步计算,差不多。
CommonsenseQA 反而退步了,从 68.8% 降到 64.6%。作者提到思维链论文也有类似的现象,少样本思维链在 LaMDA 137B 上对常识题没有帮助,要到 PaLM 540B 才对 StrategyQA 有效。
表里有两个数字值得多看一眼。StrategyQA 和翻硬币都是是非题,瞎猜也有 50%,零样本基线却只有 12% 左右。原表另外报告了改用「The answer is」提取答案的结果,这两个零样本基线就回到 54.3% 和 53.8%。看起来,零样本基线的低分有一部分出在答案没被正确提取出来;零样本思维链两种提取方式的差距则小得多。
和少样本比
| 方法 | MultiArith | GSM8K |
|---|---|---|
| 零样本 | 17.7 | 10.4 |
| 少样本(8 个示例) | 33.8 | 15.6 |
| 零样本思维链 | 78.7 | 40.7 |
| 少样本思维链(2 个示例) | 84.8 | 41.3 |
| 少样本思维链(8 个示例) | 93.0 | 48.7 |
| 8 个示例的思维链,答案前再加「Let's think step by step.」 | 92.8 | 51.5 |
| 微调 GPT-3 175B | - | 33 |
| 微调 GPT-3 175B + 验证器 | - | 55 |
| PaLM 540B:零样本 | 25.5 | 12.5 |
| PaLM 540B:零样本思维链 | 66.1 | 43.0 |
| PaLM 540B:零样本思维链 + Self-Consistency | 89.0 | 70.1 |
| PaLM 540B:少样本思维链 | - | 56.9 |
整理自原论文 Table 2,节选部分行;没有标明模型的都是 text-davinci-002,单位为 %。
零样本思维链当然比不上精心写好示例的少样本思维链,但它赢过放了 8 个示例的标准少样本提示,而且在 GSM8K 上赢过微调的 GPT-3 175B。换句话说,少样本提示那 8 个示例带来的提升,远不如一句「先一步一步想」。
把这句话加进少样本思维链的示例里,GSM8K 还能从 48.7% 再升到 51.5%。PaLM 540B 加上 Self-Consistency 采样投票,零样本也能到 70.1%。
模型要够大

不写推理时,模型变大,分数几乎不动;加上这句话之后,分数随模型变大急速上升。小模型上则没有用,写出来的推理质量也差。这和少样本思维链的结果一致,推理能力要到一定规模才出现,这句话只是把它唤出来。
原始 GPT-3 175B 的提升远小于做过指令微调的 text-davinci-002,作者在讨论里也承认,各家模型的训练数据细节都不公开,无法确定差异从哪里来。
换一句话行不行
| 类型 | 触发语 | MultiArith |
|---|---|---|
| 引导推理 | Let's think step by step. | 78.7 |
| 引导推理 | First, | 77.3 |
| 引导推理 | Let's think about this logically. | 74.5 |
| 引导推理 | Let's solve this problem by splitting it into steps. | 72.2 |
| 引导推理 | Let's think like a detective step by step. | 70.3 |
| 引导推理 | Let's think | 57.5 |
| 引导推理 | The answer is after the proof. | 45.7 |
| 误导 | Don't think. Just feel. | 18.8 |
| 误导 | Let's think step by step but reach an incorrect answer. | 18.7 |
| 误导 | By using the fact that the earth is round, | 9.3 |
| 无关 | By the way, I found a good restaurant nearby. | 17.5 |
| 无关 | Abrakadabra! | 15.5 |
| 不加 | (零样本) | 17.7 |
整理自原论文 Table 4,节选 16 种触发语中的 12 种;text-davinci-002,单位为 %。
只要是引导模型推理的句子都有用,但差距不小。「Let's think」少了「step by step」就从 78.7% 掉到 57.5%。误导和无关的句子都在零样本的水平附近,「By using the fact that the earth is round」甚至拉低到 9.3%。作者也观察到,不同的触发语会让模型用很不一样的方式写推理。至于怎么自动找出更好的触发语,作者把它留作了开放问题。
示例和题目不搭
| 方法 | AQUA-RAT | MultiArith |
|---|---|---|
| 零样本 | 22.4 | 17.7 |
| 少样本思维链,示例取自 CommonsenseQA | 31.9 | 27.0 |
| 零样本思维链 | 33.5 | 78.7 |
| 少样本思维链,示例取自同一个任务 | 39.0 | 88.2 |
整理自原论文 Table 5;单位为 %。
拿常识题的示例去做数学题。AQUA-RAT 和 CommonsenseQA 都是选择题,格式相同,示例还有一点帮助;MultiArith 要的是数字答案,格式不同,示例几乎没用。这和 Min 等人的观察一致,模型从示例里学到的多半是答案的格式,而不是任务本身。两种情况都输给了零样本思维链。
错在哪里

作者人工检查了 text-davinci-002 的输出:
- 常识题:推理常常是合理的,只是答案和标准答案不同,例如例一的「玩具车在房子里」并没有错。模型无法在几个选项中取舍时,也会一次选好几个。
- 算术题:零样本思维链常常已经算出正确答案,又继续多写几步,把答案改错;有时则没有真的开始推理,只是把题目换个说法复述一遍。少样本思维链的错法不同,常在 (3 + 2) * 4 这种一次做两步运算的式子上出错。
局限
作者提了两点:
- 训练数据不透明:GPT-3 系列 001 和 002 的差别、PaLM 用了什么数据,都没有公开。作者的论点是,各种模型、算术和非算术任务都一致进步,不太像是背答案,而是一般性的推理能力。
- 偏见:提示利用的是模型从网络数据学到的模式,数据里的偏见也会一起带出来。
另外,大部分结果都在 text-davinci-002 上,只用贪婪解码;关键结果在 PaLM 上复现过。
后来的事
「Let's think step by step」很快成了最常见的零样本提示词,作者留下的开放问题,也很快有人接手。
2022 年 11 月,多伦多大学的 APE 让语言模型自己提出候选指令再打分。他们先用「Let's think step by step」生成一批推理,丢掉答错的(这一步参考了 STaR),再搜索最能生成这些正确推理的开头句,找到了「Let's work this out in a step by step way to be sure we have the right answer.」。在 text-davinci-002 上,MultiArith 从 78.7% 升到 82.0%,GSM8K 从 40.7% 升到 43.0%。
2023 年 9 月,Google DeepMind 的 OPRO 把语言模型当作优化器,反复提出新句子、看分数、再改写。以 PaLM 2-L 作答时,最好的句子是「Take a deep breath and work on this problem step-by-step.」,GSM8K 80.2%;「Let's think step by step」是 71.8%,APE 找到的那句只剩 58.8%。最好的那句话会随模型改变,在 text-davinci-002 上找到的最佳句子,换到 PaLM 2-L 上就落到了后面。
到了推理模型,事情又绕了一圈。模型在回答前本来就会写很长的推理,OpenAI 给推理模型的提示词指南里直接写着,避免使用思维链提示,因为这些模型会在内部推理,让它「think step by step」或「explain your reasoning」是多余的。
结论
在答案前加一句「Let's think step by step」,text-davinci-002 的 MultiArith 从 17.7% 到 78.7%,GSM8K 从 10.4% 到 40.7%,还赢过了放 8 个示例的标准少样本提示。这篇最有分量的地方在这里,推理能力原本就在模型里,少样本示例提供的有很大一部分只是格式。
但它也很挑。模型要够大,常识题没有帮助;触发语差几个字,分数就差 20 个百分点,换一个模型,最好的句子也跟着换。
后来的发展有点讽刺。大家花了一年多,用算法给这句话找更好的说法;接着推理模型把「先想再答」直接练进了权重,提示词指南反过来请你别再提醒它了。