返回论文笔记资料库
arXiv 2022NeurIPS 2022语言模型与 Transformer论文笔记

Zero-shot CoT

一句话的事

原始论文

Large Language Models are Zero-Shot Reasoners

论文作者

Takeshi Kojima · Shixiang Shane Gu · Machel Reid · Yutaka Matsuo · Yusuke Iwasawa

发表版本
NeurIPS 2022会议
arXiv 首次提交
arXiv:2205.11916
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{transformerszeroshotcot2022,
  title = {{Large Language Models are Zero-Shot Reasoners}},
  author = {Takeshi Kojima and Shixiang Shane Gu and Machel Reid and Yutaka Matsuo and Yusuke Iwasawa},
  year = {2022},
  eprint = {2205.11916},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2205.11916}
}
本页内容

GPT-3 的论文标题是「Language Models are Few-Shot Learners」。从那以后,大家讲到大语言模型的厉害之处,第一个想到的就是少样本学习:在提示词里放几个示例,模型就学会了新任务。

2022 年 1 月的思维链提示也是这个路线。在示例的答案里写出推理步骤,模型照着写,数学题就大幅进步。那篇论文甚至没有报告零样本的成绩,仿佛不给示例根本不用比。

四个月后,东京大学的 Kojima 和 Google 的 Shane Gu 等人发现,示例可以全部拿掉。只要在答案前面加一句「Let's think step by step」,text-davinci-002 在 MultiArith 上就从 17.7% 升到 78.7%,GSM8K 从 10.4% 升到 40.7%。

定义问题

少样本思维链有两个麻烦。示例要人一个任务一个任务地手写,推理步骤要写得好,答案的格式也要统一;而且示例和题目不搭的时候,效果会明显变差,后面会看到数字。

零样本提示也不是没有人做,但大多是给每个任务各自设计模板,换一个任务就要重新想。

这篇想问的是,有没有一句和任务无关的话,不给任何示例,就能让模型写出多步推理?

解决问题

原论文 Figure 1:四种提示方式的输入与输出,题目都是「杂耍艺人能抛 16 个球,一半是高尔夫球,高尔夫球里一半是蓝色的,蓝色高尔夫球有几个?」(a) 少样本提示,示例只有答案,模型答 8,错。(b) 少样本思维链,示例写出推理,模型照着写出 16 / 2 = 8、8 / 2 = 4,答对 4。(c) 零样本,只有「The answer (arabic numerals) is」,模型答 8,错。(d) 零样本思维链,只加一句「Let's think step by step.」,模型自己写出推理,得到 4 个,答对。
原论文 Figure 1(Kojima 等人),取自 PDF 第 2 页,arXiv 许可,学术引用。

上排是少样本,下排是零样本;左边直接回答,右边先写推理。右下角就是这篇的方法,不需要任何示例,每个任务都用同一句话。

两段式提示

原论文 Figure 2:零样本思维链的完整流程。第一段提示词是「Q: 题目 A: Let's think step by step.」,语言模型接着写出推理:一分钟 25 拳,三分钟 75 拳,五回合 375 拳。第二段提示词把题目、第一段的推理和「Therefore, the answer (arabic numerals) is」接在一起,再送进同一个语言模型,得到 375。
原论文 Figure 2(Kojima 等人),取自 PDF 第 4 页,arXiv 许可,学术引用。

方法说起来只有一句话,实现上要问模型两次:

  1. 提取推理:把题目套进「Q: [题目]. A: Let's think step by step.」,让模型接着写,得到推理 zz。全篇都用贪婪解码。
  2. 提取答案:把第一段的提示词、推理 zz,再接上一句答案触发语,送回同一个模型。数字题用「Therefore, the answer (arabic numerals) is」,选择题用「Therefore, among A through E, the answer is」。

需要第二段,是因为没有示例示范「最后要写 The answer is X」,模型写完推理不一定会乖乖给出可解析的答案。少样本提示不用这一步,示例的答案格式已经教过了。

模型讲完答案,还要再清洗一次。数字题取第一个出现的数字,选择题取第一个出现的大写字母,是非题取第一个 yes 或 no。上图的拳击题,模型在第二段写出「375.」,清洗后得到 375。这套规则很粗糙,模型如果一次写出「B, C, and D」,只会取到 B;句子以 Among 开头时,抓到的第一个大写字母是 Among 的 A。不过所有方法都用同一套规则,比较起来还算公平。

实验设置

  • 任务:四类共 12 个数据集。算术有 SingleEq、AddSub、MultiArith、AQUA-RAT、GSM8K、SVAMP,前两个大多一步就能算完;常识有 CommonsenseQA、StrategyQA;符号推理有四个名字的末尾字母拼接、翻四次的硬币;其他逻辑推理有 BIG-bench 的日期理解和三个物体的交换追踪。
  • 模型:共 17 个,从 0.3B 到 540B。主要用 InstructGPT(text-ada/babbage/curie/davinci-001 和 text-davinci-002)、原始 GPT-3 的四种规模、PaLM 8B/62B/540B;规模实验另外加了 GPT-2、GPT-Neo、GPT-J、T0、OPT。没有特别说明时都是 text-davinci-002。
  • 对照:零样本基线也用类似的答案触发语;少样本和少样本思维链用 Wei 等人的示例,算术题是同一组 8 个。

讨论

和零样本比

数据集零样本零样本思维链
SingleEq74.678.0
AddSub72.269.6
MultiArith17.778.7
GSM8K10.440.7
AQUA-RAT22.433.5
SVAMP58.862.1
CommonsenseQA68.864.6
StrategyQA12.754.8
日期理解49.367.5
物体交换追踪31.352.4
末尾字母拼接0.257.6
翻硬币12.891.4

整理自原论文 Table 1,使用按答案格式设计的触发语;单位为 %。

需要多步推理的题目,进步都很大:MultiArith 多了 61 个百分点,末尾字母拼接从几乎为 0 到 57.6%,翻硬币从 12.8% 到 91.4%。SingleEq 和 AddSub 本来就不太需要多步计算,差不多。

CommonsenseQA 反而退步了,从 68.8% 降到 64.6%。作者提到思维链论文也有类似的现象,少样本思维链在 LaMDA 137B 上对常识题没有帮助,要到 PaLM 540B 才对 StrategyQA 有效。

表里有两个数字值得多看一眼。StrategyQA 和翻硬币都是是非题,瞎猜也有 50%,零样本基线却只有 12% 左右。原表另外报告了改用「The answer is」提取答案的结果,这两个零样本基线就回到 54.3% 和 53.8%。看起来,零样本基线的低分有一部分出在答案没被正确提取出来;零样本思维链两种提取方式的差距则小得多。

和少样本比

方法MultiArithGSM8K
零样本17.710.4
少样本(8 个示例)33.815.6
零样本思维链78.740.7
少样本思维链(2 个示例)84.841.3
少样本思维链(8 个示例)93.048.7
8 个示例的思维链,答案前再加「Let's think step by step.」92.851.5
微调 GPT-3 175B-33
微调 GPT-3 175B + 验证器-55
PaLM 540B:零样本25.512.5
PaLM 540B:零样本思维链66.143.0
PaLM 540B:零样本思维链 + Self-Consistency89.070.1
PaLM 540B:少样本思维链-56.9

整理自原论文 Table 2,节选部分行;没有标明模型的都是 text-davinci-002,单位为 %。

零样本思维链当然比不上精心写好示例的少样本思维链,但它赢过放了 8 个示例的标准少样本提示,而且在 GSM8K 上赢过微调的 GPT-3 175B。换句话说,少样本提示那 8 个示例带来的提升,远不如一句「先一步一步想」。

把这句话加进少样本思维链的示例里,GSM8K 还能从 48.7% 再升到 51.5%。PaLM 540B 加上 Self-Consistency 采样投票,零样本也能到 70.1%。

模型要够大

原论文 Figure 3:模型规模实验。(a) 原始 GPT-3 从 0.3B 到 175B 的 MultiArith 准确率,零样本(蓝)几乎都在 5% 以下,零样本思维链(红)只有 175B 升到约 20%。(b) InstructGPT 的 S、M、L、XL(text-ada-001、babbage-001、curie-001、text-davinci-002),零样本思维链在 XL 跳到约 79%,零样本约 18%。(c) PaLM 8B、62B、540B 的 GSM8K,零样本思维链在 540B 约 43%,零样本约 12%。
原论文 Figure 3(Kojima 等人),取自 PDF 第 7 页,arXiv 许可,学术引用。

不写推理时,模型变大,分数几乎不动;加上这句话之后,分数随模型变大急速上升。小模型上则没有用,写出来的推理质量也差。这和少样本思维链的结果一致,推理能力要到一定规模才出现,这句话只是把它唤出来。

原始 GPT-3 175B 的提升远小于做过指令微调的 text-davinci-002,作者在讨论里也承认,各家模型的训练数据细节都不公开,无法确定差异从哪里来。

换一句话行不行

类型触发语MultiArith
引导推理Let's think step by step.78.7
引导推理First,77.3
引导推理Let's think about this logically.74.5
引导推理Let's solve this problem by splitting it into steps.72.2
引导推理Let's think like a detective step by step.70.3
引导推理Let's think57.5
引导推理The answer is after the proof.45.7
误导Don't think. Just feel.18.8
误导Let's think step by step but reach an incorrect answer.18.7
误导By using the fact that the earth is round,9.3
无关By the way, I found a good restaurant nearby.17.5
无关Abrakadabra!15.5
不加(零样本)17.7

整理自原论文 Table 4,节选 16 种触发语中的 12 种;text-davinci-002,单位为 %。

只要是引导模型推理的句子都有用,但差距不小。「Let's think」少了「step by step」就从 78.7% 掉到 57.5%。误导和无关的句子都在零样本的水平附近,「By using the fact that the earth is round」甚至拉低到 9.3%。作者也观察到,不同的触发语会让模型用很不一样的方式写推理。至于怎么自动找出更好的触发语,作者把它留作了开放问题。

示例和题目不搭

方法AQUA-RATMultiArith
零样本22.417.7
少样本思维链,示例取自 CommonsenseQA31.927.0
零样本思维链33.578.7
少样本思维链,示例取自同一个任务39.088.2

整理自原论文 Table 5;单位为 %。

拿常识题的示例去做数学题。AQUA-RAT 和 CommonsenseQA 都是选择题,格式相同,示例还有一点帮助;MultiArith 要的是数字答案,格式不同,示例几乎没用。这和 Min 等人的观察一致,模型从示例里学到的多半是答案的格式,而不是任务本身。两种情况都输给了零样本思维链。

错在哪里

原论文 Table 3:零样本思维链在 CommonsenseQA 上的两个例子。例一问用旧了的玩具车最可能在哪里,模型推断玩具车在儿童房、儿童房在房子里,所以答 (E) house,标准答案是 (A) child's room,推理本身说得通。例二问要变健康需要什么,模型列出规律运动、健康饮食、充足睡眠三件事,最后答 B、C、D 三个选项,标准答案是 (B) exercise。
原论文 Table 3(Kojima 等人),取自 PDF 第 7 页,arXiv 许可,学术引用。

作者人工检查了 text-davinci-002 的输出:

  • 常识题:推理常常是合理的,只是答案和标准答案不同,例如例一的「玩具车在房子里」并没有错。模型无法在几个选项中取舍时,也会一次选好几个。
  • 算术题:零样本思维链常常已经算出正确答案,又继续多写几步,把答案改错;有时则没有真的开始推理,只是把题目换个说法复述一遍。少样本思维链的错法不同,常在 (3 + 2) * 4 这种一次做两步运算的式子上出错。

局限

作者提了两点:

  • 训练数据不透明:GPT-3 系列 001 和 002 的差别、PaLM 用了什么数据,都没有公开。作者的论点是,各种模型、算术和非算术任务都一致进步,不太像是背答案,而是一般性的推理能力。
  • 偏见:提示利用的是模型从网络数据学到的模式,数据里的偏见也会一起带出来。

另外,大部分结果都在 text-davinci-002 上,只用贪婪解码;关键结果在 PaLM 上复现过。

后来的事

「Let's think step by step」很快成了最常见的零样本提示词,作者留下的开放问题,也很快有人接手。

2022 年 11 月,多伦多大学的 APE 让语言模型自己提出候选指令再打分。他们先用「Let's think step by step」生成一批推理,丢掉答错的(这一步参考了 STaR),再搜索最能生成这些正确推理的开头句,找到了「Let's work this out in a step by step way to be sure we have the right answer.」。在 text-davinci-002 上,MultiArith 从 78.7% 升到 82.0%,GSM8K 从 40.7% 升到 43.0%。

2023 年 9 月,Google DeepMind 的 OPRO 把语言模型当作优化器,反复提出新句子、看分数、再改写。以 PaLM 2-L 作答时,最好的句子是「Take a deep breath and work on this problem step-by-step.」,GSM8K 80.2%;「Let's think step by step」是 71.8%,APE 找到的那句只剩 58.8%。最好的那句话会随模型改变,在 text-davinci-002 上找到的最佳句子,换到 PaLM 2-L 上就落到了后面。

到了推理模型,事情又绕了一圈。模型在回答前本来就会写很长的推理,OpenAI 给推理模型的提示词指南里直接写着,避免使用思维链提示,因为这些模型会在内部推理,让它「think step by step」或「explain your reasoning」是多余的。

结论

在答案前加一句「Let's think step by step」,text-davinci-002 的 MultiArith 从 17.7% 到 78.7%,GSM8K 从 10.4% 到 40.7%,还赢过了放 8 个示例的标准少样本提示。这篇最有分量的地方在这里,推理能力原本就在模型里,少样本示例提供的有很大一部分只是格式。

但它也很挑。模型要够大,常识题没有帮助;触发语差几个字,分数就差 20 个百分点,换一个模型,最好的句子也跟着换。

后来的发展有点讽刺。大家花了一年多,用算法给这句话找更好的说法;接着推理模型把「先想再答」直接练进了权重,提示词指南反过来请你别再提醒它了。