Self-Consistency Improves Chain of Thought Reasoning in Language Models
- 发表版本
- ICLR 2023会议
- arXiv 首次提交
- arXiv:2203.11171
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{transformersselfconsistency2022,
title = {{Self-Consistency Improves Chain of Thought Reasoning in Language Models}},
author = {Xuezhi Wang and Jason Wei and Dale Schuurmans and Quoc Le and Ed Chi and Sharan Narang and Aakanksha Chowdhery and Denny Zhou},
year = {2022},
eprint = {2203.11171},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2203.11171}
}
2022 年 1 月,Google 的 Wei 等人发表了思维链提示,让模型先写出推理步骤再给答案,数学应用题的成绩大幅提升。
不过那篇论文的解码方式很保守。推理题的答案是固定的,大家习惯用贪婪解码,每一步都挑概率最高的 token,最后只得到一条推理。这条推理中间只要算错一步,答案就错了,没有补救的机会。
两个月后,同一个团队的 Wang 等人换了个思路。同一道题让模型多写几遍,每遍走不同的路,最后看哪个答案出现的次数最多。
定义问题
人解题的时候,常常有好几种思路都能走到同一个答案。作者的假设是,复杂的推理题也是这样,正确的推理即使写法不同,最后的答案也会一致;错误的推理则各错各的,答案比较分散。
如果这个假设成立,就不需要知道哪一条推理是对的,只要看答案有没有「撞在一起」。
在这之前,要从多个候选答案里挑出好的,通常得另外训练一个模型。Cobbe 等人在 GSM8K 上训练了一个验证器给解答排序,LaMDA 则收集额外的人工标注,训练了一个重排序模型。这篇想做到的是不训练、不加标注、不需要额外的模型,拿现成的语言模型直接用。
解决问题

方法只有三步:
- 和原来一样,用手写的思维链示例作为提示词。
- 不用贪婪解码,改从模型的解码器采样出 条输出,每条各有一段推理和一个答案。
- 把每条输出最后「The answer is」之后的答案取出来,选出现次数最多的那个。
图中的例子是 GSM8K 的一道题:Janet 的鸭子每天下 16 个蛋,早餐吃掉 3 个、烤玛芬用掉 4 个,剩下的每个卖 2 美元,一天能赚多少?贪婪解码把吃掉和用掉的蛋加成 7 个,却没有从 16 个里扣掉,直接拿 7 乘 2,得到 14 美元。三条采样的推理中,两条用不同的写法都算出 18 美元,一条算错成 26 美元。投票的结果是 18。
为什么叫「边缘化」
作者把第 条输出拆成推理 和答案 。我们真正关心的只有答案,推理是中间产物,所以把各种推理加总掉,只看每个答案得到多少票:
这就是多数投票。名字听起来很学术,做起来就是数票。
要不要按概率加权
既然每条输出都有模型给出的概率,也可以让概率高的推理多算几票。作者试了几种加权方式,其中「归一化」指的是把整条输出的对数概率除以 token 数,避免长的推理因为连乘了更多概率而吃亏:
在 PaLM 540B 上的结果:
| 投票方式 | GSM8K | MultiArith | AQuA | SVAMP |
|---|---|---|---|---|
| 贪婪解码 | 56.5 | 94.7 | 35.8 | 79.0 |
| 加权平均(未归一化) | 56.3 | 90.5 | 35.8 | 73.0 |
| 加权平均(归一化) | 22.1 | 59.7 | 15.7 | 40.5 |
| 加权求和(未归一化) | 59.9 | 92.2 | 38.2 | 76.2 |
| 加权求和(归一化) | 74.1 | 99.3 | 48.0 | 86.8 |
| 不加权(多数投票) | 74.4 | 99.3 | 48.3 | 86.6 |
整理自原论文 Table 1,节选四个算术数据集;单位为 %。
归一化的加权求和,和单纯数票几乎一样。作者检查后发现,归一化之后各条推理的概率都很接近,模型觉得它们「差不多一样可能」。换句话说,模型分不太出自己哪条推理是对的,这也是先前的研究要另外训练排序模型的原因。既然加权没有帮助,直接数票就好。
「加权平均」则是把每个答案的加权总和再除以票数,等于不看票数多少,结果差了很多。
这个方法有一个前提,答案必须来自固定的集合,才能判断两个答案是不是同一个。数学题取数字、选择题取选项都没问题;开放式生成就不行,除非另外定义什么叫两段文字「一致」。
实验设置
- 任务:算术推理有 AddSub、MultiArith、ASDiv、AQuA、GSM8K、SVAMP;常识推理有 CommonsenseQA、StrategyQA、ARC;符号推理有末尾字母拼接和翻硬币,示例只示范两个单词或两次翻转,测试时考四个。
- 模型:UL2 20B、GPT-3 175B(通过 Codex 系列的 code-davinci-001 与 002)、LaMDA 137B、PaLM 540B。全部只用提示,不做任何微调。
- 提示词:和思维链论文相同,算术题共用同一组 8 个手写示例。
- 采样:UL2 和 LaMDA 用温度 0.5、top-k 40;PaLM 用温度 0.7、top-k 40;GPT-3 用温度 0.7,不截断。每次采样 40 条,重复 10 次取平均。
讨论
每个模型都有进步
| 模型 | GSM8K | SVAMP | AQuA |
|---|---|---|---|
| UL2 20B | 4.1 → 7.3 | 12.6 → 19.4 | 23.6 → 26.9 |
| LaMDA 137B | 17.1 → 27.7 | 38.9 → 53.3 | 17.7 → 26.8 |
| PaLM 540B | 56.5 → 74.4 | 79.0 → 86.6 | 35.8 → 48.3 |
| code-davinci-001 | 14.6 → 23.4 | 39.8 → 54.5 | 18.9 → 25.6 |
| code-davinci-002 | 60.1 → 78.0 | 75.8 → 86.8 | 39.8 → 52.0 |
整理自原论文 Table 2;箭头左边是思维链加贪婪解码,右边是 self-consistency,单位为 %。
四个模型在所有算术任务上都有提升,而且模型越大,提升通常越多。UL2 20B 多了 3 到 7 个百分点,LaMDA 137B 和 code-davinci-001 多在 7 到 24 个百分点之间。即使是本来就很强的 PaLM 540B 和 code-davinci-002,GSM8K 也多了 17.9 个百分点。code-davinci-002 的 78.0% 超过了当时微调 GPT-3 再加验证器的 55%,而 self-consistency 完全没有训练。
常识推理的提升比较小,code-davinci-002 在 StrategyQA 多 6.4、ARC-challenge 多 3.9 个百分点。符号推理用比示例更长的题目测试,模型够大时仍有帮助;但 UL2 20B 的字母拼接本来就是 0.0%,投票之后还是 0.0%。模型根本不会的题,采样再多次也只是收集更多错误答案。
采样越多越好,但很快就饱和

注意每张图最左边的那个点。只采样 1 条时,准确率比贪婪解码还差,因为随机采样本来就比挑最可能的 token 更容易出错。单独一条采样推理的质量较差,要靠数量和投票才赢回来。
曲线在 5 到 10 条时已经拿到了大部分提升,作者在结论里也建议实践中从 5 或 10 条开始。
投票为什么有效
作者的假设是,正确的推理即使写法各不相同,最后也会落在同一个答案上;错误的推理则各错各的,答案分散在许多不同的值上。所以正确答案只要拿到四成的票,而其余六成分散在好几个错误值上,它仍然是最大的一群,采样越多,多数投票越稳。
反过来看,这个假设也划出了投票的边界。如果模型有系统性的错误,例如习惯性地少扣一步,错误答案就会集中在同一个值上。正确率 40%、其余六成里有八成错成同一个值时,这个错误答案拿到 48% 的票,比正确答案还多,采样越多反而越确定地选错。self-consistency 能赢,靠的是「错误各错各的」。
和其他做法比较
采样后排序:同样采样多条,按每条的对数概率排序,取第一名的答案。在 code-davinci-001 上,这样做也会随条数进步,但幅度比投票小得多,和前面「模型分不出哪条推理比较好」的观察一致。
束搜索(beam search):在 UL2 20B 的 AQuA 上,束搜索取最上面那条,束越宽反而越差,从 23.6% 掉到 40 束时的 10.2%。用束搜索生成 40 条推理再投票是 24.2%,用采样再投票是 26.9%。束搜索生成的候选太相似,投票需要的是多样性。
集成:在 LaMDA 137B 的 GSM8K 上和两种提示词集成比较:
| 方法 | GSM8K |
|---|---|
| 思维链(贪婪解码) | 17.1 |
| 三组不同的手写提示词,各自贪婪解码后投票 | 18.6 |
| 示例顺序打乱 40 次,各自贪婪解码后投票 | 19.2 |
| Self-consistency(采样 40 条) | 27.7 |
整理自原论文 Table 7;单位为 %。
换提示词和换顺序带来的变化,远不如让模型自己多走几条路。附录还试了多个模型一起投票,PaLM 540B 加上 LaMDA 137B 只有 36.9%,比 PaLM 自己做 self-consistency 的 74.4% 差很多;弱的模型会把强的模型拖下水。
思维链反而变差的任务
Ye 和 Durrett 发现,有些常规的 NLP 任务加上思维链反而会退步。作者在 PaLM 540B 上测了几个:
| 方法 | ANLI R1 | e-SNLI | RTE | BoolQ |
|---|---|---|---|---|
| 标准提示(不写推理) | 69.1 | 85.8 | 84.8 | 71.3 |
| 思维链提示 | 68.8 | 81.0 | 79.1 | 74.2 |
| Self-consistency | 78.5 | 88.4 | 86.3 | 78.4 |
整理自原论文 Table 5,节选部分列;单位为 %。
e-SNLI 和 RTE 加上思维链都掉了 5 个百分点左右,self-consistency 把它们拉了回来,还超过了不写推理的标准提示。
不太挑设置

左图的各种温度、top-k、nucleus 采样设置,采样到 40 条时都远高于贪婪解码。右图则显示小模型的提升有限,作者的解释是算术这类能力要到一定规模才会出现,模型还不会算的时候,投票也帮不上忙。
作者还做了几个压力测试,都在 GSM8K 上:
- 示例写错:把提示词示例里推理过程的数字随机替换(只保留最终答案),LaMDA 137B 的贪婪解码从 17.1% 降到 14.9%,加上 self-consistency 回到 23.4%。
- 只写算式:推理只写「3 + 2 = 5」这类算式,self-consistency 从 5.0% 到 6.5%,提升很小。算式太短,能变出的花样不多,多样性不够。
- 零样本思维链:不给示例,只加一句「Let's think step by step」,PaLM 540B 从 43.0% 升到 69.2%,多了 26.2 个百分点。
- 换一组提示词:附录另写了两组示例,PaLM 540B 的提升分别是 17.5 和 16.4 个百分点,和主实验的 17.9 差不多。
一致程度可以当作置信度

投票不只给出答案,也给出票数。40 条推理里有 35 条同意,和只有 12 条同意,可信度显然不同。作者发现一致的比例和准确率高度相关,所以一致程度低的题目,可以当作模型「自己也没把握」的信号。
局限
作者自己点出了三个局限:
- 成本:采样 40 条就是 40 倍的推理开销,所以建议先试 5 到 10 条。
- 只适用于固定答案:要能判断答案是否相同。
- 推理不一定对:答案投对了,推理过程仍可能是胡说。表格里 StrategyQA 的例子,模型比较两个 Albany 的人口来回答,两个人口数字都不太准。
作者也提出了一个未来方向,用 self-consistency 生成更好的数据来微调模型,让它单次推理就能答对。同一个月,Zelikman 等人的 STaR 就在做类似的事,拿答对题目的推理过程回头训练模型。
后来的事
多数投票很快成了推理评测的标配,论文表格里常见的 maj@k、cons@64,指的就是采样 k 条或 64 条后投票。DeepSeek-R1-Zero 在 AIME 2024 上单次作答的平均是 71.0%,64 条投票则是 86.7%。
「一致程度当置信度」这一点也被用上了。2023 年 12 月的 Gemini 技术报告里,Gemini Ultra 在 MMLU 上拿到 90.04%,用的是他们称为 uncertainty-routed chain-of-thought 的做法。先采样 32 条思维链,一致程度超过阈值就采用多数投票的答案,否则退回不写推理的贪婪解码。只用贪婪解码是 84.0%,只用 32 条投票是 85.0%,两者结合才到 90.0%。
固定答案的限制,也有人试着去掉。2023 年 11 月,同一团队的 Chen 等人提出 Universal Self-Consistency,不再自己比对答案,而是把所有候选回答交给语言模型,请它挑出与其他回答最一致的那个,因此可以用在摘要、代码这类没有标准答案的生成任务上。
再往后,问题变成了「推理阶段多花的算力,怎么分配最划算」。投票是最简单的一种,还有用验证器挑答案、在推理的每一步展开搜索等做法。
结论
Self-consistency 不用训练、不用额外的模型,把贪婪解码换成采样 40 条再数票,PaLM 540B 和 code-davinci-002 在 GSM8K 上就多了 17.9 个百分点,超过了当时微调再加验证器的做法。
它成立的前提是错误的推理各错各的。模型有系统性的盲点,或是根本不会的题目,投票只会更坚定地选错;成本也是直接乘上采样的条数。好在多数题目在 5 到 10 条时就拿到了大部分提升。
这篇真正留下来的,可能是那张一致程度和准确率的散点图。票数本身就是一种置信度分数,不到两年后 Gemini Ultra 冲上 MMLU 90%,靠的就是先看票数够不够集中,再决定要不要相信投票的结果。