返回论文笔记资料库
arXiv 2022ICLR 2023语言模型与 Transformer论文笔记

Self-Consistency

少数服从多数

原始论文

Self-Consistency Improves Chain of Thought Reasoning in Language Models

论文作者

Xuezhi Wang · Jason Wei · Dale Schuurmans …

查看全部 8 位作者

Xuezhi Wang · Jason Wei · Dale Schuurmans · Quoc Le · Ed Chi · Sharan Narang · Aakanksha Chowdhery · Denny Zhou

发表版本
ICLR 2023会议
arXiv 首次提交
arXiv:2203.11171
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{transformersselfconsistency2022,
  title = {{Self-Consistency Improves Chain of Thought Reasoning in Language Models}},
  author = {Xuezhi Wang and Jason Wei and Dale Schuurmans and Quoc Le and Ed Chi and Sharan Narang and Aakanksha Chowdhery and Denny Zhou},
  year = {2022},
  eprint = {2203.11171},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2203.11171}
}
本页内容

2022 年 1 月,Google 的 Wei 等人发表了思维链提示,让模型先写出推理步骤再给答案,数学应用题的成绩大幅提升。

不过那篇论文的解码方式很保守。推理题的答案是固定的,大家习惯用贪婪解码,每一步都挑概率最高的 token,最后只得到一条推理。这条推理中间只要算错一步,答案就错了,没有补救的机会。

两个月后,同一个团队的 Wang 等人换了个思路。同一道题让模型多写几遍,每遍走不同的路,最后看哪个答案出现的次数最多。

定义问题

人解题的时候,常常有好几种思路都能走到同一个答案。作者的假设是,复杂的推理题也是这样,正确的推理即使写法不同,最后的答案也会一致;错误的推理则各错各的,答案比较分散。

如果这个假设成立,就不需要知道哪一条推理是对的,只要看答案有没有「撞在一起」。

在这之前,要从多个候选答案里挑出好的,通常得另外训练一个模型。Cobbe 等人在 GSM8K 上训练了一个验证器给解答排序,LaMDA 则收集额外的人工标注,训练了一个重排序模型。这篇想做到的是不训练、不加标注、不需要额外的模型,拿现成的语言模型直接用。

解决问题

原论文 Figure 1:上方是思维链提示加贪婪解码,模型只写一条推理,得到错误答案 $14。下方是 self-consistency,同样的提示词改成采样出多条推理:第一条得到 $18,第二条算错得到 $26,第三条也得到 $18;把推理过程边缘化掉,对最终答案投票,选出 $18。
原论文 Figure 1(Wang 等人),取自 PDF 第 2 页,CC BY 4.0。

方法只有三步:

  1. 和原来一样,用手写的思维链示例作为提示词。
  2. 不用贪婪解码,改从模型的解码器采样出 mm 条输出,每条各有一段推理和一个答案。
  3. 把每条输出最后「The answer is」之后的答案取出来,选出现次数最多的那个。

图中的例子是 GSM8K 的一道题:Janet 的鸭子每天下 16 个蛋,早餐吃掉 3 个、烤玛芬用掉 4 个,剩下的每个卖 2 美元,一天能赚多少?贪婪解码把吃掉和用掉的蛋加成 7 个,却没有从 16 个里扣掉,直接拿 7 乘 2,得到 14 美元。三条采样的推理中,两条用不同的写法都算出 18 美元,一条算错成 26 美元。投票的结果是 18。

为什么叫「边缘化」

作者把第 ii 条输出拆成推理 rir_i 和答案 aia_i。我们真正关心的只有答案,推理是中间产物,所以把各种推理加总掉,只看每个答案得到多少票:

a^=arg⁡max⁡a∑i=1m1(ai=a)\hat a = \arg\max_a \sum_{i=1}^{m} \mathbb{1}(a_i = a)

这就是多数投票。名字听起来很学术,做起来就是数票。

要不要按概率加权

既然每条输出都有模型给出的概率,也可以让概率高的推理多算几票。作者试了几种加权方式,其中「归一化」指的是把整条输出的对数概率除以 token 数,避免长的推理因为连乘了更多概率而吃亏:

P(ri,ai∣prompt,question)=exp⁡(1K∑k=1Klog⁡P(tk∣prompt,question,t1,…,tk−1))P(r_i, a_i \mid \text{prompt}, \text{question}) = \exp\left(\frac{1}{K}\sum_{k=1}^{K}\log P(t_k \mid \text{prompt}, \text{question}, t_1, \ldots, t_{k-1})\right)

在 PaLM 540B 上的结果:

投票方式GSM8KMultiArithAQuASVAMP
贪婪解码56.594.735.879.0
加权平均(未归一化)56.390.535.873.0
加权平均(归一化)22.159.715.740.5
加权求和(未归一化)59.992.238.276.2
加权求和(归一化)74.199.348.086.8
不加权(多数投票)74.499.348.386.6

整理自原论文 Table 1,节选四个算术数据集;单位为 %。

归一化的加权求和,和单纯数票几乎一样。作者检查后发现,归一化之后各条推理的概率都很接近,模型觉得它们「差不多一样可能」。换句话说,模型分不太出自己哪条推理是对的,这也是先前的研究要另外训练排序模型的原因。既然加权没有帮助,直接数票就好。

「加权平均」则是把每个答案的加权总和再除以票数,等于不看票数多少,结果差了很多。

这个方法有一个前提,答案必须来自固定的集合,才能判断两个答案是不是同一个。数学题取数字、选择题取选项都没问题;开放式生成就不行,除非另外定义什么叫两段文字「一致」。

实验设置

  • 任务:算术推理有 AddSub、MultiArith、ASDiv、AQuA、GSM8K、SVAMP;常识推理有 CommonsenseQA、StrategyQA、ARC;符号推理有末尾字母拼接和翻硬币,示例只示范两个单词或两次翻转,测试时考四个。
  • 模型:UL2 20B、GPT-3 175B(通过 Codex 系列的 code-davinci-001 与 002)、LaMDA 137B、PaLM 540B。全部只用提示,不做任何微调。
  • 提示词:和思维链论文相同,算术题共用同一组 8 个手写示例。
  • 采样:UL2 和 LaMDA 用温度 0.5、top-k 40;PaLM 用温度 0.7、top-k 40;GPT-3 用温度 0.7,不截断。每次采样 40 条,重复 10 次取平均。

讨论

每个模型都有进步

模型GSM8KSVAMPAQuA
UL2 20B4.1 → 7.312.6 → 19.423.6 → 26.9
LaMDA 137B17.1 → 27.738.9 → 53.317.7 → 26.8
PaLM 540B56.5 → 74.479.0 → 86.635.8 → 48.3
code-davinci-00114.6 → 23.439.8 → 54.518.9 → 25.6
code-davinci-00260.1 → 78.075.8 → 86.839.8 → 52.0

整理自原论文 Table 2;箭头左边是思维链加贪婪解码,右边是 self-consistency,单位为 %。

四个模型在所有算术任务上都有提升,而且模型越大,提升通常越多。UL2 20B 多了 3 到 7 个百分点,LaMDA 137B 和 code-davinci-001 多在 7 到 24 个百分点之间。即使是本来就很强的 PaLM 540B 和 code-davinci-002,GSM8K 也多了 17.9 个百分点。code-davinci-002 的 78.0% 超过了当时微调 GPT-3 再加验证器的 55%,而 self-consistency 完全没有训练。

常识推理的提升比较小,code-davinci-002 在 StrategyQA 多 6.4、ARC-challenge 多 3.9 个百分点。符号推理用比示例更长的题目测试,模型够大时仍有帮助;但 UL2 20B 的字母拼接本来就是 0.0%,投票之后还是 0.0%。模型根本不会的题,采样再多次也只是收集更多错误答案。

采样越多越好,但很快就饱和

原论文 Figure 2:LaMDA 137B 在 MultiArith、SVAMP、CommonsenseQA、ARC-challenge 上,准确率对采样的推理条数(1、5、10、20、40)。蓝线 self-consistency 随条数上升,前 10 条升得最快,之后趋缓;橙线是贪婪解码,固定不变。只取 1 条时,蓝线比橙线还低。
原论文 Figure 2(Wang 等人),取自 PDF 第 6 页,CC BY 4.0。

注意每张图最左边的那个点。只采样 1 条时,准确率比贪婪解码还差,因为随机采样本来就比挑最可能的 token 更容易出错。单独一条采样推理的质量较差,要靠数量和投票才赢回来。

曲线在 5 到 10 条时已经拿到了大部分提升,作者在结论里也建议实践中从 5 或 10 条开始。

投票为什么有效

作者的假设是,正确的推理即使写法各不相同,最后也会落在同一个答案上;错误的推理则各错各的,答案分散在许多不同的值上。所以正确答案只要拿到四成的票,而其余六成分散在好几个错误值上,它仍然是最大的一群,采样越多,多数投票越稳。

反过来看,这个假设也划出了投票的边界。如果模型有系统性的错误,例如习惯性地少扣一步,错误答案就会集中在同一个值上。正确率 40%、其余六成里有八成错成同一个值时,这个错误答案拿到 48% 的票,比正确答案还多,采样越多反而越确定地选错。self-consistency 能赢,靠的是「错误各错各的」。

和其他做法比较

采样后排序:同样采样多条,按每条的对数概率排序,取第一名的答案。在 code-davinci-001 上,这样做也会随条数进步,但幅度比投票小得多,和前面「模型分不出哪条推理比较好」的观察一致。

束搜索(beam search):在 UL2 20B 的 AQuA 上,束搜索取最上面那条,束越宽反而越差,从 23.6% 掉到 40 束时的 10.2%。用束搜索生成 40 条推理再投票是 24.2%,用采样再投票是 26.9%。束搜索生成的候选太相似,投票需要的是多样性。

集成:在 LaMDA 137B 的 GSM8K 上和两种提示词集成比较:

方法GSM8K
思维链(贪婪解码)17.1
三组不同的手写提示词,各自贪婪解码后投票18.6
示例顺序打乱 40 次,各自贪婪解码后投票19.2
Self-consistency(采样 40 条)27.7

整理自原论文 Table 7;单位为 %。

换提示词和换顺序带来的变化,远不如让模型自己多走几条路。附录还试了多个模型一起投票,PaLM 540B 加上 LaMDA 137B 只有 36.9%,比 PaLM 自己做 self-consistency 的 74.4% 差很多;弱的模型会把强的模型拖下水。

思维链反而变差的任务

Ye 和 Durrett 发现,有些常规的 NLP 任务加上思维链反而会退步。作者在 PaLM 540B 上测了几个:

方法ANLI R1e-SNLIRTEBoolQ
标准提示(不写推理)69.185.884.871.3
思维链提示68.881.079.174.2
Self-consistency78.588.486.378.4

整理自原论文 Table 5,节选部分列;单位为 %。

e-SNLI 和 RTE 加上思维链都掉了 5 个百分点左右,self-consistency 把它们拉了回来,还超过了不写推理的标准提示。

不太挑设置

原论文 Figure 4:GSM8K 准确率。左图是 PaLM 540B 在不同采样设置下,准确率对采样条数:温度 0.3、0.5、0.7,top-k 20、40 或不截断,nucleus 采样 p 为 0.9、0.95,全部高于贪婪解码的水平线。右图是 LaMDA 系列不同大小的模型,self-consistency 和贪婪解码的准确率对参数量,模型越大差距越明显。
原论文 Figure 4(Wang 等人),取自 PDF 第 8 页,CC BY 4.0。

左图的各种温度、top-k、nucleus 采样设置,采样到 40 条时都远高于贪婪解码。右图则显示小模型的提升有限,作者的解释是算术这类能力要到一定规模才会出现,模型还不会算的时候,投票也帮不上忙。

作者还做了几个压力测试,都在 GSM8K 上:

  • 示例写错:把提示词示例里推理过程的数字随机替换(只保留最终答案),LaMDA 137B 的贪婪解码从 17.1% 降到 14.9%,加上 self-consistency 回到 23.4%。
  • 只写算式:推理只写「3 + 2 = 5」这类算式,self-consistency 从 5.0% 到 6.5%,提升很小。算式太短,能变出的花样不多,多样性不够。
  • 零样本思维链:不给示例,只加一句「Let's think step by step」,PaLM 540B 从 43.0% 升到 69.2%,多了 26.2 个百分点。
  • 换一组提示词:附录另写了两组示例,PaLM 540B 的提升分别是 17.5 和 16.4 个百分点,和主实验的 17.9 差不多。

一致程度可以当作置信度

原论文 Figure 5:GSM8K 上一致程度与准确率的散点图。横轴是采样的推理中与最终答案一致的比例,纵轴是准确率;一致程度越高,准确率越高,一致程度 80% 以上的点,准确率大多是 100%。
原论文 Figure 5(Wang 等人),取自 PDF 第 8 页,CC BY 4.0。

投票不只给出答案,也给出票数。40 条推理里有 35 条同意,和只有 12 条同意,可信度显然不同。作者发现一致的比例和准确率高度相关,所以一致程度低的题目,可以当作模型「自己也没把握」的信号。

局限

作者自己点出了三个局限:

  • 成本:采样 40 条就是 40 倍的推理开销,所以建议先试 5 到 10 条。
  • 只适用于固定答案:要能判断答案是否相同。
  • 推理不一定对:答案投对了,推理过程仍可能是胡说。表格里 StrategyQA 的例子,模型比较两个 Albany 的人口来回答,两个人口数字都不太准。

作者也提出了一个未来方向,用 self-consistency 生成更好的数据来微调模型,让它单次推理就能答对。同一个月,Zelikman 等人的 STaR 就在做类似的事,拿答对题目的推理过程回头训练模型。

后来的事

多数投票很快成了推理评测的标配,论文表格里常见的 maj@k、cons@64,指的就是采样 k 条或 64 条后投票。DeepSeek-R1-Zero 在 AIME 2024 上单次作答的平均是 71.0%,64 条投票则是 86.7%。

「一致程度当置信度」这一点也被用上了。2023 年 12 月的 Gemini 技术报告里,Gemini Ultra 在 MMLU 上拿到 90.04%,用的是他们称为 uncertainty-routed chain-of-thought 的做法。先采样 32 条思维链,一致程度超过阈值就采用多数投票的答案,否则退回不写推理的贪婪解码。只用贪婪解码是 84.0%,只用 32 条投票是 85.0%,两者结合才到 90.0%。

固定答案的限制,也有人试着去掉。2023 年 11 月,同一团队的 Chen 等人提出 Universal Self-Consistency,不再自己比对答案,而是把所有候选回答交给语言模型,请它挑出与其他回答最一致的那个,因此可以用在摘要、代码这类没有标准答案的生成任务上。

再往后,问题变成了「推理阶段多花的算力,怎么分配最划算」。投票是最简单的一种,还有用验证器挑答案、在推理的每一步展开搜索等做法。

结论

Self-consistency 不用训练、不用额外的模型,把贪婪解码换成采样 40 条再数票,PaLM 540B 和 code-davinci-002 在 GSM8K 上就多了 17.9 个百分点,超过了当时微调再加验证器的做法。

它成立的前提是错误的推理各错各的。模型有系统性的盲点,或是根本不会的题目,投票只会更坚定地选错;成本也是直接乘上采样的条数。好在多数题目在 5 到 10 条时就拿到了大部分提升。

这篇真正留下来的,可能是那张一致程度和准确率的散点图。票数本身就是一种置信度分数,不到两年后 Gemini Ultra 冲上 MMLU 90%,靠的就是先看票数够不够集中,再决定要不要相信投票的结果。