返回論文筆記資料庫
arXiv 2022NeurIPS 2022語言模型與 Transformer論文筆記

Zero-shot CoT

一句話的事

原始論文

Large Language Models are Zero-Shot Reasoners

論文作者

Takeshi Kojima · Shixiang Shane Gu · Machel Reid · Yutaka Matsuo · Yusuke Iwasawa

發表版本
NeurIPS 2022會議
arXiv 首次提交
arXiv:2205.11916
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{transformerszeroshotcot2022,
  title = {{Large Language Models are Zero-Shot Reasoners}},
  author = {Takeshi Kojima and Shixiang Shane Gu and Machel Reid and Yutaka Matsuo and Yusuke Iwasawa},
  year = {2022},
  eprint = {2205.11916},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2205.11916}
}
本頁內容

GPT-3 的論文標題是「Language Models are Few-Shot Learners」。從那之後,大家講到大型語言模型的厲害之處,第一個想到的就是少樣本學習:在提示裡放幾個範例,模型就學會新任務。

2022 年 1 月的思維鏈提示也是這個路線。在範例的答案裡寫出推理步驟,模型照樣寫,數學題就大幅進步。那篇論文甚至沒有報告零樣本的成績,彷彿不給範例根本不用比。

四個月後,東京大學的 Kojima 和 Google 的 Shane Gu 等人發現,範例可以全部拿掉。只要在答案前面加一句「Let's think step by step」,text-davinci-002 在 MultiArith 上就從 17.7% 升到 78.7%,GSM8K 從 10.4% 升到 40.7%。

定義問題

少樣本思維鏈有兩個麻煩。範例要人一個任務一個任務手寫,推理步驟要寫得好,答案的格式也要統一;而且範例和題目不搭的時候,效果會明顯變差,後面會看到數字。

零樣本的提示也不是沒有人做,但大多是替每個任務各自設計模板,換一個任務就要重新想。

這篇想問的是,有沒有一句和任務無關的話,不給任何範例,就能讓模型寫出多步驟的推理?

解決問題

原論文 Figure 1:四種提示方式的輸入與輸出,題目都是「雜耍藝人能拋 16 顆球,一半是高爾夫球,高爾夫球裡一半是藍色,藍色高爾夫球有幾顆?」(a) 少樣本提示,範例只有答案,模型答 8,錯。(b) 少樣本思維鏈,範例寫出推理,模型照著寫出 16 / 2 = 8、8 / 2 = 4,答對 4。(c) 零樣本,只有「The answer (arabic numerals) is」,模型答 8,錯。(d) 零樣本思維鏈,只加一句「Let's think step by step.」,模型自己寫出推理,得到 4 顆,答對。
原論文 Figure 1(Kojima 等人),取自 PDF 第 2 頁,arXiv 授權,學術引用。

上排是少樣本,下排是零樣本;左邊直接回答,右邊先寫推理。右下角就是這篇的方法,不需要任何範例,每個任務都用同一句話。

兩段式提示

原論文 Figure 2:零樣本思維鏈的完整流程。第一段提示是「Q: 題目 A: Let's think step by step.」,語言模型接著寫出推理:一分鐘 25 拳,三分鐘 75 拳,五回合 375 拳。第二段提示把題目、第一段的推理和「Therefore, the answer (arabic numerals) is」接在一起,再送進同一個語言模型,得到 375。
原論文 Figure 2(Kojima 等人),取自 PDF 第 4 頁,arXiv 授權,學術引用。

方法說起來只有一句話,實作上要問模型兩次:

  1. 抽出推理:把題目套進「Q: [題目]. A: Let's think step by step.」,讓模型接著寫,得到推理 zz。全篇都用貪婪解碼。
  2. 抽出答案:把第一段的提示、推理 zz,再接上一句答案觸發語,送回同一個模型。數字題用「Therefore, the answer (arabic numerals) is」,選擇題用「Therefore, among A through E, the answer is」。

需要第二段,是因為沒有範例示範「最後要寫 The answer is X」,模型寫完推理不一定會乖乖給出可解析的答案。少樣本提示不用這一步,範例的答案格式已經教過了。

模型講完答案,還要再清理一次。數字題取第一個出現的數字,選擇題取第一個出現的大寫字母,是非題取第一個 yes 或 no。上圖的拳擊題,模型在第二段寫出「375.」,清理後得到 375。這套規則很粗糙,模型若一次寫出「B, C, and D」,只會取到 B;句子以 Among 開頭時,抓到的第一個大寫字母是 Among 的 A。不過所有方法都用同一套規則,比較起來還算公平。

實驗設定

  • 任務:四類共 12 個資料集。算術有 SingleEq、AddSub、MultiArith、AQUA-RAT、GSM8K、SVAMP,前兩個多半一步就能算完;常識有 CommonsenseQA、StrategyQA;符號推理有四個名字的末字母串接、翻四次的硬幣;其他邏輯推理有 BIG-bench 的日期理解和三個物件的交換追蹤。
  • 模型:共 17 個,從 0.3B 到 540B。主要用 InstructGPT(text-ada/babbage/curie/davinci-001 和 text-davinci-002)、原始 GPT-3 四種大小、PaLM 8B/62B/540B;規模實驗另外加了 GPT-2、GPT-Neo、GPT-J、T0、OPT。沒有特別說明時都是 text-davinci-002。
  • 對照:零樣本基準也用類似的答案觸發語;少樣本和少樣本思維鏈用 Wei 等人的範例,算術題是同一組 8 個。

討論

和零樣本比

資料集零樣本零樣本思維鏈
SingleEq74.678.0
AddSub72.269.6
MultiArith17.778.7
GSM8K10.440.7
AQUA-RAT22.433.5
SVAMP58.862.1
CommonsenseQA68.864.6
StrategyQA12.754.8
日期理解49.367.5
物件交換追蹤31.352.4
末字母串接0.257.6
翻硬幣12.891.4

整理自原論文 Table 1,使用依答案格式設計的觸發語;單位為 %。

需要多步驟推理的題目,進步都很大:MultiArith 多了 61 個百分點,末字母串接從幾乎是 0 到 57.6%,翻硬幣從 12.8% 到 91.4%。SingleEq 和 AddSub 本來就不太需要多步計算,差不多。

CommonsenseQA 反而退步,從 68.8% 降到 64.6%。作者提到思維鏈論文也有類似的現象,少樣本思維鏈在 LaMDA 137B 上對常識題沒有幫助,要到 PaLM 540B 才對 StrategyQA 有效。

表裡有兩個數字值得多看一眼。StrategyQA 和翻硬幣都是是非題,亂猜也有 50%,零樣本基準卻只有 12% 左右。原表另外報告了改用「The answer is」抽答案的結果,這兩個零樣本基準就回到 54.3% 和 53.8%。看起來,零樣本基準的低分有一部分出在答案沒被正確抽出來;零樣本思維鏈兩種抽法的差距則小得多。

和少樣本比

方法MultiArithGSM8K
零樣本17.710.4
少樣本(8 個範例)33.815.6
零樣本思維鏈78.740.7
少樣本思維鏈(2 個範例)84.841.3
少樣本思維鏈(8 個範例)93.048.7
8 個範例的思維鏈,答案前再加「Let's think step by step.」92.851.5
微調 GPT-3 175B-33
微調 GPT-3 175B + 驗證器-55
PaLM 540B:零樣本25.512.5
PaLM 540B:零樣本思維鏈66.143.0
PaLM 540B:零樣本思維鏈 + Self-Consistency89.070.1
PaLM 540B:少樣本思維鏈-56.9

整理自原論文 Table 2,節錄部分列;沒有標明模型的都是 text-davinci-002,單位為 %。

零樣本思維鏈當然比不上精心寫好範例的少樣本思維鏈,但它贏過放了 8 個範例的標準少樣本提示,而且在 GSM8K 上贏過微調的 GPT-3 175B。換句話說,少樣本提示那 8 個範例帶來的提升,遠不如一句「先一步一步想」。

把這句話加進少樣本思維鏈的範例裡,GSM8K 還能從 48.7% 再升到 51.5%。PaLM 540B 加上 Self-Consistency 取樣投票,零樣本也能到 70.1%。

模型要夠大

原論文 Figure 3:模型規模實驗。(a) 原始 GPT-3 從 0.3B 到 175B 的 MultiArith 準確率,零樣本(藍)幾乎都在 5% 以下,零樣本思維鏈(紅)只有 175B 升到約 20%。(b) InstructGPT 的 S、M、L、XL(text-ada-001、babbage-001、curie-001、text-davinci-002),零樣本思維鏈在 XL 跳到約 79%,零樣本約 18%。(c) PaLM 8B、62B、540B 的 GSM8K,零樣本思維鏈在 540B 約 43%,零樣本約 12%。
原論文 Figure 3(Kojima 等人),取自 PDF 第 7 頁,arXiv 授權,學術引用。

不寫推理時,模型變大,分數幾乎不動;加上這句話之後,分數隨模型變大急速上升。小模型則沒有用,寫出來的推理品質也差。這和少樣本思維鏈的結果一致,推理能力要到一定規模才出現,這句話只是把它叫出來。

原始 GPT-3 175B 的提升遠小於做過指令微調的 text-davinci-002,作者在討論裡也承認,各家模型的訓練資料細節都不公開,無法確定差異從哪裡來。

換一句話行不行

類型觸發語MultiArith
引導推理Let's think step by step.78.7
引導推理First,77.3
引導推理Let's think about this logically.74.5
引導推理Let's solve this problem by splitting it into steps.72.2
引導推理Let's think like a detective step by step.70.3
引導推理Let's think57.5
引導推理The answer is after the proof.45.7
誤導Don't think. Just feel.18.8
誤導Let's think step by step but reach an incorrect answer.18.7
誤導By using the fact that the earth is round,9.3
無關By the way, I found a good restaurant nearby.17.5
無關Abrakadabra!15.5
不加(零樣本)17.7

整理自原論文 Table 4,節錄 16 種觸發語中的 12 種;text-davinci-002,單位為 %。

只要是引導模型推理的句子都有用,但差距不小。「Let's think」少了「step by step」就從 78.7% 掉到 57.5%。誤導和無關的句子都在零樣本的水準附近,「By using the fact that the earth is round」甚至拉低到 9.3%。作者也觀察到,不同的觸發語會讓模型用很不一樣的方式寫推理。至於怎麼自動找出更好的觸發語,作者留成了開放問題。

範例和題目不搭

方法AQUA-RATMultiArith
零樣本22.417.7
少樣本思維鏈,範例取自 CommonsenseQA31.927.0
零樣本思維鏈33.578.7
少樣本思維鏈,範例取自同一個任務39.088.2

整理自原論文 Table 5;單位為 %。

拿常識題的範例去做數學題。AQUA-RAT 和 CommonsenseQA 都是選擇題,格式相同,範例還有一點幫助;MultiArith 要的是數字答案,格式不同,範例幾乎沒用。這和 Min 等人的觀察一致,模型從範例裡學到的多半是答案的格式,而不是任務本身。兩種情況都輸給零樣本思維鏈。

錯在哪裡

原論文 Table 3:零樣本思維鏈在 CommonsenseQA 上的兩個例子。例一問用舊的玩具車最可能在哪裡,模型推論玩具車在小孩房、小孩房在房子裡,所以答 (E) house,標準答案是 (A) child's room,推理本身說得通。例二問要變健康需要什麼,模型列出規律運動、健康飲食、充足睡眠三件事,最後答 B、C、D 三個選項,標準答案是 (B) exercise。
原論文 Table 3(Kojima 等人),取自 PDF 第 7 頁,arXiv 授權,學術引用。

作者人工檢查了 text-davinci-002 的輸出:

  • 常識題:推理常常合理,只是答案和標準答案不同,例如例一的「玩具車在房子裡」並沒有錯。模型無法在幾個選項中取捨時,也會一次選好幾個。
  • 算術題:零樣本思維鏈常常已經算出正確答案,又繼續多寫幾步,把答案改錯;有時則沒有真的開始推理,只是把題目換句話說一遍。少樣本思維鏈的錯法不同,常在 (3 + 2) * 4 這種一次做兩步運算的式子出錯。

限制

作者提了兩點:

  • 訓練資料不透明:GPT-3 系列 001 和 002 的差別、PaLM 用了什麼資料,都沒有公開。作者的論點是,各種模型、算術和非算術任務都一致進步,比較不像是背答案,而是一般性的推理能力。
  • 偏誤:提示利用的是模型從網路資料學到的模式,資料裡的偏誤也會一起帶出來。

另外,大部分的結果都在 text-davinci-002 上,只用貪婪解碼;關鍵結果在 PaLM 上重現過。

後來的事

「Let's think step by step」很快變成最常見的零樣本提示,作者留下的開放問題,也很快有人接手。

2022 年 11 月,多倫多大學的 APE 讓語言模型自己提出候選指令再評分。他們先用「Let's think step by step」產生一批推理,丟掉答錯的(這一步參考了 STaR),再搜尋最能產生這些正確推理的開頭句,找到「Let's work this out in a step by step way to be sure we have the right answer.」。在 text-davinci-002 上,MultiArith 從 78.7% 升到 82.0%,GSM8K 從 40.7% 升到 43.0%。

2023 年 9 月,Google DeepMind 的 OPRO 把語言模型當成最佳化器,反覆提出新句子、看分數、再改寫。以 PaLM 2-L 作答時,最好的句子是「Take a deep breath and work on this problem step-by-step.」,GSM8K 80.2%;「Let's think step by step」是 71.8%,APE 找到的那句只剩 58.8%。最好的那句話會隨模型改變,在 text-davinci-002 上找到的最佳句子,換到 PaLM 2-L 就落到後面。

到了推理模型,事情又繞了一圈。模型在回答前本來就會寫很長的推理,OpenAI 給推理模型的提示指南直接寫著,避免使用思維鏈提示,因為這些模型會在內部推理,請它「think step by step」或「explain your reasoning」是多餘的。

結論

在答案前加一句「Let's think step by step」,text-davinci-002 的 MultiArith 從 17.7% 到 78.7%,GSM8K 從 10.4% 到 40.7%,還贏過放了 8 個範例的標準少樣本提示。這篇最有分量的地方在這裡,推理能力原本就在模型裡,少樣本範例提供的有很大一部分只是格式。

但它也很挑。模型要夠大,常識題沒有幫助;觸發語差幾個字,分數就差 20 個百分點,換一個模型,最好的句子也跟著換。

後來的發展有點諷刺。大家花了一年多,用演算法替這句話找更好的說法;接著推理模型把「先想再答」直接練進權重,提示指南反過來請你別再提醒它了。