返回論文筆記資料庫
arXiv 2022NeurIPS 2022語言模型與 Transformer論文筆記

Chain-of-Thought

三思而後答

原始論文

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

論文作者

Jason Wei · Xuezhi Wang · Dale Schuurmans …

查看全部 9 位作者

Jason Wei · Xuezhi Wang · Dale Schuurmans · Maarten Bosma · Brian Ichter · Fei Xia · Ed Chi · Quoc Le · Denny Zhou

發表版本
NeurIPS 2022會議
arXiv 首次提交
arXiv:2201.11903
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{transformerschainofthought2022,
  title = {{Chain-of-Thought Prompting Elicits Reasoning in Large Language Models}},
  author = {Jason Wei and Xuezhi Wang and Dale Schuurmans and Maarten Bosma and Brian Ichter and Fei Xia and Ed Chi and Quoc Le and Denny Zhou},
  year = {2022},
  eprint = {2201.11903},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2201.11903}
}
本頁內容

「餐廳有 23 顆蘋果,用掉 20 顆做午餐,又買了 6 顆,現在有幾顆?」

這題給國小生做很簡單。給 2022 年初的大型語言模型做,在提示裡先示範一題「問題、答案」,它照著格式直接回答:27。

Google 的 Wei、Wang、Schuurmans、Zhou 等人在這篇論文裡只改了一件事。示範題的答案前面,多寫幾行解題過程:

text
Q: Roger has 5 tennis balls. He buys 2 more cans of tennis balls.
   Each can has 3 tennis balls. How many tennis balls does he have now?
A: Roger started with 5 balls. 2 cans of 3 tennis balls each is 6 tennis balls.
   5 + 6 = 11. The answer is 11.

模型就會跟著先寫過程再寫答案,算出 23 − 20 = 3、3 + 6 = 9。他們把這段中間過程叫做思維鏈(chain of thought),把這種提示方式叫做思維鏈提示。

方法不需要微調,也不需要新的模型。論文把這個現象量清楚了,包括在哪些任務有效、需要多大的模型、效果來自哪裡,以及哪些看似合理的解釋站不住腳。

定義問題

放大語言模型,讓很多任務的表現穩定提升,但算術、常識與符號推理是例外。DeepMind 的 Gopher 論文就指出,光靠放大模型,這類任務的表現仍然上不去。

作者從兩條既有的路線找靈感。第一條是讓模型產生中間步驟,例如 Ling 等人在 2017 年用自然語言的解題理由訓練模型解數學題,OpenAI 的 Cobbe 等人在 2021 年推出 GSM8K 小學數學資料集,並用帶有解題過程的資料微調 GPT-3。問題是要寫出大量高品質的解題過程很貴,比一般的輸入輸出配對難收集得多。

第二條是 GPT-3 帶起的少樣本提示,在提示裡放幾個範例,不必為每個任務微調模型。它在簡單的問答任務上效果很好,碰到需要推理的任務就不行,放大模型也幫助不大。

兩者各有長處,也各有限制。作者想知道,能不能用提示的方式,只靠幾個帶有推理過程的範例,就讓模型做出多步驟推理?

解決問題

原論文 Figure 1:標準提示與思維鏈提示的對照。左側標準提示的範例直接給出答案 11,模型對蘋果題輸出錯誤的 27;右側思維鏈提示的範例先寫出 5 + 6 = 11 的過程,模型對同一題先算 23 − 20 = 3、再算 3 + 6 = 9,得出正確答案 9。
原論文 Figure 1(Wei 等人),取自 PDF 第 1 頁,CC BY 4.0。

左右兩邊的提示只差在範例答案前面的那段藍色文字。右邊的模型沒有被告知「要一步一步算」,它只是模仿範例的格式,先寫出過程,再給答案。

標準的少樣本提示,每個範例是(輸入,輸出)一對。思維鏈提示改成(輸入,思維鏈,輸出)三個一組。作者為數學應用題手寫了 8 個範例,套用到幾乎所有算術評測上;只有選擇題形式的 AQuA 另外從訓練集取 4 個範例。作者強調,這組範例沒有經過提示工程的調整。

作者列了思維鏈的四個好處:

  1. 多步驟的問題可以拆成中間步驟,越難的題目可以分到越多計算。
  2. 它讓人看見模型是怎麼得到答案的,推理錯在哪一步也比較好找;作者也說,模型內部實際怎麼計算,仍是待解的問題。
  3. 原則上適用於任何人類能用語言解決的任務。
  4. 現成的大型模型只要在提示範例裡加上思維鏈就能用。

實驗設定

作者測了三類推理任務:

  • 算術:GSM8K、SVAMP、ASDiv、AQuA、MAWPS 五個數學應用題資料集。
  • 常識:CSQA、StrategyQA、BIG-bench 的日期理解與運動理解,以及把自然語言指令轉成機器人動作序列的 SayCan。
  • 符號:把名字裡每個字的最後一個字母接起來,以及追蹤硬幣在幾個人翻或不翻之後是否正面朝上。

模型共有五組:OpenAI API 的四個 GPT-3 模型(text-ada-001 到 text-davinci-002,作者推測對應 3.5 億到 1,750 億參數的 InstructGPT;論文原文用的是「presumably」,因為 OpenAI 沒說)、LaMDA(4.22 億到 1,370 億)、PaLM(80 億、620 億、5,400 億)、UL2 20B 與 Codex。所有結果都用貪婪解碼。LaMDA 的結果是 5 種範例順序的平均,其他模型因為成本只跑一種順序。

討論

算術:規模夠大才有效

原論文 Figure 4:GSM8K、SVAMP、MAWPS 三個資料集上,LaMDA、GPT、PaLM 三個模型家族的解題率對模型規模。黑線為標準提示,藍線為思維鏈提示,橘色虛線為先前監督式方法的最佳成績。小模型上兩條線幾乎重疊甚至藍線較低;到最大的模型,思維鏈的藍線明顯拉開,PaLM 540B 在 GSM8K 上超過橘色虛線。
原論文 Figure 4(Wei 等人),取自 PDF 第 5 頁,CC BY 4.0。

橫軸是參數量,三欄分別是 LaMDA、GPT、PaLM,三列是三個資料集。黑線是標準提示,藍線是思維鏈提示,橘色虛線是先前用微調得到的最佳成績。

最左邊的小模型上,兩條線疊在一起,有時藍線還比較低。作者檢查後發現,小模型能寫出通順的思維鏈,但邏輯是錯的,反而拖累答案。要到約 1,000 億參數,思維鏈才開始拉開差距。作者把它稱為隨模型規模「湧現」的能力。

第二個觀察是,題目越難,提升越大。GSM8K 是基準分數最低的資料集,最大的 GPT 與 PaLM 用了思維鏈後,分數都翻了一倍以上;MAWPS 裡只要一步就能解的 SingleOp 子集,提升很小甚至是負的。

模型標準提示思維鏈提示思維鏈 + 外部計算機
LaMDA 137B6.514.317.8
GPT-3 175B(text-davinci-002)15.646.949.6
Codex(code-davinci-002)19.763.165.4
PaLM 540B17.956.958.6

GSM8K 解題率(%),整理自原論文附錄 Table 1。

PaLM 540B 只靠 8 個範例,GSM8K 從 17.9% 升到 56.9%,超過先前的最佳成績 55%;那是 Cobbe 等人在 GSM8K 訓練集上微調 GPT-3 175B,再加一個驗證器挑答案得到的。

最後一欄是一個事後的小修補。有些思維鏈的推理和算式都對,只是算錯數字,作者就用 Python 的 eval 重新計算思維鏈裡的每個算式,再把結果用字串比對代入後面的算式。多數模型因此又多了幾分。

對的答案,對的過程嗎

作者人工檢查了 LaMDA 137B 在 GSM8K 上的思維鏈。答對的 50 題裡,只有 2 題的推理過程是錯的、碰巧得到正確答案,其餘 48 題的推理與計算都正確。

答錯的 50 題裡,46% 只差一點,例如計算錯誤、符號對應錯誤或漏了一步;另外 54% 有語意理解或連貫性的大錯。作者也比較了 PaLM 62B 和 540B 的錯誤,從 62B 放大到 540B,修正了一大部分「漏一步」與「理解錯題意」的錯誤。

消融:效果從哪裡來

原論文 Figure 5:LaMDA 137B 與 PaLM 540B 在 GSM8K 上的消融。五根長條依序為標準提示、只寫算式、只增加計算量(輸出一串點)、答案之後才寫推理、思維鏈提示。LaMDA 上前四者約 5 到 7,思維鏈約 14;PaLM 上前四者約 18 到 22,思維鏈約 57。
原論文 Figure 5(Wei 等人),取自 PDF 第 6 頁,CC BY 4.0。

思維鏈有效,可能有幾種解釋。作者各設計一個變體來檢驗:

  1. 只寫算式。也許關鍵只是讓模型寫出要計算的算式?在 GSM8K 上幾乎沒幫助,LaMDA 從 6.5 變成 5.4。作者認為 GSM8K 的題意太複雜,不經過自然語言的推理步驟,很難直接翻成算式。但在一兩步就能解的資料集上,只寫算式確實有用,例如 SVAMP 從 29.5 升到 35.1。
  2. 只增加計算量。也許關鍵是讓模型多產生一些 token,等於多算幾步?作者讓模型先輸出一串點,點的數量等於算式的字元數。結果和標準提示差不多(6.4)。
  3. 答案之後才寫推理。也許思維鏈只是喚起了預訓練時學到的相關知識?作者把推理過程移到答案之後,讓答案無法依賴推理。結果也和標準提示差不多(6.1)。

三個變體都沒有接近思維鏈的 14.3。作者的結論是,用自然語言依序寫出中間步驟,並且在給出答案之前寫,兩者都是必要的。

範例怎麼寫影響多大

提示方法常被批評對範例很敏感。作者請另外兩位共同作者,獨立替同樣的 8 題寫思維鏈;原作者也照 GSM8K 解答的風格,寫了一份刻意精簡的版本;另外再從 GSM8K 訓練集隨機抽三組 8 題,直接用資料集裡群眾外包工人寫的解題過程。

在 LaMDA 137B 的 GSM8K 上,這些版本的分數在 11.1 到 17.6 之間,彼此確實有差異,但全部明顯高於標準提示的 6.5。思維鏈的效果不依賴特定作者的寫法。作者也補充,範例的順序與數量改變時,結果同樣穩健。

常識與符號推理

常識推理上,模型越大,標準提示和思維鏈都越好,思維鏈的提升在 PaLM 540B 最大。StrategyQA 要先自己想出多步驟的推理策略,PaLM 540B 加思維鏈拿到 75.6%,超過先前的最佳成績 69.4%。運動理解要判斷一句運動相關的敘述是否合理,例如足球員在美式足球比賽裡接到傳球,PaLM 540B 拿到 95.4%,高過一位沒有輔助的運動愛好者的 84%。CSQA 則幾乎沒有提升。

符號推理的兩個任務,人類做起來很簡單。範例只示範兩個字的名字,或兩個人翻硬幣;測試時除了同樣長度的題目,還有更長的題目,例如三到四個字的名字。

LaMDA 137B 用思維鏈後,字母串接從 5.8% 升到 77.5%,硬幣從 49.0% 升到 99.6%。PaLM 540B 在同樣長度的題目上接近 100%。作者也承認,這些題目的解法結構已經完整寫在範例裡,模型只要把同樣的步驟套到新的符號上;即使如此,小模型還是做不到。比範例更長的題目上,標準提示完全失敗,思維鏈則隨模型變大而上升,只是分數低於同樣長度的題目。

作者列出的限制

作者在討論裡寫了四點。第一,思維鏈模仿人的思考過程,但這沒有回答神經網路是否真的在「推理」(這個問題到現在都還沒吵完)。第二,少樣本時手寫幾個範例很便宜,若要拿來微調,標註成本就很高。第三,推理過程不保證正確,錯誤的過程可能得到正確的答案,也可能得到錯誤的答案。第四,只有大模型才有效,部署成本很高。

後續怎麼發展

幾個月內,好幾篇後續研究直接接在這篇上。

東京大學與 Google 的 Kojima 等人在 Large Language Models are Zero-Shot Reasoners 發現連範例都不用寫,只要在答案前面加一句「Let's think step by step」,text-davinci-002 在 GSM8K 上就從 10.4% 升到 40.7%。

同一團隊的 Wang 等人在 Self-Consistency 把貪婪解碼換成多次取樣,每次產生一條不同的思維鏈,再對最終答案投票。GSM8K 又提升了 17.9 個百分點。本文在說明解碼方式時也提到了這個做法。

第二個好處「看見模型怎麼得到答案」則受到檢驗。NYU 與 Anthropic 的 Turpin 等人在 2023 年的 Language Models Don't Always Say What They Think 把少樣本範例的選項重新排序,讓正確答案永遠是 (A)。模型就會偏向選 (A),而它寫出的思維鏈完全不提這件事,反而替錯誤答案編出合理的理由。在 BIG-Bench Hard 的 13 個任務上,這讓 GPT-3.5 與 Claude 1.0 的準確率最多下降 36%。思維鏈可以讀起來很合理,同時和模型實際依據的線索對不上。

再往後,推理模型乾脆把「先寫推理再給答案」變成訓練目標,用強化學習讓模型自己學會寫很長的推理過程。

結論

在範例答案前面多寫幾行過程,PaLM 540B 在 GSM8K 上就從 17.9% 跳到 56.9%。三個消融把其他解釋一一排除,只有用自然語言、而且寫在答案之前的推理才有用。

拿來用的時候,先看模型夠不夠大,再看題目需不需要好幾步;一步就能解的題,寫了也沒差多少。讀它寫出來的推理時也別太當真,那可能只是一段寫得很像的說明。

當年要手寫八個範例,四個月後只要一句「Let's think step by step」,再過兩三年,模型已經會自己想很久了。