論文ノートライブラリに戻る
arXiv 2022NeurIPS 2022言語モデルと Transformer論文ノート

Zero-shot CoT

ひと言で済む話

原論文

Large Language Models are Zero-Shot Reasoners

論文の著者

Takeshi Kojima · Shixiang Shane Gu · Machel Reid · Yutaka Matsuo · Yusuke Iwasawa

発表先
NeurIPS 2022国際会議
arXiv への初回投稿
arXiv:2205.11916
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{transformerszeroshotcot2022,
  title = {{Large Language Models are Zero-Shot Reasoners}},
  author = {Takeshi Kojima and Shixiang Shane Gu and Machel Reid and Yutaka Matsuo and Yusuke Iwasawa},
  year = {2022},
  eprint = {2205.11916},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2205.11916}
}
このページの内容

GPT-3 の論文タイトルは「Language Models are Few-Shot Learners」だった。それ以来、大規模言語モデルのすごさといえば、まず思い浮かぶのは少数ショット学習だ。プロンプトに例をいくつか入れておけば、モデルは新しいタスクを覚える。

2022 年 1 月の思考の連鎖プロンプトも、この路線にある。例の答えに推論のステップを書いておけば、モデルもそれにならって書き、数学の問題の成績が大きく伸びる。あの論文はゼロショットの成績を報告すらしておらず、例を与えないなら比べるまでもない、と言わんばかりだった。

四か月後、東京大学の Kojima と Google の Shane Gu らは、例を全部取り払ってもよいことに気づいた。答えの前に「Let's think step by step」の一文を加えるだけで、text-davinci-002 は MultiArith で 17.7% から 78.7% に、GSM8K で 10.4% から 40.7% に上がった。

問題の定義

少数ショットの思考の連鎖には面倒が二つある。例はタスクごとに人が手で書かなければならず、推論のステップはうまく書く必要があるし、答えの形式もそろえなければならない。しかも例と問題が合っていないと、効果がはっきり落ちる。その数字は後で見る。

ゼロショットのプロンプトを試した研究もあったが、ほとんどはタスクごとにテンプレートを設計するもので、タスクが変わるたびに考え直す必要があった。

この論文が問うのは、タスクに依存しない一文があれば、例を一つも与えずに、モデルに多段階の推論を書かせられるか、ということだ。

問題を解く

原論文 Figure 1:四種類のプロンプトの入力と出力。問題はどれも「ジャグラーはボールを 16 個投げられる。半分はゴルフボールで、ゴルフボールの半分は青い。青いゴルフボールは何個か?」。(a) 少数ショットのプロンプトでは、例に答えしかなく、モデルは 8 と答えて誤り。(b) 少数ショットの思考の連鎖では、例に推論が書かれていて、モデルもそれにならって 16 / 2 = 8、8 / 2 = 4 と書き、4 と正解する。(c) ゼロショットでは「The answer (arabic numerals) is」だけで、モデルは 8 と答えて誤り。(d) ゼロショットの思考の連鎖では「Let's think step by step.」の一文を加えるだけで、モデルが自分で推論を書き、4 個と正解する。
原論文 Figure 1(Kojima ら)、PDF 2 ページより。arXiv ライセンス、学術引用。

上の段が少数ショット、下の段がゼロショット。左は直接答え、右は先に推論を書く。右下がこの論文の手法で、例は一切要らず、どのタスクにも同じ一文を使う。

二段階のプロンプト

原論文 Figure 2:ゼロショットの思考の連鎖の全体の流れ。一段目のプロンプトは「Q: 問題 A: Let's think step by step.」で、言語モデルが続けて推論を書く。1 分間に 25 発、3 分間で 75 発、5 ラウンドで 375 発。二段目のプロンプトは、問題、一段目の推論、「Therefore, the answer (arabic numerals) is」をつなげたもので、同じ言語モデルに入れて 375 を得る。
原論文 Figure 2(Kojima ら)、PDF 4 ページより。arXiv ライセンス、学術引用。

手法の説明は一文で済むが、実装ではモデルに二回問いかける。

  1. 推論を引き出す:問題を「Q: [問題]. A: Let's think step by step.」にはめ込み、モデルに続きを書かせて推論 zz を得る。全編を通して貪欲デコーディングを使う。
  2. 答えを引き出す:一段目のプロンプトと推論 zz に、答えのトリガー文を一つつなげて、同じモデルに戻す。数値の問題では「Therefore, the answer (arabic numerals) is」、選択問題では「Therefore, among A through E, the answer is」を使う。

二段目が必要なのは、「最後に The answer is X と書く」ことを示す例がないので、モデルが推論を書き終えても、素直に解析できる答えを出すとは限らないからだ。少数ショットのプロンプトではこのステップは要らない。例の答えの形式がすでにそれを教えているからだ。

モデルが答えを書いた後も、もう一度後処理が要る。数値の問題では最初に出てくる数字を、選択問題では最初に出てくる大文字を、はい・いいえで答える問題では最初の yes か no を取る。上の図のボクシングの問題では、モデルは二段目で「375.」と書き、後処理すると 375 になる。このルールはかなり大雑把で、モデルが一度に「B, C, and D」と書けば B しか取れない。文が Among で始まると、最初に拾われる大文字は Among の A だ。とはいえ、どの手法も同じルールを使うので、比較としてはまあ公平だ。

実験設定

  • タスク:四種類、計 12 のデータセット。算術は SingleEq、AddSub、MultiArith、AQUA-RAT、GSM8K、SVAMP で、最初の二つはたいてい一ステップで計算が終わる。常識は CommonsenseQA と StrategyQA。記号推論は、四つの名前の末尾の文字の連結と、四回裏返すコイン。その他の論理推論は、BIG-bench の日付理解と、三つの物体の入れ替えの追跡。
  • モデル:計 17 個で、0.3B から 540B まで。主に InstructGPT(text-ada/babbage/curie/davinci-001 と text-davinci-002)、オリジナルの GPT-3 の四つのサイズ、PaLM 8B/62B/540B を使い、規模の実験では GPT-2、GPT-Neo、GPT-J、T0、OPT も加えた。特に断りがなければ text-davinci-002 だ。
  • 比較対象:ゼロショットのベースラインも、似たような答えのトリガー文を使う。少数ショットと少数ショットの思考の連鎖は Wei らの例を使い、算術問題では同じ 8 個の組だ。

議論

ゼロショットとの比較

データセットゼロショットゼロショットの思考の連鎖
SingleEq74.678.0
AddSub72.269.6
MultiArith17.778.7
GSM8K10.440.7
AQUA-RAT22.433.5
SVAMP58.862.1
CommonsenseQA68.864.6
StrategyQA12.754.8
日付理解49.367.5
物体の入れ替えの追跡31.352.4
末尾の文字の連結0.257.6
コインの裏返し12.891.4

原論文 Table 1 をもとに整理。答えの形式に合わせて設計したトリガー文を使った結果で、単位は %。

多段階の推論が必要な問題では、どれも大きく伸びた。MultiArith は 61 ポイント増え、末尾の文字の連結はほぼ 0 から 57.6% に、コインの裏返しは 12.8% から 91.4% になった。SingleEq と AddSub はもともと多段の計算をあまり必要としないので、ほぼ変わらない。

CommonsenseQA はむしろ後退し、68.8% から 64.6% に下がった。著者らによると、思考の連鎖の論文でも似た現象があり、少数ショットの思考の連鎖は LaMDA 137B では常識問題に効かず、PaLM 540B になってようやく StrategyQA に効いた。

表には、もう一度よく見ておきたい数字が二つある。StrategyQA とコインの裏返しはどちらもはい・いいえで答える問題で、当てずっぽうでも 50% は取れるのに、ゼロショットのベースラインは 12% 前後しかない。元の表には「The answer is」で答えを取り出した結果も載っていて、こちらだと二つのゼロショットのベースラインは 54.3% と 53.8% に戻る。どうやら、ゼロショットのベースラインの低いスコアは、一部は答えが正しく取り出されなかったせいらしい。ゼロショットの思考の連鎖のほうは、二つの取り出し方の差がずっと小さい。

少数ショットとの比較

手法MultiArithGSM8K
ゼロショット17.710.4
少数ショット(例 8 個)33.815.6
ゼロショットの思考の連鎖78.740.7
少数ショットの思考の連鎖(例 2 個)84.841.3
少数ショットの思考の連鎖(例 8 個)93.048.7
例 8 個の思考の連鎖で、答えの前にさらに「Let's think step by step.」を加える92.851.5
微調整した GPT-3 175B-33
微調整した GPT-3 175B + 検証器-55
PaLM 540B:ゼロショット25.512.5
PaLM 540B:ゼロショットの思考の連鎖66.143.0
PaLM 540B:ゼロショットの思考の連鎖 + Self-Consistency89.070.1
PaLM 540B:少数ショットの思考の連鎖-56.9

原論文 Table 2 をもとに整理し、一部の行を抜粋。モデルの記載がないものはすべて text-davinci-002 で、単位は %。

ゼロショットの思考の連鎖は、丁寧に書いた例を使う少数ショットの思考の連鎖にはもちろん及ばない。それでも例を 8 個入れた標準の少数ショットのプロンプトには勝ち、GSM8K では微調整した GPT-3 175B にも勝っている。言い換えると、少数ショットのプロンプトの 8 個の例がもたらす改善は、「まず一歩ずつ考えよう」の一文にはるかに及ばない。

この一文を少数ショットの思考の連鎖の例に加えると、GSM8K はさらに 48.7% から 51.5% に上がる。PaLM 540B に Self-Consistency のサンプリングと投票を加えれば、ゼロショットでも 70.1% に届く。

モデルは十分に大きくなければならない

原論文 Figure 3:モデル規模の実験。(a) オリジナルの GPT-3 の 0.3B から 175B までの MultiArith の正答率。ゼロショット(青)はほぼすべて 5% 以下で、ゼロショットの思考の連鎖(赤)も 175B だけが約 20% に上がる。(b) InstructGPT の S、M、L、XL(text-ada-001、babbage-001、curie-001、text-davinci-002)。ゼロショットの思考の連鎖は XL で約 79% に跳ね上がり、ゼロショットは約 18%。(c) PaLM 8B、62B、540B の GSM8K。ゼロショットの思考の連鎖は 540B で約 43%、ゼロショットは約 12%。
原論文 Figure 3(Kojima ら)、PDF 7 ページより。arXiv ライセンス、学術引用。

推論を書かないときは、モデルを大きくしてもスコアはほとんど動かない。この一文を加えると、スコアはモデルが大きくなるにつれて急に上がる。小さいモデルには効かず、書かれた推論の質も悪い。これは少数ショットの思考の連鎖の結果と一致していて、推論能力はある規模に達してはじめて現れ、この一文はそれを呼び出しているだけだ。

オリジナルの GPT-3 175B の改善は、指示チューニングを経た text-davinci-002 よりずっと小さい。著者らも議論の中で、各社のモデルの訓練データの詳細が公開されていないので、差がどこから来るのかは確かめられないと認めている。

別の一文ではだめか

種類トリガー文MultiArith
推論を促すLet's think step by step.78.7
推論を促すFirst,77.3
推論を促すLet's think about this logically.74.5
推論を促すLet's solve this problem by splitting it into steps.72.2
推論を促すLet's think like a detective step by step.70.3
推論を促すLet's think57.5
推論を促すThe answer is after the proof.45.7
ミスリードDon't think. Just feel.18.8
ミスリードLet's think step by step but reach an incorrect answer.18.7
ミスリードBy using the fact that the earth is round,9.3
無関係By the way, I found a good restaurant nearby.17.5
無関係Abrakadabra!15.5
なし(ゼロショット)17.7

原論文 Table 4 をもとに整理し、16 種類のトリガー文のうち 12 種類を抜粋。text-davinci-002、単位は %。

推論を促す文ならどれも効果があるが、差は小さくない。「Let's think」は「step by step」が欠けるだけで 78.7% から 57.5% に落ちる。ミスリードする文や無関係な文はどれもゼロショットの水準のあたりで、「By using the fact that the earth is round」に至っては 9.3% まで引き下げた。著者らは、トリガー文によってモデルが推論を書くやり方が大きく変わることも観察している。より良いトリガー文をどうやって自動で見つけるかは、著者らが未解決の問題として残した。

例と問題が合わない

手法AQUA-RATMultiArith
ゼロショット22.417.7
少数ショットの思考の連鎖、例は CommonsenseQA から31.927.0
ゼロショットの思考の連鎖33.578.7
少数ショットの思考の連鎖、例は同じタスクから39.088.2

原論文 Table 5 をもとに整理。単位は %。

常識問題の例を使って数学の問題を解かせてみる。AQUA-RAT と CommonsenseQA はどちらも選択問題で形式が同じなので、例にもいくらか効果がある。MultiArith は数値で答える必要があり、形式が違うので、例はほとんど役に立たない。これは Min らの観察と一致していて、モデルが例から学ぶのは、タスクそのものより、主に答えの形式だ。どちらの場合も、ゼロショットの思考の連鎖に負けている。

どこで間違えるか

原論文 Table 3:CommonsenseQA でのゼロショットの思考の連鎖の二つの例。例一は、使い古したおもちゃの車がありそうなのはどこかを問う。モデルは、おもちゃの車は子ども部屋にあり、子ども部屋は家の中にあると推論して (E) house と答える。正解は (A) child's room で、推論自体は筋が通っている。例二は、健康になるには何が必要かを問う。モデルは規則正しい運動、健康的な食事、十分な睡眠の三つを挙げ、最後に B、C、D の三つの選択肢を答える。正解は (B) exercise。
原論文 Table 3(Kojima ら)、PDF 7 ページより。arXiv ライセンス、学術引用。

著者らは text-davinci-002 の出力を人手で確認した。

  • 常識問題:推論はたいてい筋が通っていて、答えが正解と違うだけだ。たとえば例一の「おもちゃの車は家の中にある」は間違っていない。選択肢のどれかに絞りきれないときは、一度にいくつも選ぶこともある。
  • 算術問題:ゼロショットの思考の連鎖は、正しい答えをすでに出しているのにさらに数ステップ書き足し、答えを間違ったものに変えてしまうことがよくある。推論を実際には始めず、問題を言い換えるだけのこともある。少数ショットの思考の連鎖は間違え方が違い、(3 + 2) * 4 のように一度に二つの演算をする式でよく間違える。

限界

著者らは二点を挙げている。

  • 訓練データが不透明:GPT-3 系列の 001 と 002 の違いも、PaLM がどんなデータを使ったかも公開されていない。著者らの主張は、さまざまなモデルで、算術でも算術以外のタスクでも一貫して改善しているので、答えを丸暗記しているというより、一般的な推論能力だろう、というものだ。
  • 偏り:プロンプトが利用するのはモデルがウェブのデータから学んだパターンなので、データの中の偏りもいっしょに引き出される。

また、結果の大部分は text-davinci-002 で貪欲デコーディングだけを使ったもので、主要な結果は PaLM でも再現されている。

その後

「Let's think step by step」はすぐに最もよく使われるゼロショットのプロンプトになり、著者らが残した未解決の問題も、すぐに引き継がれた。

2022 年 11 月、トロント大学の APE は、言語モデル自身に指示の候補を出させ、それを採点した。まず「Let's think step by step」で推論をひとそろい作り、間違えたものを捨て(このステップは STaR を参考にしている)、それから正しい推論を最もよく生み出す書き出しの一文を探して、「Let's work this out in a step by step way to be sure we have the right answer.」を見つけた。text-davinci-002 で、MultiArith は 78.7% から 82.0% に、GSM8K は 40.7% から 43.0% に上がった。

2023 年 9 月、Google DeepMind の OPRO は言語モデルを最適化器として使い、新しい文を出し、スコアを見て、書き直すことを繰り返した。PaLM 2-L に解かせたとき、最も良かった文は「Take a deep breath and work on this problem step-by-step.」で、GSM8K は 80.2%。「Let's think step by step」は 71.8%、APE が見つけた文は 58.8% にとどまった。最良の一文はモデルによって変わり、text-davinci-002 で見つけた最良の文も、PaLM 2-L に移すと後ろのほうに落ちる。

推論モデルの時代になると、話はまた一周した。モデルは答える前に、もともと長い推論を書く。OpenAI の推論モデル向けのプロンプトガイドには、思考の連鎖プロンプトは避けるようにとはっきり書かれている。これらのモデルは内部で推論するので、「think step by step」や「explain your reasoning」と頼むのは余計だ、というのがその理由だ。

結論

答えの前に「Let's think step by step」の一文を加えると、text-davinci-002 の MultiArith は 17.7% から 78.7% に、GSM8K は 10.4% から 40.7% になり、例を 8 個入れた標準の少数ショットのプロンプトにも勝った。この論文の最も重みのある点はここにある。推論能力はもともとモデルの中にあり、少数ショットの例が提供していたもののかなりの部分は、形式にすぎなかった。

ただ、かなりえり好みもする。モデルは十分に大きくなければならず、常識問題には効かない。トリガー文が数語違うだけでスコアが 20 ポイントも変わり、モデルを替えれば最良の一文も変わる。

その後の展開は少し皮肉だ。みんな一年以上かけて、アルゴリズムでこの一文のより良い言い方を探した。そこへ推論モデルが「先に考えてから答える」を重みに直接叩き込み、プロンプトガイドは逆に、もう念を押さないでくれと頼むようになった。