論文ノートライブラリに戻る
arXiv 2025EMNLP 2025モデル適応論文ノート

s1

もうちょっと考えて

原論文

s1: Simple test-time scaling

論文の著者

Niklas Muennighoff · Zitong Yang · Weijia Shi …

著者全 10 名を表示

Niklas Muennighoff · Zitong Yang · Weijia Shi · Xiang Lisa Li · Li Fei-Fei · Hannaneh Hajishirzi · Luke Zettlemoyer · Percy Liang · Emmanuel Candès · Tatsunori Hashimoto

発表先
EMNLP 2025国際会議
arXiv への初回投稿
arXiv:2501.19393
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{modeltunings12025,
  title = {{s1: Simple test-time scaling}},
  author = {Niklas Muennighoff and Zitong Yang and Weijia Shi and Xiang Lisa Li and Li Fei-Fei and Hannaneh Hajishirzi and Luke Zettlemoyer and Percy Liang and Emmanuel Candès and Tatsunori Hashimoto},
  year = {2025},
  eprint = {2501.19393},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2501.19393}
}
このページの内容

2024 年 9 月、OpenAI は o1 を発表し、とてもきれいな曲線を見せた。モデルに長く考えさせるほど、答えが正確になる。しかし OpenAI はやり方を公開せず、大規模な強化学習を使ったとだけ述べた。

その後の数か月、多くのチームが再現を試みた。モンテカルロ木探索を使うところもあれば、複数のエージェントに議論させるところもあった。2025 年 1 月の DeepSeek-R1 は、数百万件のサンプルと何段階もの強化学習を使って、o1 の成績に追いついた。ところが、これだけ多くの再現の中で、あの「長く考えるほど答えが良くなる」曲線を公開の形で再現した例はなかった。

Stanford、ワシントン大学、AI2 などの Muennighoff、Yang らは、ごく率直な問いを立てた。あの曲線と強い推論能力を同時に実現する、最も単純なやり方は何か? 彼らの答えは意外なほど単純だった。1,000 件のデータ、16 枚の H100 で 26 分の微調整、それに「Wait」を一つ。

原論文 Figure 1:s1-32B の三つの推論評価での、平均思考 token 数に対する正解率。MATH500 は約 512 token での約 65% から、約 2,048 token での約 93% まで上がる。AIME24 は約 512 token でのほぼ 0 から、約 8,192 token での約 57% まで上がる。GPQA Diamond は約 1,024 token での約 40% から、約 4,096 token での約 60% まで上がる。三本とも、長く考えるほど正解率が高い。
原論文 Figure 1(Muennighoff ら)、PDF 1 ページより。arXiv ライセンス、学術引用。

問題の定義

推論時に計算を多く使う手法を、著者らは二つに分けた。

  • 逐次:後の計算が前の結果の上に積み上がる。たとえば長い推論を書く。
  • 並列:それぞれ独立に計算し、最後にまとめる。たとえば多数決。

著者らが重点を置いたのは逐次のほうだ。直感的には、後の計算は前の途中結果を利用でき、より深く推し進めることも、繰り返し修正することもできる。

さまざまな手法を比べるには、正解率を見るだけでは足りず、計算量を制御できるか、計算量が増えたときに正解率もついてくるかも見なければならない。著者らは三つの指標を定義した。ある手法について、同じ評価で異なる計算量 a∈Aa \in \mathcal{A} で何回か走らせ、正解率 f(a)f(a) を得る。

Control=1∣A∣∑a∈A1(amin≤a≤amax),Scaling=1(∣A∣2)∑a,b∈A, b>af(b)−f(a)b−a,Performance=max⁡a∈Af(a)\text{Control} = \frac{1}{|\mathcal{A}|}\sum_{a \in \mathcal{A}} \mathbb{1}(a_{min} \le a \le a_{max}), \qquad \text{Scaling} = \frac{1}{\binom{|\mathcal{A}|}{2}}\sum_{a, b \in \mathcal{A},\, b > a} \frac{f(b) - f(a)}{b - a}, \qquad \text{Performance} = \max_{a \in \mathcal{A}} f(a)

制御度は、実際に使った思考 token 数が指定した範囲に収まった割合だ。スケーリングは曲線の平均の傾きで、正でなければ役に立たない。性能は達成できる最高の正解率だ。

問題を解く

s1K:1,000 問を選び出す

原論文 Figure 2:左図は s1K の 1,000 問がカバーする分野を泡の大きさで表したもの。幾何、数論、組合せ論、確率論、微積分、生物、天文、経済、量子論など、全部で 50 分野。右図は推論の微調整に使ったサンプル数に対する MATH500 の正解率。s1 は 1,000 件しか使わず、正解率は約 93% で、左上の「最もサンプル効率が良い」領域にある。Bespoke-Stratos と Sky-T1 は 1.7 万件、r1-distill は 80 万件を使った。QwQ と o1-preview のサンプル数は公開されていない。
原論文 Figure 2(Muennighoff ら)、PDF 3 ページより。arXiv ライセンス、学術引用。

まず 5.9 万問を集める。出どころは 16 あり、最も大きいのは NuminaMATH の数学問題 30,660 問だ。ほかに歴代の AIME(1983 年から 2021 年)、分野横断のオリンピック問題 OlympicArena(4,250 問)、競技数学の OmniMath(4,238 問)、SAT や LSAT などの標準テストからなる AGIEval(2,385 問)がある。著者らは自分たちでも二つ作った。Stanford 統計学科の博士資格試験の確率の問題 182 問と、クオンツトレーディングの面接によく出る難問 23 問だ。

各問について Google の Gemini 2.0 Flash Thinking で推論過程と解答を生成し、「問題、推論、解答」の組を 59,029 組得た。評価の問題(MATH500、GPQA Diamond、AIME24)と 8 語連続で一致するデータはすべて削除し、重複した問題も取り除いた。

続いて三つの原則で絞り込んだ。

  1. 品質:API エラーが出たものを削除して 54,116 問が残った。さらに ASCII アートの図、存在しない画像への参照、問題番号の乱れといった形式に問題のあるものを削除して、51,581 問が残った。そのうち、高品質なデータセットから来ていて、それ以上絞り込む必要のない 384 問は、そのまま最終リストに入れた。
  2. 難易度:Qwen2.5-7B-Instruct と Qwen2.5-32B-Instruct にそれぞれ一回ずつ解かせ、Claude 3.5 Sonnet が正解と照らし合わせて採点する。どちらか一方のモデルでも正解したら簡単すぎるとして削除し、24,496 問が残った。推論過程の長さも難易度の指標として使った。難しい問題ほど長く考える必要があると仮定している。
  3. 多様性:Claude 3.5 Sonnet に、アメリカ数学会の数学主題分類に従って、各問を一つの分野に振り分けさせる。毎回まず分野を一つ無作為に選び、その分野の中から一問を選ぶ。推論が長いものほど選ばれやすい。これを 1,000 問に達するまで繰り返し、最終的に 50 分野をカバーした。

採点モデルは、s1K の推論過程のうち正しいのは 53.6% だけだと判定した。著者らはこうした誤りをわざと残している。欲しいのは推論の過程であって、完全に正しい解答ではないからだ。

予算強制

原論文 Figure 3:予算強制の例。問題は「raspberry に r はいくつあるか?」。推論過程は文字を一つずつ確認していく。一文字目は r で、カウントは 1。七文字目は r で、カウントは 2。八文字目は y で、カウントは 2 のまま。「raspberry の r は 2 個」。モデルはここで考えるのを終えようとするが、終了記号が取り除かれ、代わりに赤い「Wait」がつながれる。モデルは続けて「問題をもう一度注意深く読み直そう」と書き、三つ目の r を一つずつ数え直して、カウントは 3 になる。最後の回答には「最初の答え 2 は間違いだった。急いで読みすぎたからだ。最終的な答えは 3」とある。
原論文 Figure 3(Muennighoff ら)、PDF 4 ページより。arXiv ライセンス、学術引用。

考える長さを制御する手法は予算強制(budget forcing)と呼ばれ、デコード時に直接介入する。

  • 上限を設ける:思考の token 数が上限を超えたら、そのまま思考終了の記号をつなぎ、必要なら「Final Answer:」も加えて、モデルにその時点で最も良い答えを出させる。
  • 下限を設ける:モデルが考えるのを終えようとしたら、終了記号を飲み込み、代わりに「Wait」をつないで考え続けさせる。

上の図がその一例だ。モデルは一度数えて、raspberry には r が二つしかないと思い込み、終えようとする。「Wait」をつながれると、問題を読み直して三つ目の r を見つけた。

「Wait」の後にモデルが何を書くかは、訓練データから何を学んだかで決まる。s1K の推論過程には「ちょっと待って」「もう一度確認しよう」といった文があふれていて、モデルは「Wait」を見ると、続けて前の推論を確認し始める。

著者らはほかの制御方法もいくつか比べた。

  • プロンプトで token 数を指定する:最大何 token まで考えるかをモデルに伝える。
  • プロンプトでステップ数を指定する:最大何ステップまで考えるかをモデルに伝える。1 ステップは約 100 token。
  • プロンプトで長短を指定する:二種類のプロンプトで、短めに考えるか、長めに考えるかをそれぞれ指示する。
  • 棄却サンプリング:ある回の長さがちょうど予算内に収まるまで、サンプリングを続ける。

訓練

ベースモデルは Qwen2.5-32B-Instruct だ。思考の部分は <|im_start|>think で始め、回答の部分は <|im_start|>answer で始める。s1K で 5 エポック、バッチ 16、合計 315 ステップ、学習率 10−510^{-5} で訓練し、最初の 5% でウォームアップした後、コサイン減衰で 0 まで下げる。損失は推論過程と解答だけで計算し、問題文は含めない。

16 枚の H100 で 26 分、約 7 GPU 時間の訓練だった。

議論

長く考えるほど、答えが良くなる

原論文 Figure 4:(a) AIME24 での逐次スケーリング。左側の点は上限で思考を打ち切ったもの(たとえば 2,048 や 4,096 token)で、正解率は約 13% から 43%。中央の約 50% の点は介入なし。右端の三点は、モデルが止まろうとしたときに「Wait」を 2、4、6 回つないだもので、正解率は約 57% まで上がった後、横ばいになる。(b) GPQA Diamond での比較。濃い青の破線は s1 が予算強制で逐次スケーリングしたもので、出力 token 数が増えるにつれて約 51% から約 60% に上がる。薄い青の破線は Qwen2.5-32B-Instruct が多数決で並列スケーリングしたもので、約 46% から 52% の間にとどまり、総 token 数が百万に達しても追いつけない。
原論文 Figure 4(Muennighoff ら)、PDF 5 ページより。arXiv ライセンス、学術引用。

予算強制で思考を延ばすと、AIME24 は介入なしの 50% から 56.7% に上がる。ただし「Wait」を 6 回目までつなぐと、曲線は平らになる。終了記号を飲み込みすぎると、モデルは推論を続けるのではなく、同じことを繰り返すループに陥る。

右図は二つのスケーリングのしかたを比べている。ベースモデルの Qwen2.5-32B-Instruct は各問 64 回、温度 1 でサンプリングし、2 個から 64 個の答えで多数決を取っても、正解率は s1 の逐次スケーリングの成績にどうしても追いつけない。著者らは、これが最初の直感、つまり逐次スケーリングのほうが並列スケーリングより効果的だということを裏づけていると考えている。

成績

モデル推論微調整のサンプル数AIME24MATH500GPQA
o1-preview非公開44.685.573.3
o1非公開74.494.877.3
Gemini 2.0 Flash Thinking非公開60.0--
Qwen2.5-32B-Instruct-26.784.049.0
DeepSeek-R180 万よりはるかに多い79.897.371.5
R1 蒸留版(32B)80 万72.694.362.1
Bespoke-32B1.7 万63.393.058.1
s1(予算強制なし)1,00050.092.656.6
s1-32B1,00056.793.059.6

原論文 Table 1 をもとに整理。一部の行を抜粋。単位は %。

わずか 1,000 件のデータを追加で訓練しただけで、s1-32B の AIME24 はベースモデルより 30 ポイント高くなった。AIME24 と MATH500 ではどちらも o1-preview を上回っている。要旨の「最大 27% 上回る」というのは、AIME24 での 56.7 対 44.6 の相対的な差だ。ただし GPQA では、まだ o1-preview より十数ポイント低い。

同時期に発表された R1 蒸留版は s1 より強いが、800 倍のデータを使っている。s1 は AIME24 で、その教師である Gemini 2.0 Flash Thinking にも迫っており、蒸留がおおむねうまくいったことを示している。

データの選び方で大きく変わる

データAIME24MATH500GPQA
無作為の 1,000 問(品質だけを見る)36.790.652.0
最も多様な 1,000 問(多様性だけを見る)26.791.254.6
推論が最も長い 1,000 問(難易度だけを見る)33.390.459.6
全 5.9 万問53.392.858.1
s1K50.093.057.6

原論文 Table 2 をもとに整理。この表の成績はどれも思考の上限を約 3 万 token に設定しており、モデルがループにはまって抜け出せなくなるのを防いでいる。単位は %。

一つの原則だけで問題を選ぶと、AIME24 はどれも 13 から 23 ポイント下がった。三つの原則を組み合わせた s1K は、全 5.9 万問で訓練したモデルとほぼ同じだが、後者には 394 GPU 時間かかり、s1K は 7 GPU 時間で済む。

考える長さをどう制御するか

手法制御度スケーリング性能
予算強制100%1556.7
プロンプトで token 数を指定40%−2440.0
プロンプトで token 数を指定 + 予算強制100%1340.0
プロンプトでステップ数を指定60%336.7
プロンプトでステップ数を指定 + 予算強制100%636.7
プロンプトで長短を指定50%2536.7
棄却サンプリング100%−3540.0

原論文 Table 3 をもとに整理。AIME24。

予算強制は三つの指標のどれでも良い結果を出している。制御度は 100%、スケーリングは正で、正解率も最も高い。ほかの手法にはそれぞれ問題がある。

  • token 数を指定する:モデルは自分が何 token 書いたかを正確に数えられない。特別に訓練しても同じで、予算強制を加えなければ制御しきれない。
  • ステップ数を指定する:モデルは抜け道を突くのがうまい。ステップを少なくしろと言えば各ステップを長めに書き、多くしろと言えば各ステップを短めに書くので、総 token 数はほとんど変わらない。
  • 長短を指定する:長めに考えろと言えば、確かにモデルは長く考える。スケーリングはむしろ最も高いが、正解率は高くない。
  • 棄却サンプリング:最も意外な結果だ。長さの制限を緩めるほど、正解率はかえって下がり、スケーリングは −35 になった。著者らが調べたところ、短い生成の多くは、モデルが最初から正しい方向に進んでいたものだった。長い生成は、モデルが道を間違えて、引き返したり自分を疑ったりを繰り返していることが多い。ある長さの答えだけを選ぶことは、異なる難しさの状態を選び出すことに等しい。

後ろにつなぐ言葉についても、著者らはいくつか比べている。

思考を終えるときの扱いAIME24MATH500GPQA
延長しない50.093.057.6
2 回飲み込み、何もつながない50.090.255.1
2 回飲み込み、「Alternatively」をつなぐ50.092.259.6
2 回飲み込み、「Hmm」をつなぐ50.093.059.6
2 回飲み込み、「Wait」をつなぐ53.393.059.6

原論文 Table 4 をもとに整理。単位は %。

終了記号を取り除くだけで何もつながないと、かえって悪くなる。「Wait」が全体として最も良く、AIME24 を向上させたのはこれだけだ。

なぜ 1,000 件で足りるのか

著者らの仮説は、推論の能力はもともとモデルの中にある、というものだ。事前学習には数兆 token が使われ、その中にはもともと大量の推論データが含まれている。1,000 件の微調整はこの能力を呼び出すだけで、それを予算強制で推論時に増幅する。これは LIMA が提唱した「表面的アラインメント仮説」に似ている。LIMA は、1,000 件のデータで、モデルが利用者の好みに沿って答えることを十分に学べると見出した。

限界

  • 頭打ちになる:予算強制である程度まで延ばすと、それ以上は良くならず、やりすぎるとモデルが繰り返しのループに陥る。著者らが挙げた改善の方向には、異なる言葉を順番に使うこと、繰り返しペナルティと組み合わせること、温度を上げることがある。
  • コンテキスト長:どれだけ長く考えても、モデルのコンテキストウィンドウを超えることはできない。AIME24 でモデルに 512 ステップまで考えさせると、30 問中 12 問で出力がコンテキスト長を超え、成績が大きく落ちた。
  • 並列スケーリングで補える:著者らは、プロセス報酬モデルで導く木探索 REBASE に多数決を組み合わせて試した。単純な多数決よりうまくスケールし、この比較では逐次スケーリングにも勝ったが、ステップごとに報酬モデルの計算が一回余分に要る。

もう一つ、s1K の推論過程はすべて Gemini が書いたもので、モデルはおおむね教師のレベルまでしか学べない。この点は、次の s1.1 でいっそうはっきりする。

その後

s1 の発表から 7 日後、著者らは s1.1 を発表した。同じ 1,000 問で、推論過程を DeepSeek-R1 で生成し直し、訓練方法はそのままにした。

モデルMATH500GPQAAIME24AIME25
s1(予算強制なし)92.656.650.026.7
s1(「Wait」を 4 回つなぐ)92.258.656.736.7
s1.1(予算強制なし)94.460.656.750.0
s1.1(「Wait」を 2 回つなぐ)95.463.656.750.0

原論文の付録 Table 5 をもとに整理。一部の行を抜粋。単位は %。

教師を替えただけで、s1.1 は予算強制をまったく使わずに、s1 が予算強制で出した最高の成績に追いついた。2025 年の新しい問題 AIME25 では、26.7% から 50.0% に跳ね上がった。著者らは Claude 3.7 を教師にすることも試したが、結果は R1 より悪かった。面白いことに、s1.1 は「Wait」を加えても、AIME の成績はもう上がらなかった。

同じ表には、新しい競争相手もいくつか載っている。817 件のデータで微調整した LIMO は、AIME24 で 56.3% を取り、s1 と似た結論に達している。OpenAI の o3-mini は、考える強さをそのまま三段階にしていて、low、medium、high の AIME24 はそれぞれ 56.3%、75.8%、83.8% だ。モデルにどれだけ考えさせるかを制御することが、製品の選択肢の一つになった。

結論

s1 は精選した 1,000 問のデータで Qwen2.5-32B-Instruct を 26 分微調整し、さらに予算強制で考える長さを制御して、o1 のあの「長く考えるほど答えが良くなる」曲線を公開の形で再現した。AIME24 は 50% から 56.7% に上がり、競技数学で o1-preview を上回った。

最も示唆に富むのは、あのデータのアブレーション表だ。無作為、最も多様、最も長い、どれか一つの基準だけで 1,000 問を選ぶと、三つを組み合わせたものよりずっと悪い。5.9 万問をすべて訓練に使っても、ほんの少し良くなるだけだ。データが少ないことは問題ではなく、的確に選ぶことが肝心なのだ。

あの「Wait」について言えば、確かに効くが、延ばせる幅には限りがあり、より良い教師に替えるほうがずっと大きな差を生む。s1 に考え続けさせていたのは、あの一語というより、Gemini と後の R1 があの 1,000 問に書き込んだ推論の癖だったと言うべきだろう。