s1: Simple test-time scaling
- 發表版本
- EMNLP 2025會議
- arXiv 首次提交
- arXiv:2501.19393
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{modeltunings12025,
title = {{s1: Simple test-time scaling}},
author = {Niklas Muennighoff and Zitong Yang and Weijia Shi and Xiang Lisa Li and Li Fei-Fei and Hannaneh Hajishirzi and Luke Zettlemoyer and Percy Liang and Emmanuel Candès and Tatsunori Hashimoto},
year = {2025},
eprint = {2501.19393},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2501.19393}
}
2024 年 9 月,OpenAI 發表 o1,展示了一條很漂亮的曲線:讓模型想得越久,答得越準。但 OpenAI 沒有公開做法,只說用了大規模的強化學習。
接下來的幾個月,很多團隊試著重現。有人用蒙地卡羅樹搜尋,有人用多個代理互相討論;2025 年 1 月的 DeepSeek-R1,用了數百萬筆樣本、好幾個階段的強化學習,追上了 o1 的成績。可是,在這麼多重現裡,沒有人公開重現過那條「想得越久、答得越好」的曲線。
Stanford、華盛頓大學、AI2 等單位的 Muennighoff、Yang 等人問了一個很直接的問題:要同時做到那條曲線和強大的推理能力,最簡單的做法是什麼?他們的答案出乎意料地簡單。1,000 筆資料、在 16 張 H100 上微調 26 分鐘,再加上一個「Wait」。

定義問題
推論時多花算力的方法,作者分成兩類:
- 循序:後面的計算建立在前面的結果上,例如寫一段很長的推理。
- 平行:各自獨立計算,最後彙整,例如多數決。
作者把重點放在循序的方法,直覺上後面的計算可以利用前面的中間結果,推得更深,也能反覆修正。
要比較各種方法,光看準確率不夠,還要看能不能控制算力、算力增加時準確率有沒有跟著上升。作者定義了三個指標。對一個方法,在同一個評測上用不同的算力 跑幾次,得到準確率 :
控制度是實際用的思考 token 數,有多少比例落在指定的範圍內;擴展性是曲線的平均斜率,要是正的才有用;表現是能達到的最高準確率。
解決問題
s1K:挑出 1,000 題

先收集 5.9 萬題。來源有 16 個,最大的是 NuminaMATH 的 30,660 題數學題,另外有歷屆 AIME(1983 到 2021 年)、跨學科奧林匹亞題目 OlympicArena(4,250 題)、競賽數學 OmniMath(4,238 題)、SAT 和 LSAT 等標準化考試 AGIEval(2,385 題)。作者還自己做了兩份:Stanford 統計系博士資格考的機率題 182 題,以及量化交易面試常見的難題 23 題。
每一題都用 Google 的 Gemini 2.0 Flash Thinking 產生推理過程和解答,得到 59,029 組「題目、推理、解答」。和評測題目(MATH500、GPQA Diamond、AIME24)有連續 8 個詞相同的資料都刪掉,也去除了重複的題目。
接著用三個原則篩選:
- 品質:刪掉 API 出錯的,剩 54,116 題;再刪掉格式有問題的,例如 ASCII 圖、引用不存在的圖片、題號錯亂,剩 51,581 題。其中來自高品質資料集、不需要再篩的 384 題,直接收進最終名單。
- 難度:讓 Qwen2.5-7B-Instruct 和 Qwen2.5-32B-Instruct 各做一次,由 Claude 3.5 Sonnet 對照標準答案評分。只要有一個模型答對,就當成太簡單刪掉,剩 24,496 題。另外也用推理過程的長度當作難度的指標,假設越難的題目需要想越久。
- 多樣性:請 Claude 3.5 Sonnet 依照美國數學學會的數學主題分類,把每一題分到一個領域。每次先隨機挑一個領域,再從這個領域裡挑一題,推理越長的越容易被挑中,重複到湊滿 1,000 題,最後涵蓋 50 個領域。
評分模型認為 s1K 裡只有 53.6% 的推理過程是正確的。作者刻意保留這些錯誤,他們要的是推理的過程,而不是完全正確的解答。
預算強制

控制思考長度的方法,叫做預算強制(budget forcing),在解碼時直接介入:
- 設上限:思考的 token 數超過上限,就直接接上結束思考的符號,必要時再加上「Final Answer:」,逼模型交出目前最好的答案。
- 設下限:模型想結束思考時,把結束符號吞掉,改接上「Wait」,讓它繼續想。
上圖就是一個例子。模型數了一次,以為 raspberry 只有兩個 r,想結束;被接上「Wait」之後,它重新讀了一次題目,找到第三個 r。
接上「Wait」之後模型會寫什麼,取決於它從訓練資料學到了什麼。s1K 的推理過程裡充滿了「等一下」「再檢查一次」這類句子,模型看到「Wait」,就會接著檢查前面的推理。
作者也比較了幾種別的控制方法:
- 在提示裡指定 token 數:告訴模型最多想多少個 token。
- 在提示裡指定步數:告訴模型最多想幾步,每步大約 100 個 token。
- 在提示裡指定長短:兩種提示,分別叫模型想短一點或想久一點。
- 拒絕取樣:一直取樣,直到某次的長度剛好落在預算內。
訓練
基礎模型是 Qwen2.5-32B-Instruct。思考的部分用 <|im_start|>think 開頭,作答的部分用 <|im_start|>answer 開頭。在 s1K 上訓練 5 個 epoch,batch 16,總共 315 步,學習率 ,前 5% 暖身後用餘弦衰減到 0;損失只算推理過程和解答,不算題目。
在 16 張 H100 上訓練了 26 分鐘,大約 7 個 GPU 小時。
討論
想得越久,答得越好

用預算強制拉長思考,AIME24 從不干預時的 50% 升到 56.7%。但接上「Wait」到第 6 次之後,曲線就平了;太常吞掉結束符號,模型會陷入重複的迴圈,而不是繼續推理。
右圖比較了兩種擴展方式。基礎模型 Qwen2.5-32B-Instruct 每題取樣 64 次、溫度 1,用 2 到 64 個答案做多數決,準確率怎麼也追不上 s1 用循序擴展的成績。作者認為這驗證了一開始的直覺,循序擴展比平行擴展有效。
成績
| 模型 | 推理微調樣本數 | AIME24 | MATH500 | GPQA |
|---|---|---|---|---|
| o1-preview | 未公開 | 44.6 | 85.5 | 73.3 |
| o1 | 未公開 | 74.4 | 94.8 | 77.3 |
| Gemini 2.0 Flash Thinking | 未公開 | 60.0 | - | - |
| Qwen2.5-32B-Instruct | - | 26.7 | 84.0 | 49.0 |
| DeepSeek-R1 | 遠多於 80 萬 | 79.8 | 97.3 | 71.5 |
| R1 蒸餾版(32B) | 80 萬 | 72.6 | 94.3 | 62.1 |
| Bespoke-32B | 1.7 萬 | 63.3 | 93.0 | 58.1 |
| s1(不用預算強制) | 1,000 | 50.0 | 92.6 | 56.6 |
| s1-32B | 1,000 | 56.7 | 93.0 | 59.6 |
整理自原論文 Table 1,節錄部分列;單位為 %。
只多訓練了 1,000 筆資料,s1-32B 比基礎模型的 AIME24 高了 30 個百分點。在 AIME24 和 MATH500 上,它都超過了 o1-preview,摘要說的「最多高出 27%」,是 AIME24 上 56.7 對 44.6 的相對差距;不過在 GPQA 上,它還是比 o1-preview 低了十幾個百分點。
同時期發表的 R1 蒸餾版比 s1 強,但用了 800 倍的資料。s1 在 AIME24 上也接近它的老師 Gemini 2.0 Flash Thinking,表示蒸餾大致成功。
資料怎麼挑,差很多
| 資料 | AIME24 | MATH500 | GPQA |
|---|---|---|---|
| 隨機 1,000 題(只看品質) | 36.7 | 90.6 | 52.0 |
| 最多樣的 1,000 題(只看多樣性) | 26.7 | 91.2 | 54.6 |
| 推理最長的 1,000 題(只看難度) | 33.3 | 90.4 | 59.6 |
| 全部 5.9 萬題 | 53.3 | 92.8 | 58.1 |
| s1K | 50.0 | 93.0 | 57.6 |
整理自原論文 Table 2;這張表的成績都把思考上限設在約 3 萬個 token,避免模型卡在迴圈裡出不來。單位為 %。
只用一種原則挑題,AIME24 都掉了 13 到 23 個百分點。三個原則一起用的 s1K,和用全部 5.9 萬題訓練的模型差不多,而後者要花 394 個 GPU 小時,s1K 只要 7 個。
怎麼控制思考長度
| 方法 | 控制度 | 擴展性 | 表現 |
|---|---|---|---|
| 預算強制 | 100% | 15 | 56.7 |
| 提示裡指定 token 數 | 40% | −24 | 40.0 |
| 提示裡指定 token 數 + 預算強制 | 100% | 13 | 40.0 |
| 提示裡指定步數 | 60% | 3 | 36.7 |
| 提示裡指定步數 + 預算強制 | 100% | 6 | 36.7 |
| 提示裡指定長短 | 50% | 25 | 36.7 |
| 拒絕取樣 | 100% | −35 | 40.0 |
整理自原論文 Table 3;AIME24。
預算強制在三個指標上都表現不錯,控制度 100%,擴展性是正的,準確率最高。其他方法各有問題:
- 指定 token 數:模型數不準自己寫了多少個 token,就算特別訓練過也一樣,不加預算強制就控制不住。
- 指定步數:模型很會鑽漏洞。要它少寫幾步,它就每步寫長一點;要它多寫幾步,它就每步寫短一點,總 token 數差不多。
- 指定長短:叫模型想久一點,確實能讓它多想,擴展性甚至最好,只是準確率不高。
- 拒絕取樣:最出人意料。限制的長度越寬,準確率反而越低,擴展性是 −35。作者檢查後發現,短的生成多半是模型一開始就走對了方向;長的生成往往是模型走錯了、一直在回頭和懷疑自己。只挑某個長度的答案,等於挑到了不同難度的狀態。
至於接在後面的字,作者比較了幾種:
| 結束思考時的處理 | AIME24 | MATH500 | GPQA |
|---|---|---|---|
| 不延長 | 50.0 | 93.0 | 57.6 |
| 吞掉 2 次,什麼都不接 | 50.0 | 90.2 | 55.1 |
| 吞掉 2 次,接「Alternatively」 | 50.0 | 92.2 | 59.6 |
| 吞掉 2 次,接「Hmm」 | 50.0 | 93.0 | 59.6 |
| 吞掉 2 次,接「Wait」 | 53.3 | 93.0 | 59.6 |
整理自原論文 Table 4;單位為 %。
只把結束符號拿掉、什麼都不接,反而更差。「Wait」整體最好,是唯一讓 AIME24 進步的。
為什麼 1,000 筆就夠
作者的假設是,推理的能力早就在模型裡了。預訓練用了數兆個 token,其中本來就有大量的推理資料;1,000 筆的微調只是把這個能力叫出來,再用預算強制在推論時放大。這和 LIMA 提出的「表面對齊假說」類似:LIMA 發現 1,000 筆資料就足以讓模型學會依照使用者的偏好回答。
限制
- 會趨平:預算強制延長到一定程度就不再進步,太多次還會讓模型陷入重複的迴圈。作者提出的改進方向包括輪流使用不同的字、搭配重複懲罰或提高溫度。
- 上下文長度:思考再長,也不能超過模型的上下文視窗。在 AIME24 上要求模型想到 512 步時,30 題裡有 12 題的輸出超過上下文長度,成績因此大跌。
- 平行擴展可以補上:作者試了用過程獎勵模型引導的樹搜尋 REBASE,再加上多數決,擴展得比單純多數決更好,在這組比較裡也勝過循序擴展,不過每一步都要多算一次獎勵模型。
另外,s1K 的推理過程都是 Gemini 寫的,模型大致只能學到老師的程度,這一點在下面的 s1.1 看得更清楚。
後來的事
s1 發表 7 天後,作者發表了 s1.1。同樣的 1,000 題,改用 DeepSeek-R1 重新產生推理過程,訓練方法不變:
| 模型 | MATH500 | GPQA | AIME24 | AIME25 |
|---|---|---|---|---|
| s1(不用預算強制) | 92.6 | 56.6 | 50.0 | 26.7 |
| s1(接 4 次「Wait」) | 92.2 | 58.6 | 56.7 | 36.7 |
| s1.1(不用預算強制) | 94.4 | 60.6 | 56.7 | 50.0 |
| s1.1(接 2 次「Wait」) | 95.4 | 63.6 | 56.7 | 50.0 |
整理自原論文附錄 Table 5,節錄部分列;單位為 %。
只換了老師,s1.1 不用任何預算強制,就追上了 s1 用預算強制的最好成績;在 2025 年的新題目 AIME25 上,從 26.7% 跳到 50.0%。作者也試過用 Claude 3.7 當老師,結果比 R1 差。有趣的是,s1.1 加上「Wait」之後,AIME 的成績就不再進步了。
同一張表也列了幾個新的對手。用 817 筆資料微調的 LIMO,AIME24 是 56.3%,得到了和 s1 類似的結論。OpenAI 的 o3-mini 則直接把思考的力道做成三個檔位,low、medium、high 的 AIME24 分別是 56.3%、75.8%、83.8%,控制模型想多久,成了產品上的一個選項。
結論
s1 用 1,000 題精挑細選的資料,在 Qwen2.5-32B-Instruct 上微調 26 分鐘,再用預算強制控制思考長度,公開重現了 o1 那條「想得越久、答得越好」的曲線。AIME24 從 50% 拉到 56.7%,在競賽數學上超過了 o1-preview。
最有啟發性的是那張資料的消融表。隨機、最多樣、最長,單用任何一個標準挑 1,000 題,都比三個一起用差得多;5.9 萬題全部拿來訓練,也只多一點點。資料少不是問題,挑得準才是重點。
至於那個「Wait」,它確實有用,但能延長的有限,換一個更好的老師就有更大的差別。真正讓 s1 能想下去的,與其說是那個字,不如說是 Gemini 和後來的 R1 寫在那 1,000 題裡的推理習慣。