返回論文筆記資料庫
arXiv 2025EMNLP 2025模型調適論文筆記

s1

再想一下

原始論文

s1: Simple test-time scaling

論文作者

Niklas Muennighoff · Zitong Yang · Weijia Shi …

查看全部 10 位作者

Niklas Muennighoff · Zitong Yang · Weijia Shi · Xiang Lisa Li · Li Fei-Fei · Hannaneh Hajishirzi · Luke Zettlemoyer · Percy Liang · Emmanuel Candès · Tatsunori Hashimoto

發表版本
EMNLP 2025會議
arXiv 首次提交
arXiv:2501.19393
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{modeltunings12025,
  title = {{s1: Simple test-time scaling}},
  author = {Niklas Muennighoff and Zitong Yang and Weijia Shi and Xiang Lisa Li and Li Fei-Fei and Hannaneh Hajishirzi and Luke Zettlemoyer and Percy Liang and Emmanuel Candès and Tatsunori Hashimoto},
  year = {2025},
  eprint = {2501.19393},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2501.19393}
}
本頁內容

2024 年 9 月,OpenAI 發表 o1,展示了一條很漂亮的曲線:讓模型想得越久,答得越準。但 OpenAI 沒有公開做法,只說用了大規模的強化學習。

接下來的幾個月,很多團隊試著重現。有人用蒙地卡羅樹搜尋,有人用多個代理互相討論;2025 年 1 月的 DeepSeek-R1,用了數百萬筆樣本、好幾個階段的強化學習,追上了 o1 的成績。可是,在這麼多重現裡,沒有人公開重現過那條「想得越久、答得越好」的曲線。

Stanford、華盛頓大學、AI2 等單位的 Muennighoff、Yang 等人問了一個很直接的問題:要同時做到那條曲線和強大的推理能力,最簡單的做法是什麼?他們的答案出乎意料地簡單。1,000 筆資料、在 16 張 H100 上微調 26 分鐘,再加上一個「Wait」。

原論文 Figure 1:s1-32B 在三個推理評測上,準確率對平均思考 token 數。MATH500 從約 512 個 token 時的約 65%,升到約 2,048 個 token 時的約 93%;AIME24 從約 512 個 token 時接近 0,升到約 8,192 個 token 時的約 57%;GPQA Diamond 從約 1,024 個 token 時的約 40%,升到約 4,096 個 token 時的約 60%。三條都是思考越久、準確率越高。
原論文 Figure 1(Muennighoff 等人),取自 PDF 第 1 頁,arXiv 授權,學術引用。

定義問題

推論時多花算力的方法,作者分成兩類:

  • 循序:後面的計算建立在前面的結果上,例如寫一段很長的推理。
  • 平行:各自獨立計算,最後彙整,例如多數決。

作者把重點放在循序的方法,直覺上後面的計算可以利用前面的中間結果,推得更深,也能反覆修正。

要比較各種方法,光看準確率不夠,還要看能不能控制算力、算力增加時準確率有沒有跟著上升。作者定義了三個指標。對一個方法,在同一個評測上用不同的算力 a∈Aa \in \mathcal{A} 跑幾次,得到準確率 f(a)f(a):

Control=1∣A∣∑a∈A1(amin≤a≤amax),Scaling=1(∣A∣2)∑a,b∈A, b>af(b)−f(a)b−a,Performance=max⁡a∈Af(a)\text{Control} = \frac{1}{|\mathcal{A}|}\sum_{a \in \mathcal{A}} \mathbb{1}(a_{min} \le a \le a_{max}), \qquad \text{Scaling} = \frac{1}{\binom{|\mathcal{A}|}{2}}\sum_{a, b \in \mathcal{A},\, b > a} \frac{f(b) - f(a)}{b - a}, \qquad \text{Performance} = \max_{a \in \mathcal{A}} f(a)

控制度是實際用的思考 token 數,有多少比例落在指定的範圍內;擴展性是曲線的平均斜率,要是正的才有用;表現是能達到的最高準確率。

解決問題

s1K:挑出 1,000 題

原論文 Figure 2:左圖是 s1K 的 1,000 題涵蓋的領域,以泡泡大小表示,包括幾何、數論、組合數學、機率論、微積分、生物、天文、經濟、量子理論等,共 50 個領域。右圖是 MATH500 準確率對推理微調用的樣本數:s1 只用 1,000 筆,準確率約 93%,位在左上角「最省樣本」的區域;Bespoke-Stratos 和 Sky-T1 用了 1.7 萬筆,r1-distill 用了 80 萬筆;QwQ 和 o1-preview 的樣本數未公開。
原論文 Figure 2(Muennighoff 等人),取自 PDF 第 3 頁,arXiv 授權,學術引用。

先收集 5.9 萬題。來源有 16 個,最大的是 NuminaMATH 的 30,660 題數學題,另外有歷屆 AIME(1983 到 2021 年)、跨學科奧林匹亞題目 OlympicArena(4,250 題)、競賽數學 OmniMath(4,238 題)、SAT 和 LSAT 等標準化考試 AGIEval(2,385 題)。作者還自己做了兩份:Stanford 統計系博士資格考的機率題 182 題,以及量化交易面試常見的難題 23 題。

每一題都用 Google 的 Gemini 2.0 Flash Thinking 產生推理過程和解答,得到 59,029 組「題目、推理、解答」。和評測題目(MATH500、GPQA Diamond、AIME24)有連續 8 個詞相同的資料都刪掉,也去除了重複的題目。

接著用三個原則篩選:

  1. 品質:刪掉 API 出錯的,剩 54,116 題;再刪掉格式有問題的,例如 ASCII 圖、引用不存在的圖片、題號錯亂,剩 51,581 題。其中來自高品質資料集、不需要再篩的 384 題,直接收進最終名單。
  2. 難度:讓 Qwen2.5-7B-Instruct 和 Qwen2.5-32B-Instruct 各做一次,由 Claude 3.5 Sonnet 對照標準答案評分。只要有一個模型答對,就當成太簡單刪掉,剩 24,496 題。另外也用推理過程的長度當作難度的指標,假設越難的題目需要想越久。
  3. 多樣性:請 Claude 3.5 Sonnet 依照美國數學學會的數學主題分類,把每一題分到一個領域。每次先隨機挑一個領域,再從這個領域裡挑一題,推理越長的越容易被挑中,重複到湊滿 1,000 題,最後涵蓋 50 個領域。

評分模型認為 s1K 裡只有 53.6% 的推理過程是正確的。作者刻意保留這些錯誤,他們要的是推理的過程,而不是完全正確的解答。

預算強制

原論文 Figure 3:預算強制的例子。問題是「raspberry 有幾個 r?」。推理過程逐一檢查字母:第一個字母 r,計數 1;第七個字母 r,計數 2;第八個字母 y,計數仍是 2;「raspberry 裡的 r 有 2 個」。模型想在這裡結束思考,但結束符號被拿掉,改接上紅色的「Wait」;模型接著寫「讓我們重新仔細讀一次題目」,重新逐一數出第三個 r,計數 3。最後的回答寫著「我一開始的答案 2 是錯的,因為讀得太快。最終答案是 3。」
原論文 Figure 3(Muennighoff 等人),取自 PDF 第 4 頁,arXiv 授權,學術引用。

控制思考長度的方法,叫做預算強制(budget forcing),在解碼時直接介入:

  • 設上限:思考的 token 數超過上限,就直接接上結束思考的符號,必要時再加上「Final Answer:」,逼模型交出目前最好的答案。
  • 設下限:模型想結束思考時,把結束符號吞掉,改接上「Wait」,讓它繼續想。

上圖就是一個例子。模型數了一次,以為 raspberry 只有兩個 r,想結束;被接上「Wait」之後,它重新讀了一次題目,找到第三個 r。

接上「Wait」之後模型會寫什麼,取決於它從訓練資料學到了什麼。s1K 的推理過程裡充滿了「等一下」「再檢查一次」這類句子,模型看到「Wait」,就會接著檢查前面的推理。

作者也比較了幾種別的控制方法:

  • 在提示裡指定 token 數:告訴模型最多想多少個 token。
  • 在提示裡指定步數:告訴模型最多想幾步,每步大約 100 個 token。
  • 在提示裡指定長短:兩種提示,分別叫模型想短一點或想久一點。
  • 拒絕取樣:一直取樣,直到某次的長度剛好落在預算內。

訓練

基礎模型是 Qwen2.5-32B-Instruct。思考的部分用 <|im_start|>think 開頭,作答的部分用 <|im_start|>answer 開頭。在 s1K 上訓練 5 個 epoch,batch 16,總共 315 步,學習率 10−510^{-5},前 5% 暖身後用餘弦衰減到 0;損失只算推理過程和解答,不算題目。

在 16 張 H100 上訓練了 26 分鐘,大約 7 個 GPU 小時。

討論

想得越久,答得越好

原論文 Figure 4:(a) AIME24 上的循序擴展。左邊的點是用上限截斷思考(例如 2,048 或 4,096 個 token),準確率約 13% 到 43%;中間約 50% 的點是不干預;最右邊三個點是在模型想停時,接上「Wait」2、4、6 次,準確率升到約 57% 後趨平。(b) GPQA Diamond 上的比較。深藍色虛線是 s1 用預算強制做循序擴展,輸出 token 數增加時從約 51% 升到約 60%;淺藍色虛線是 Qwen2.5-32B-Instruct 用多數決做平行擴展,在約 46% 到 52% 之間,總 token 數到了一百萬也追不上。
原論文 Figure 4(Muennighoff 等人),取自 PDF 第 5 頁,arXiv 授權,學術引用。

用預算強制拉長思考,AIME24 從不干預時的 50% 升到 56.7%。但接上「Wait」到第 6 次之後,曲線就平了;太常吞掉結束符號,模型會陷入重複的迴圈,而不是繼續推理。

右圖比較了兩種擴展方式。基礎模型 Qwen2.5-32B-Instruct 每題取樣 64 次、溫度 1,用 2 到 64 個答案做多數決,準確率怎麼也追不上 s1 用循序擴展的成績。作者認為這驗證了一開始的直覺,循序擴展比平行擴展有效。

成績

模型推理微調樣本數AIME24MATH500GPQA
o1-preview未公開44.685.573.3
o1未公開74.494.877.3
Gemini 2.0 Flash Thinking未公開60.0--
Qwen2.5-32B-Instruct-26.784.049.0
DeepSeek-R1遠多於 80 萬79.897.371.5
R1 蒸餾版(32B)80 萬72.694.362.1
Bespoke-32B1.7 萬63.393.058.1
s1(不用預算強制)1,00050.092.656.6
s1-32B1,00056.793.059.6

整理自原論文 Table 1,節錄部分列;單位為 %。

只多訓練了 1,000 筆資料,s1-32B 比基礎模型的 AIME24 高了 30 個百分點。在 AIME24 和 MATH500 上,它都超過了 o1-preview,摘要說的「最多高出 27%」,是 AIME24 上 56.7 對 44.6 的相對差距;不過在 GPQA 上,它還是比 o1-preview 低了十幾個百分點。

同時期發表的 R1 蒸餾版比 s1 強,但用了 800 倍的資料。s1 在 AIME24 上也接近它的老師 Gemini 2.0 Flash Thinking,表示蒸餾大致成功。

資料怎麼挑,差很多

資料AIME24MATH500GPQA
隨機 1,000 題(只看品質)36.790.652.0
最多樣的 1,000 題(只看多樣性)26.791.254.6
推理最長的 1,000 題(只看難度)33.390.459.6
全部 5.9 萬題53.392.858.1
s1K50.093.057.6

整理自原論文 Table 2;這張表的成績都把思考上限設在約 3 萬個 token,避免模型卡在迴圈裡出不來。單位為 %。

只用一種原則挑題,AIME24 都掉了 13 到 23 個百分點。三個原則一起用的 s1K,和用全部 5.9 萬題訓練的模型差不多,而後者要花 394 個 GPU 小時,s1K 只要 7 個。

怎麼控制思考長度

方法控制度擴展性表現
預算強制100%1556.7
提示裡指定 token 數40%−2440.0
提示裡指定 token 數 + 預算強制100%1340.0
提示裡指定步數60%336.7
提示裡指定步數 + 預算強制100%636.7
提示裡指定長短50%2536.7
拒絕取樣100%−3540.0

整理自原論文 Table 3;AIME24。

預算強制在三個指標上都表現不錯,控制度 100%,擴展性是正的,準確率最高。其他方法各有問題:

  • 指定 token 數:模型數不準自己寫了多少個 token,就算特別訓練過也一樣,不加預算強制就控制不住。
  • 指定步數:模型很會鑽漏洞。要它少寫幾步,它就每步寫長一點;要它多寫幾步,它就每步寫短一點,總 token 數差不多。
  • 指定長短:叫模型想久一點,確實能讓它多想,擴展性甚至最好,只是準確率不高。
  • 拒絕取樣:最出人意料。限制的長度越寬,準確率反而越低,擴展性是 −35。作者檢查後發現,短的生成多半是模型一開始就走對了方向;長的生成往往是模型走錯了、一直在回頭和懷疑自己。只挑某個長度的答案,等於挑到了不同難度的狀態。

至於接在後面的字,作者比較了幾種:

結束思考時的處理AIME24MATH500GPQA
不延長50.093.057.6
吞掉 2 次,什麼都不接50.090.255.1
吞掉 2 次,接「Alternatively」50.092.259.6
吞掉 2 次,接「Hmm」50.093.059.6
吞掉 2 次,接「Wait」53.393.059.6

整理自原論文 Table 4;單位為 %。

只把結束符號拿掉、什麼都不接,反而更差。「Wait」整體最好,是唯一讓 AIME24 進步的。

為什麼 1,000 筆就夠

作者的假設是,推理的能力早就在模型裡了。預訓練用了數兆個 token,其中本來就有大量的推理資料;1,000 筆的微調只是把這個能力叫出來,再用預算強制在推論時放大。這和 LIMA 提出的「表面對齊假說」類似:LIMA 發現 1,000 筆資料就足以讓模型學會依照使用者的偏好回答。

限制

  • 會趨平:預算強制延長到一定程度就不再進步,太多次還會讓模型陷入重複的迴圈。作者提出的改進方向包括輪流使用不同的字、搭配重複懲罰或提高溫度。
  • 上下文長度:思考再長,也不能超過模型的上下文視窗。在 AIME24 上要求模型想到 512 步時,30 題裡有 12 題的輸出超過上下文長度,成績因此大跌。
  • 平行擴展可以補上:作者試了用過程獎勵模型引導的樹搜尋 REBASE,再加上多數決,擴展得比單純多數決更好,在這組比較裡也勝過循序擴展,不過每一步都要多算一次獎勵模型。

另外,s1K 的推理過程都是 Gemini 寫的,模型大致只能學到老師的程度,這一點在下面的 s1.1 看得更清楚。

後來的事

s1 發表 7 天後,作者發表了 s1.1。同樣的 1,000 題,改用 DeepSeek-R1 重新產生推理過程,訓練方法不變:

模型MATH500GPQAAIME24AIME25
s1(不用預算強制)92.656.650.026.7
s1(接 4 次「Wait」)92.258.656.736.7
s1.1(不用預算強制)94.460.656.750.0
s1.1(接 2 次「Wait」)95.463.656.750.0

整理自原論文附錄 Table 5,節錄部分列;單位為 %。

只換了老師,s1.1 不用任何預算強制,就追上了 s1 用預算強制的最好成績;在 2025 年的新題目 AIME25 上,從 26.7% 跳到 50.0%。作者也試過用 Claude 3.7 當老師,結果比 R1 差。有趣的是,s1.1 加上「Wait」之後,AIME 的成績就不再進步了。

同一張表也列了幾個新的對手。用 817 筆資料微調的 LIMO,AIME24 是 56.3%,得到了和 s1 類似的結論。OpenAI 的 o3-mini 則直接把思考的力道做成三個檔位,low、medium、high 的 AIME24 分別是 56.3%、75.8%、83.8%,控制模型想多久,成了產品上的一個選項。

結論

s1 用 1,000 題精挑細選的資料,在 Qwen2.5-32B-Instruct 上微調 26 分鐘,再用預算強制控制思考長度,公開重現了 o1 那條「想得越久、答得越好」的曲線。AIME24 從 50% 拉到 56.7%,在競賽數學上超過了 o1-preview。

最有啟發性的是那張資料的消融表。隨機、最多樣、最長,單用任何一個標準挑 1,000 題,都比三個一起用差得多;5.9 萬題全部拿來訓練,也只多一點點。資料少不是問題,挑得準才是重點。

至於那個「Wait」,它確實有用,但能延長的有限,換一個更好的老師就有更大的差別。真正讓 s1 能想下去的,與其說是那個字,不如說是 Gemini 和後來的 R1 寫在那 1,000 題裡的推理習慣。