返回論文筆記資料庫
arXiv 2023ICLR 2024優化器論文筆記

Sophia

點到為止

原始論文

Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training

論文作者

Hong Liu · Zhiyuan Li · David Hall · Percy Liang · Tengyu Ma

發表版本
ICLR 2024會議
arXiv 首次提交
arXiv:2305.14342
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{optimizerssophia2023,
  title = {{Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training}},
  author = {Hong Liu and Zhiyuan Li and David Hall and Percy Liang and Tengyu Ma},
  year = {2023},
  eprint = {2305.14342},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2305.14342}
}
本頁內容

說一個優化器「比 Adam 快兩倍」,到底要怎麼量?

Stanford 的 Hong Liu、Zhiyuan Li、David Hall、Percy Liang 與 Tengyu Ma 在這篇論文裡花了一小節回答這件事。基準方法要用預定的總步數 TT 把學習率和排程調到最好;新方法只跑 T/2T/2 步,最終損失必須小於或等於基準,不能「差不多」。他們還特別提醒,cosine 排程會跟著總步數伸縮,拿 TT 步那次訓練的中途檢查點來比,結論會偏。

在這個標準下,他們宣稱 Sophia 在 GPT-2 上用一半的步數,就達到 AdamW 的驗證損失,每一步的時間與記憶體幾乎不變。

這篇筆記先看 Sophia 怎麼做,再看這個「兩倍」後來被別人量成多少。

定義問題

Adam 只看梯度大小

Adam 的分母是梯度平方移動平均的平方根。梯度方向穩定時,m/vm/\sqrt{v} 大約是 ±1\pm1,每個座標走的步長都接近 η\eta,和那個方向的地形是陡是平沒有關係。

可是語言模型的損失地形,各方向的曲率差很多。作者量了 1.25 億參數 GPT-2 的對角 Hessian,正值元素的大小分佈非常散。

一個二維的例子

作者用一個兩維可分的函數說明,L(θ[1],θ[2])=L1(θ[1])+L2(θ[2])L(\theta_{[1]},\theta_{[2]})=L_1(\theta_{[1]})+L_2(\theta_{[2]}),其中 L1L_1 很陡、L2L_2 很平。

原論文 Figure 2:一個二維損失地形,θ1 方向是又窄又陡的谷,θ2 方向很平緩,最低點標為 θ*。從同一個起點 θ(0) 出發,GD(深紅)沿 θ2 前進很慢;SignGD(橘)與 Adam(紅)在陡的方向來回彈跳;Newton(藍)跑到另一側收斂到鞍點;Sophia(黑)先像 SignGD 一樣往下走,進入凸的谷後幾步就到最低點。
原論文 Figure 2(Liu 等人),取自 PDF 第 3 頁,CC BY 4.0。

圖上的每條線都從左上的 θ(0)\theta^{(0)} 出發,目標是右下的 θ∗\theta^*。

GD 的學習率受限於最陡的方向,最大只能取到陡方向曲率的倒數左右,否則就發散;這個學習率對平坦方向太小,所以深紅線沿 θ[2]\theta_{[2]} 走得很慢。

Adam 的簡化版是 SignGD,兩個方向每步都走 η\eta。在平坦方向,同樣的步長只能降一點點損失;在陡的方向,三步就到谷底,接著開始來回彈。想讓它停下來,η\eta 得衰減到 0,平坦方向又更慢了。圖上紅色的 Adam 和橘色的 SignGD 幾乎重疊,都在谷裡鋸齒前進。

照凸最佳化的教科書,最理想的預條件是 Hessian。在這個可分的例子裡,Newton 法就是每個方向的梯度除以該方向的曲率,陡的方向步子自動縮小,平的方向自動放大。問題是 L1L_1 有一段曲率是負的,Newton 法在那裡會往極大值或鞍點走,藍線就收斂到一個鞍點。真實模型的曲率還會沿著訓練軌跡快速變化,二階資訊不一定可靠。

二階方法太貴

既有的二階方法還有成本問題。K-FAC 這類區塊對角近似對大型語言模型太貴;AdaHessian 也用對角 Hessian 當預條件,但幾乎每一步都估計,每步成本超過兩次梯度計算。作者猜測,它們之所以必須頻繁估計,是因為缺少一個能擋住錯誤估計的保護機制。

所以這篇要找的預條件得同時做到三件事,像 Newton 那樣按曲率縮放,在負曲率與估錯時不出事,平均每步只多一點點計算。

解決問題

更新式

Sophia 的全名是 Second-order Clipped Stochastic Optimization。Algorithm 3 寫成:

mt=β1mt−1+(1−β1) gtht={β2 ht−k+(1−β2) h^tt mod k=1ht−1otherwiseθt+1=θt−ηt λ θt−ηt⋅clip(mtmax⁡{γ ht, ϵ}, 1)\begin{aligned} m_t &= \beta_1 m_{t-1} + (1-\beta_1)\,g_t \\ h_t &= \begin{cases}\beta_2\,h_{t-k} + (1-\beta_2)\,\hat h_t & t \bmod k = 1\\ h_{t-1} & \text{otherwise}\end{cases} \\ \theta_{t+1} &= \theta_t - \eta_t\,\lambda\,\theta_t - \eta_t\cdot\mathrm{clip}\Big(\frac{m_t}{\max\{\gamma\,h_t,\ \epsilon\}},\ 1\Big) \end{aligned}

分子是梯度的移動平均,和 Adam 一樣。分母換成對角 Hessian 的估計 h^t\hat h_t,每 kk 步才估一次,也做移動平均去噪。λ\lambda 是 decoupled weight decay。所有運算都逐座標進行,clip(z,1)\mathrm{clip}(z,1) 把每個元素截在 [−1,1][-1,1]。

括號裡的 m/(γh)m/(\gamma h) 是一個打了折的 Newton 步。作者把式子改寫成

η⋅clip(mmax⁡{γh,ϵ},1)=ηγ⋅clip(mmax⁡{h,ϵ/γ}, γ)\eta\cdot\mathrm{clip}\Big(\frac{m}{\max\{\gamma h,\epsilon\}},1\Big) = \frac{\eta}{\gamma}\cdot\mathrm{clip}\Big(\frac{m}{\max\{h,\epsilon/\gamma\}},\ \gamma\Big)

右邊比較好讀。先算 Newton 步 m/hm/h,把每個座標截在 ±γ\pm\gamma,再乘上 η/γ\eta/\gamma。所以 γ\gamma 只決定「多少比例的座標會被截」,被截到的座標,最後的步長都是 η\eta。

走一遍裁剪

拿 Sophia-H 的預設 γ=0.01\gamma=0.01,假設某幾個座標的動量都是 m=0.002m=0.002,只有曲率估計 hh 不同:

曲率 hhm/max⁡{γh,ϵ}m/\max\{\gamma h,\epsilon\}實際步長
200.010.01 η0.01\,\eta
10.20.2 η0.2\,\eta
0.21η\eta
0.0210η\eta(被截)
−32×1092\times10^{9}η\eta(被截)

本文整理,依原論文 Eq. (6) 計算。

曲率大的座標,步長自動縮成 Newton 式的小步;曲率小的座標本來會得到很大的 Newton 步,被截在 η\eta。最後一列是 Hutchinson 估計器常見的負值,max⁡{γh,ϵ}\max\{\gamma h,\epsilon\} 取到 ϵ=10−12\epsilon=10^{-12},比值爆大,被截成 η⋅sign(m)\eta\cdot\mathrm{sign}(m),也就是帶動量的 SignSGD。曲率估得太小時同理。

作者把這種行為描述成「把帶動量的 SignSGD 當備援」。不管 Hessian 估得多離譜,每個座標每步最多移動 η\eta,這是整個方法敢「每 10 步才估一次 Hessian」的前提。

那 γ\gamma 怎麼選?作者的建議是在小模型上調,讓「沒有被截」的座標比例落在 10% 到 50%,太多或太少就把 γ\gamma 乘 0.5 或 2 重來;同架構、同資料的不同大小模型可以共用。實際訓練時,被截的座標比例會爬到 60% 左右,也就是大多數座標其實走的是 sign 步。論文最後用 γ=0.01\gamma=0.01(Sophia-H)與 0.050.05(Sophia-G)。

兩種對角 Hessian 估計

Hutchinson 估計器(Sophia-H)。抽一個標準常態向量 u∼N(0,I)u\sim\mathcal N(0,I),計算

h^=u⊙(∇2L u)\hat h = u\odot(\nabla^2 L\,u)

它的期望值正好是 Hessian 的對角。只需要一個 Hessian-vector product,也就是對 ⟨∇L,u⟩\langle\nabla L,u\rangle 再做一次反向傳播,不用把 Hessian 組出來。這個估計不偏,但單次估計可能是負的。

Gauss-Newton-Bartlett 估計器(Sophia-G)。交叉熵損失的 Hessian 可以拆成 Gauss-Newton 項 JSJ⊤JSJ^\top 與一個通常較小的剩餘項,作者只估前者。這裡 JJ 是 logits 對參數的 Jacobian,SS 是損失對 logits 的二階導數。對交叉熵,S=diag(p)−pp⊤S=\mathrm{diag}(p)-pp^\top 只跟模型輸出的機率 pp 有關,跟真實標籤無關。再用統計學裡的 Bartlett 恆等式,SS 可以寫成「從模型自己的分佈抽一個標籤,算梯度外積」的期望。

實作只要四步:

  1. 拿一批輸入算 logits;
  2. 從模型自己的 softmax 抽標籤 y^b\hat y_b;
  3. 用這些假標籤算 mini-batch 損失的梯度 g^\hat g;
  4. 回傳 B⋅g^⊙g^B\cdot\hat g\odot\hat g,BB 是批次大小。

乘上 BB 的原因是自動微分只給平均梯度;Bartlett 第一恆等式說抽樣標籤下的單筆梯度期望為 0,平均梯度的平方乘上 BB,期望值剛好等於逐筆梯度平方的平均。

這個估計永遠非負,所以預條件後的方向一定是下降方向。它看起來很像 Adam 的二階動差,都是梯度的平方,差別有兩處。Adam 用的是真實標籤的梯度,Sophia-G 用的是從模型抽樣的標籤;Adam 對分母開根號,Sophia 直接除。前者在文獻裡叫 empirical Fisher,作者的消融顯示它不如 GNB。

官方程式只實作了 Sophia-G。作者在 GitHub 上也回覆過,Sophia-G 的估計不會是負的,負曲率那套保護是為 Sophia-H 準備的。

每 10 步估一次

k=10k=10,而且只用一部分樣本估 Hessian。GPT-2 的批次是 480 筆,Sophia-H 只拿其中 32 筆,Sophia-G 拿 240 筆。在 A100 上量到的每步時間如下:

方法355M770M
AdamW1.77 s3.25 s
Sophia-H1.88 s3.40 s
Sophia-G1.86 s3.42 s

整理自原論文 Table 1;每步時間已攤入每 10 步一次的 Hessian 估計。

記憶體方面,Sophia 只存 mm 與 hh 兩份狀態,和 AdamW 一樣。

理論保證在哪個設定

第 4 節證明了一個簡化版本的收斂速度。函數必須嚴格凸,Hessian 在一定半徑內變化有限,更新是確定性的;而且分析用的是完整的 Hessian,先轉到它的特徵基底,在那裡逐座標裁剪,再轉回來。在這些條件下,達到誤差 ϵ\epsilon 所需的步數與條件數(最大曲率除以最小曲率)無關;SignGD 即使在簡單的二次函數上,速率也會受條件數影響。

理論為什麼不用對角 Hessian?作者的說明是,對一般的函數,曲率方向不一定和座標軸對齊,對角預條件不一定有效。這句話剛好說中 Sophia 實作版的弱點。真實模型裡斜著的山谷,對角 Hessian 一樣轉不正,要靠 Shampoo 或 SOAP 那樣的矩陣預條件。

討論

實驗設定

GPT-2 有 1.25 億、3.55 億、7.7 億三個尺寸,用 nanoGPT 的程式在 OpenWebText 上訓練(訓練集約 90 億 token),上下文 1024,批次 480;另有 3,000 萬參數的模型拿來調參。更大的是 GPT NeoX 架構的 15 億與 66 億,在 Pile 上用 Levanter 訓練,上下文 2048。

基準是 AdamW(β=(0.9,0.95)\beta=(0.9,0.95),weight decay 0.1)、Lion 與 AdaHessian。除了峰值學習率,所有超參數都在 3,000 萬參數的模型上 grid search 後固定。1.25 億與 3.55 億的峰值學習率另外 grid search;更大的模型則往上找到「再大 1.25 倍就會爆掉」的那個學習率。共用設定是 cosine 衰減到峰值的 0.05 倍、2,000 步暖身、梯度範數裁剪 1.0、bf16。Sophia 用 β1=0.96\beta_1=0.96、β2=0.99\beta_2=0.99、weight decay 0.2。

有一個不對稱的細節。AdamW 與 Lion 在 3.55 億以上的模型不穩定,作者替它們加了一個常見的技巧,把注意力分數除以層的索引;Sophia 不用這個技巧。

兩倍從哪裡來

原論文 Figure 1:四張驗證損失圖。(a) GPT-2 Medium 3.55 億,橫軸是總計算量,Sophia-H 與 Sophia-G 在 119.5 exaFLOPs 時到達 AdamW 在 239 exaFLOPs 的損失;(b) GPT-2 Large 7.7 億,Sophia 在 10 萬步到達 AdamW 20 萬步的損失;(c) GPT NeoX 15 億,Sophia-G 在 20 萬步到達 AdamW 40 萬步的損失;(d) 各尺寸訓練 10 萬步的損失,Sophia 的 5.4 億模型低於 AdamW 的 7.7 億模型。
原論文 Figure 1(Liu 等人),取自 PDF 第 2 頁,CC BY 4.0。

前三張圖的讀法一樣。黑線是 AdamW 跑完整預算,藍、綠線是 Sophia 只跑一半;灰色箭頭從 Sophia 的終點水平拉到 AdamW 的終點,標著「2x Speedup」。圖 (d) 換成看模型大小:同樣訓練 10 萬步,Sophia 的 5.4 億模型比 AdamW 的 7.7 億模型損失還低,換句話說,AdamW 要多用約 40% 的參數才追得上。

同樣步數下的最終損失:

模型AdamWSophia-HSophia-G
GPT-2 125M2.9212.9012.875
GPT-2 355M2.6912.6452.627
GPT-2 770M2.6132.5542.524
NeoX 1.5B2.250–2.218
NeoX 6.6B1.992–1.969

整理自原論文 Figure 5 圖說;GPT-2 為 10 萬步,NeoX 1.5B 為 20 萬步。

論文說在這個區間,驗證損失低 0.05 大約等於省一半步數。770M 的差距是 0.06 到 0.09,對得上;125M 只差 0.02 到 0.05。66 億參數只有同步數的比較,沒有做「一半步數」的對照。下游任務只測了 SuperGLUE 的四個子任務(2-shot),Sophia 跑 20 萬步和 AdamW 跑 40 萬步的準確率相當。

穩定性與超參數

在 1.25 億參數的 GPT-2 上,三者都用 1.0 的梯度範數裁剪;AdamW 和 Lion 有超過 10% 的步會觸發裁剪,Sophia-H 很少觸發。拿掉注意力縮放技巧後,AdamW 在 3.55 億模型上最大只能用 1.5e-4 的學習率,3e-4 就爆掉,Lion 的上限也從 6e-5 降到 3e-5;Sophia-H 本來就不需要這個技巧。在 3,000 萬參數模型上掃 β2\beta_2 與 γ\gamma 的九種組合,損失都在 3.341 到 3.356 之間。

消融

原論文 Figure 8:3,000 萬參數 GPT-2 的三組消融,縱軸是驗證損失,橫軸是總計算量(exaFLOPs),每條線三個點分別對應 10 萬、20 萬、40 萬步。(a) Hessian 更新頻率 k=1、10、100 與 AdamW;(b) 不同對角預條件加裁剪:empirical Fisher、AdaHessian、Sophia-H、Sophia-G;(c) 裁剪方式:只裁剪不預條件(Clip)、正規化(Normalize)、不裁剪的 AdaHessian 與 GNB、Sophia-G。
原論文 Figure 8(Liu 等人),取自 PDF 第 14 頁,CC BY 4.0。

三張圖都是越往左下越好,同樣的計算量損失越低。

(a) 每步都估 Hessian(k=1k=1)時,同樣步數的損失最低,但開銷多 50%,以計算量來算反而輸給 k=10k=10;k=100k=100 仍贏 AdamW,但不如 k=10k=10。

(b) 同樣加上裁剪,GNB 勝過 empirical Fisher,Sophia-H 勝過 AdaHessian。作者推測 Sophia-H 對 Hessian 估計做移動平均,AdaHessian 對 Hessian 估計的平方做移動平均,前者去噪效果較好。

(c) 是最值得細看的一張。紅線「Clip」完全不用預條件,只對動量逐元素裁剪;作者自己說這「essentially the same as sign momentum, or Lion with a single β」。這條線已經贏過黑色的 AdamW。不裁剪的話,AdaHessian 在 k=2k=2、GNB 在 k=5k=5 就發散,只好每一兩步估一次。藍色的 Sophia-G 再往下一截。

換句話說,Sophia 的增益有一部分來自 sign momentum 本身,Hessian 再在上面加一層;裁剪是讓 Hessian 能少估幾次的那個保險。

後來被別人量成多少

論文放上 arXiv 後的幾個月內,官方 repo 陸續出現重現不了的 issue。

GitHub 上的重現。 2023 年 6 月 28 日,Aaron Defazio 在官方 repo 開了一個 issue。他在 GPT-2 small 上用 16 張 V100、fp32 訓練,並用 Sophia 的訓練腳本同時跑 AdamW,排除腳本差異;兩者各自掃學習率,最佳都是 1e-3。結果 Sophia-G 2.876、AdamW 2.869,他傾向認為兩者的最終損失差不多。第一作者回覆,fp32 本身就會讓語言模型的損失比 bf16 低,並給了建議設定,他自己的 fp32 Sophia 跑到 2.846;Defazio 照著重跑仍沒有重現,便關了 issue。11 月另一個 issue 照 README 重現 125M,AdamW 跑 20 萬步得到 2.863,比 Sophia-G 跑 10 萬步的 2.897 還低;作者在 2024 年 1 月更新了設定檔。

No Train No Gain(Kaddour 等人,2023)。 這篇把 Sophia、Lion 和幾種「省訓練」的方法放到 BERT 與 T5 的預訓練上,在固定 6、12、24 小時的預算下比較,基準是學習率完全衰減的 AdamW。直接把 Sophia 換進 FP16 的訓練流程會出現 NaN,改成 BF16 才穩;T5 還得加上 RMS 縮放才收斂。24 小時的 BERT,GLUE 平均是 AdamW 77.9、Sophia 72.3;T5 在 SNI 上是 39.5 對 34.1。即使不把 Hessian 估計的時間算進去、跑一樣多步,作者「still do not observe any speedup」。

Zhao 等人(2024)。 在自迴歸語言模型上比較 SGD、Adafactor、Adam、Lion、Sophia,結論是除了 SGD 以外都差不多。附錄裡他們把 Sophia 和 Signum(帶動量的 sign 更新,等於 Sophia 把 γ\gamma 設成 0)對比,Sophia 沒有贏。

Fantastic Pretraining Optimizers(Wen 等人,2025)。 作者群裡的 David Hall、Tengyu Ma、Percy Liang 也是 Sophia 的作者。他們在 1.3 億到 5.2 億參數上重新調參比較,Sophia 在小計算量時輸 AdamW,模型或資料變大後才稍微領先,0.5B 以下沒有顯著提速。他們也交代了原因。Sophia 論文的流程「largely follows the correct procedure」,基準的峰值學習率確實調過;但當時程式的 data loader 沒有完全打亂資料,在那個程式裡 AdamW 的最佳學習率被壓得很小。資料一旦完全打亂,AdamW 就能用大得多的學習率。

結論

Sophia 用每 10 步估一次的對角 Hessian 當分母,再用逐座標裁剪把每一步的移動上限鎖在 η\eta。估錯、負曲率或曲率太小的座標,自動退回帶動量的 sign 更新。在論文的設定裡,GPT-2 與 15 億參數的 NeoX 都用一半步數追上 AdamW,每步只慢約 5%。

這篇留給實作者最有用的,反而是那條量測規則。下次看到「快兩倍」,先確認基準的學習率是不是在同樣的總步數、同樣完全打亂的資料下調到最好,再看新方法是不是只比較最終檢查點。用 Sophia 的話,盯著被裁剪座標的比例調 γ\gamma,混合精度選 bf16。

(論文自己的消融裡,把 Hessian 拿掉、只留裁剪,就已經贏 AdamW;後來 Zhao 等人的比較裡,Sophia 也確實沒有勝過 Signum。)