返回論文筆記資料庫
arXiv 2024ICLR 2025優化器論文筆記

SOAP

轉身的 Adam

原始論文

SOAP: Improving and Stabilizing Shampoo using Adam

論文作者

Nikhil Vyas · Depen Morwani · Rosie Zhao …

查看全部 8 位作者

Nikhil Vyas · Depen Morwani · Rosie Zhao · Mujin Kwun · Itai Shapira · David Brandfonbrener · Lucas Janson · Sham Kakade

發表版本
ICLR 2025會議
arXiv 首次提交
arXiv:2409.11321
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{optimizerssoap2024,
  title = {{SOAP: Improving and Stabilizing Shampoo using Adam}},
  author = {Nikhil Vyas and Depen Morwani and Rosie Zhao and Mujin Kwun and Itai Shapira and David Brandfonbrener and Lucas Janson and Sham Kakade},
  year = {2024},
  eprint = {2409.11321},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2409.11321}
}
本頁內容

用 Shampoo 的人都得決定一件事,最貴的那一步要多久做一次?

Shampoo 每一步都會更新兩個統計矩陣 LL、RR,但真正拿來乘梯度的是它們的矩陣次方,得做特徵分解或迭代求根。這一步太貴,實作上都是每隔 ff 步才算一次,中間沿用舊的。

Harvard 的 Nikhil Vyas、Depen Morwani 等人把這個 ff 拉開來量。在一個 3.6 億參數的語言模型上,f=1f=1 時 Shampoo 的最終測試損失約 2.824,f=10f=10 變成約 2.868,f=100f=100 約 2.932;同一設定的 AdamW 約 2.943。為了省計算拉長間隔,Shampoo 對 AdamW 的優勢幾乎全部吐回去。

2024 年 8 月,Shampoo 才剛拿下 AlgoPerf 外部調參組的冠軍。這篇論文想讓它便宜一點,也好調一點。

定義問題

Shampoo 替一個 m×nm\times n 的權重矩陣維護左右兩個預條件:

L←L+GG⊤,R←R+G⊤G,W←W−η L−1/4 G R−1/4L \leftarrow L + GG^\top,\qquad R \leftarrow R + G^\top G,\qquad W \leftarrow W - \eta\,L^{-1/4}\,G\,R^{-1/4}

原版的指數是 −1/4-1/4,後來的實作多半改成 −1/2-1/2。實際能用的 Shampoo(例如 Meta 的 DistributedShampoo)除了學習率、動量之外,還要設定統計量的移動平均係數、矩陣求根用的 ϵ\epsilon、一維與二維參數各自的指數、grafting 用哪個優化器決定步長,以及預條件多久更新一次。

問題有兩個。第一,頻率一拉長就掉效果,因為在兩次特徵分解之間,整個預條件是凍結的,梯度的尺度怎麼變它都不知道。第二,超參數太多。

作者的切入點是先搞懂 Shampoo 在特徵基底裡到底做了什麼。如果能把它拆成「貴的部分」和「便宜的部分」,也許就能讓貴的慢慢算,便宜的每一步都更新。

解決問題

Shampoo 是轉過去的 Adafactor

先把 Shampoo 理想化。用 1/21/2 次方;LL、RR 取整個資料集上的期望 L=E[GG⊤]L=\mathbb E[GG^\top]、R=E[G⊤G]R=\mathbb E[G^\top G];再乘上一個以 Trace(L)\mathrm{Trace}(L) 修正的純量。更新就是

W←W−η Tr(L)  L−1/2 G R−1/2W \leftarrow W - \eta\,\sqrt{\mathrm{Tr}(L)}\;L^{-1/2}\,G\,R^{-1/2}

把 LL 和 RR 做特徵分解,L=QLΛQL⊤L = Q_L\Lambda Q_L^\top,R=QRMQR⊤R=Q_R M Q_R^\top,特徵值分別是 λ1,…,λm\lambda_1,\dots,\lambda_m 與 μ1,…,μn\mu_1,\dots,\mu_n。代進去:

L−1/2 G R−1/2=QL  [Λ−1/2 (QL⊤G QR) M−1/2]  QR⊤L^{-1/2}\,G\,R^{-1/2} = Q_L\;\Big[\Lambda^{-1/2}\,\big(Q_L^\top G\,Q_R\big)\,M^{-1/2}\Big]\;Q_R^\top

這行式子可以照三步讀。先把梯度轉到特徵基底,G′=QL⊤GQRG' = Q_L^\top G Q_R;在這個座標系裡,第 (i,j)(i,j) 個元素乘上 (λiμj)−1/2(\lambda_i\mu_j)^{-1/2};最後轉回原本的座標。

中間那一步是逐元素的縮放,而且縮放係數是「第 ii 列的量」乘「第 jj 行的量」,秩為 1。這正是 Adafactor 的作法。Adafactor 為了省記憶體,不存每個元素的二階動差,只存每一列的總和 AiA_i 和每一行的總和 CjC_j,再用 V^ij=AiCj/∑iAi\hat V_{ij} = A_iC_j/\sum_i A_i 還原。

如果在轉過去的座標裡跑 Adafactor,列總和是多少?令 uiu_i、vjv_j 是 QLQ_L、QRQ_R 的第 ii、jj 個行向量,

Ai=E[∑j(ui⊤G vj)2]=E[∥ui⊤G∥2]=ui⊤ E[GG⊤] ui=λiA_i = \mathbb E\Big[\sum_j \big(u_i^\top G\,v_j\big)^2\Big] = \mathbb E\big[\|u_i^\top G\|^2\big] = u_i^\top\,\mathbb E[GG^\top]\,u_i = \lambda_i

第二個等號用到 vjv_j 是一組正交基底。同理 Cj=μjC_j=\mu_j,∑iAi=Tr(L)\sum_iA_i=\mathrm{Tr}(L)。Adafactor 對 (i,j)(i,j) 的縮放是 (λiμj/Tr(L))−1/2(\lambda_i\mu_j/\mathrm{Tr}(L))^{-1/2},和上面的 Shampoo 一模一樣。

這就是論文的 Claim 1,1/21/2 次方的 Shampoo,等於在 Shampoo 預條件的特徵基底裡跑 Adafactor。 貴的部分是找基底(特徵分解),便宜的部分是在基底裡逐座標縮放。

從 Adafactor 換成 Adam

有了這個視角,Shampoo 的頻率問題就看得出病灶。實務上每 ff 步才重算一次,等於把「基底」和「縮放」一起凍結;可是縮放只是幾個逐元素的移動平均,每一步更新都很便宜。基底可以慢慢換,縮放沒有理由跟著等。

既然要每一步更新縮放,作者乾脆把 Adafactor 換成 Adam,用完整的逐元素二階動差,不做秩 1 分解。演算法(Algorithm 3)如下,⊙\odot 是逐元素乘法:

G′=QL⊤ G QRM←β1M+(1−β1) GM′=QL⊤ M QRV←β2V+(1−β2) G′⊙G′W←W−η  QL (M′V^+ϵ) QR⊤L←β2L+(1−β2) GG⊤,R←β2R+(1−β2) G⊤G\begin{aligned} G' &= Q_L^\top\,G\,Q_R \\ M &\leftarrow \beta_1 M + (1-\beta_1)\,G \\ M' &= Q_L^\top\,M\,Q_R \\ V &\leftarrow \beta_2 V + (1-\beta_2)\,G'\odot G' \\ W &\leftarrow W - \eta\; Q_L\,\Big(\frac{M'}{\sqrt{\hat V}+\epsilon}\Big)\,Q_R^\top \\ L &\leftarrow \beta_2 L + (1-\beta_2)\,GG^\top,\qquad R \leftarrow \beta_2 R + (1-\beta_2)\,G^\top G \end{aligned}

每 ff 步才更新一次基底,用的是一步冪迭代加 QR 分解:Q←QR(PQ)Q \leftarrow \mathrm{QR}(PQ),PP 是 LL 或 RR,QQ 是上一次的基底。只有第一次用完整的特徵分解。

有幾個細節值得停下來看。

動量 MM 存在原本的座標裡,每一步再投影過去。因為基底每 ff 步會換,動量如果存在舊座標,換基底那一刻就對不上了。二階動差 VV 則直接活在轉過去的座標裡,換基底時不旋轉;摘要把這個基底形容為「slowly changing」。官方程式在換基底時會依特徵值大小重新排列 VV 的順序,讓同一個方向對到同一格。

一維參數(偏差、LayerNorm 的權重)直接跑 AdamW。第一層 embedding 和最後的輸出層有一維是詞表大小,存一個那麼大的特徵向量矩陣太貴,那一邊的 QQ 就固定成單位矩陣。兩邊都是單位矩陣時,SOAP 就退回 Adam,所以論文說 SOAP 是「在旋轉過的空間裡跑 Adam」。

少掉的超參數

SOAP 的名字是 ShampoO with Adam in the Preconditioner's eigenbasis。和 AdamW 相比,它只多一個超參數,就是更新基底的頻率 ff。和 Shampoo 相比,下面這些都不用了:

  • 矩陣次方的指數,因為縮放交給 Adam 的 V\sqrt{V};
  • 求根時加在特徵值上的 ϵ\epsilon,改用 Adam 本身的 ϵ\epsilon;
  • grafting,Adam 在旋轉空間裡逐座標決定步長,不必再向另一個優化器借;
  • LL、RR 的移動平均係數,直接共用 Adam 的 β2\beta_2。

代價

記憶體和 DistributedShampoo 一樣。一個 m×nm\times n 的層要存 LL、QLQ_L、RR、QRQ_R 四個方陣,加上梯度、MM、VV,共 2m2+2n2+3mn2m^2+2n^2+3mn;AdamW 只要 3mn3mn。

Shampoo 每一步是左右各乘一次預條件;SOAP 要先投影過去、再投影回來,多了一輪左右矩陣乘法,所以單步計算量比 Shampoo 略高。換來的是可以把頻率拉長。

原論文 Figure 7 左:SOAP 相對 AdamW 的訓練時間開銷(縱軸對數刻度)對預條件頻率(橫軸對數刻度)。頻率 1 時開銷約 27%,頻率 3 約 9%,頻率 10 約 3.7%,頻率 32 約 2.4%,頻率 100 約 2%。
原論文 Figure 7(Vyas 等人)左半,取自 PDF 第 13 頁,arXiv 授權,學術引用。

每一步都換基底時,訓練時間多出約 27%;f=10f=10 時約 3.7%,f=100f=100 約 2%。曲線不會降到 0,因為不管換不換基底,每一步都要在 fp32 下更新 LL、RR 並做兩次投影。這組數字是在單張 H100 上、用梯度累積湊出大批次量的。

討論

實驗設定

實驗都是語言模型預訓練。資料是 C4,用 T5 的 tokenizer;模型以 OLMo 的程式碼為底,decoder-only,有 2.1 億、3.6 億、6.6 億三個尺寸(不含 embedding),寬度 1024、1024、1408,深度 12、24、24,用了 RoPE 與 QK LayerNorm,bf16 混合精度。序列長 1024,每個批次約 200 萬個 token;訓練量取約 20 倍參數量的 token 數,360m 跑 3,200 步,660m 跑 6,400 步。

三個優化器都先掃學習率。AdamW 在 360m 上另外掃了 β1\beta_1、β2\beta_2;Shampoo 用 DistributedShampoo,另外掃了 ϵ\epsilon、統計量的移動平均係數與四組指數,這些掃描讓損失的改善都小於 0.004。SOAP 只掃學習率。共用設定是 β1=0.95\beta_1=0.95、decoupled weight decay 10−410^{-4}、z-loss 10−410^{-4}、暖身後 cosine 衰減到峰值的 0.1 倍。

「快多少」的算法也要交代。cosine 排程依總步數而定,拿同一次訓練的中途檢查點來比並不公平。作者把 SOAP 另外跑 0.5、0.625、0.75、0.875 倍長度的完整訓練,用 a+bN−βa+bN^{-\beta} 擬合最終損失與步數的關係,再找它在哪個長度追上 AdamW 和 Shampoo 的最終損失。

主結果

原論文 Figure 1:左、中兩張是 6.6 億參數模型、200 萬 token 批次、頻率 10 的訓練損失,橫軸分別是步數與以 AdamW 為 1 的牆鐘時間;藍色 AdamW 最高,綠色 Shampoo 居中,橘色 SOAP 最低,淺橘色是縮短排程的 SOAP,虛線標出它追上 AdamW 終點的位置。右圖是 3.6 億參數模型的最終測試損失對預條件頻率,綠色 Shampoo 隨頻率從約 2.82 升到 2.93,橘色 SOAP 只升到 2.87,頂端藍色虛線是 AdamW。
原論文 Figure 1(Vyas 等人),取自 PDF 第 3 頁,arXiv 授權,學術引用。

先看左圖。藍、綠、橘三條是同樣跑 6,400 步的 AdamW、Shampoo、SOAP,到終點時 SOAP 最低。淺橘色那條是縮短排程的 SOAP,虛線標出它在約 3,600 步就追上 AdamW 的終點。中圖把橫軸換成牆鐘時間,三條線的間距縮小了一點,這是 SOAP 和 Shampoo 每一步都比 AdamW 貴的結果。

照論文的效率估計,三組設定的數字如下:

設定追上 AdamW追上 Shampoo
360m,200 萬0.50/0.520.75/0.74
660m,200 萬0.565/0.620.80/0.78
360m,25.6 萬0.72/0.830.875/0.90

整理自原論文 Figure 2 的標示刻度;每格是「步數比/時間比」,第一欄的批次單位是 token。對 Shampoo 的時間比為本文換算(Shampoo 全程分別是 AdamW 的 1.06、1.12、1.11 倍)。

大批次時,SOAP 只要 AdamW 50% 到 57% 的步數、約 52% 到 62% 的時間;對 Shampoo 則省兩成多。這就是摘要裡「比 AdamW 少 40% 以上迭代、35% 以上牆鐘時間,比 Shampoo 少約 20%」的出處。另外把 360m 跑到 100 倍參數量的 token(335 億),SOAP 對 AdamW 的優勢仍在。

頻率的消融

開頭的那組數字來自 Figure 1 的右半,這裡重新放一次。

原論文 Figure 1 右半:3.6 億參數模型、200 萬 token 批次的最終測試損失對預條件頻率(1、3、10、32、100)。綠色三角是 Shampoo,從約 2.824 一路升到 2.932;橘色三角是 SOAP,從約 2.820 到 f=10 仍在 2.823,f=100 升到 2.870;頂端藍色虛線是 AdamW,約 2.943。
原論文 Figure 1(Vyas 等人)右半,取自 PDF 第 3 頁,arXiv 授權,學術引用。綠線 Shampoo、橘線 SOAP、藍色虛線 AdamW。

兩條線都在 AdamW 的虛線下方,也就是 ff 從 1 到 100,兩者都贏 AdamW。f=1f=1 時兩者幾乎一樣(2.820 對 2.824),符合「每步都重算時,兩者只差 Adafactor 和 Adam」的預期。之後 Shampoo 一路上升到 2.932,SOAP 在 f=10f=10 還是 2.823,到 f=100f=100 才升到 2.870。

這組結果支持了作者的解釋。SOAP 在 f=10f=10 時是 2.823,f=32f=32 比 f=1f=1 高約 0.018,仍遠低於 Shampoo 同頻率的 2.868 與 2.898;真正讓 Shampoo 變差的,是縮放也跟著凍結。

批次大小

原論文 Figure 4:左圖是 3.6 億參數模型達到損失 2.842 所需的步數對批次大小,兩軸都是對數刻度,藍色 AdamW、橘色 SOAP,實線是實際、虛線是理想的線性縮放;右圖是 25.6 萬 token 批次、頻率 80 的訓練損失,藍色 AdamW、綠色 Shampoo、橘色 SOAP。
原論文 Figure 4(Vyas 等人),取自 PDF 第 10 頁,arXiv 授權,學術引用。

理想情況下,批次大小加倍,達到同一損失的步數就減半,也就是左圖的虛線。實線離虛線越遠,代表多出來的批次越浪費。AdamW 的藍色實線從 512 開始就越偏越遠,到 2048 時需要的步數接近理想值的兩倍;SOAP 的橘色實線比較貼近自己的虛線,所以作者說 SOAP 的臨界批次大小較大。為了公平,批次每縮小 kk 倍,頻率就放大 kk 倍,讓特徵分解的開銷比例不變。

右圖是最小的 25.6 萬批次。SOAP 比 AdamW 少 25% 步數,比 Shampoo 少約 10%。對照上面的表,小批次時的優勢明顯縮水。作者也說這是初步結果,固定「批次乘頻率」未必是最好的取捨;二階方法在小批次時效益變小,和先前的研究一致。官方 README 也建議盡量用大的批次。

省記憶體的變體與 GaLore

SOAP 比 AdamW 多出 2m2+2n22m^2+2n^2 的記憶體。論文試了兩種省法。在旋轉後的空間改跑 Adafactor,省下一份 mnmn,損失幾乎沒變;只旋轉較短的那一邊,另一邊用單位矩陣,損失增加得多一些,但仍和 Shampoo 打平或略好。兩招合併後記憶體是 2min⁡(m,n)2+2mn2\min(m,n)^2+2mn,在標準 Transformer 上已經比 AdamW 的 3mn3mn 小,仍然贏 AdamW。

GaLore 的全秩版本和 SOAP 很像,主要差在三處。GaLore 的投影來自當前梯度的 SVD,SOAP 用 GG⊤GG^\top 的移動平均;GaLore 把動量存在投影空間、換基底時不轉回,SOAP 存在原空間;GaLore 只投影一邊。在 2.1 億參數的模型上,GaLore 最好的結果是 3.12,贏 AdamW,但輸給 Shampoo 的 3.10,所以作者認為 SOAP 的這幾個改動都有必要。

這個點子其實早有人寫過。Anil 等人在 2020 年 Distributed Shampoo 論文的附錄 B,描述了一個在二維層上與 SOAP 本質等價的演算法,沒有附實驗,只說未發表的實驗沒看到改善。SOAP 的作者在相關研究裡老實交代了這件事,並推測差異來自實作細節。

限制

論文自己列的限制很清楚。模型最大 6.6 億參數,比當時的大模型小兩個數量級;作者假設結論能推廣到更大規模,但「remains to be validated」。只測了語言模型。吞吐量在單張 GPU 上量,分散式實作的比較留給未來。LL、RR 的運算都在 fp32,而 PyTorch 的 QR 不支援更低的精度,開銷的下限暫時壓不下去。

一年後的獨立檢驗

2025 年,Stanford 的 Wen、Hall、Ma、Liang 發表〈Fantastic Pretraining Optimizers and Where to Find Them〉,把 AdamW 和十個新優化器放在 1.3 億到 12 億參數、1 到 8 倍 Chinchilla 資料量下,每個都仔細調參後比較。

他們在 3 億與 5.2 億參數的模型上,量到 SOAP 比調好的 AdamW 快 1.2 到 1.3 倍;到 12 億參數時,SOAP 和 Muon 都只剩約 1.1 倍。另一個發現是資料量對模型的比例拉到 8 倍以上時,SOAP 和 Kron 會超過在少資料時最強的 Muon。他們的 SOAP 實作另外做了權重分塊,12 億參數時動量用 bf16,和原版略有不同。

結論

SOAP 從一個等價關係出發,1/21/2 次方的 Shampoo 就是在它的特徵基底裡跑 Adafactor。把貴的基底和便宜的縮放拆開以後,基底可以每 10 步甚至更久才更新,縮放每一步照 Adam 的方式更新;超參數也縮到只比 AdamW 多一個頻率。在 3.6 億與 6.6 億參數的語言模型、大批次下,它比 AdamW 少約一半步數、少 38% 到 48% 的牆鐘時間。

想試的話,官方的 soap.py 可以直接複製進專案,從 README 的設定開始,β=(0.95,0.95)\beta=(0.95, 0.95)、頻率 10,先量清楚每一步比 AdamW 慢多少,再決定頻率要不要拉長。記憶體吃緊時,單邊旋轉和 Adafactor 版本都是論文驗證過的退路。

Fantastic 在正文特別點名,SOAP 是少數替基準獨立掃超參數的論文,報告的提速也最接近他們實測的數字。在優化器論文裡,這樣的評語不常見。