論文ノートライブラリに戻る
arXiv 2024ICLR 2025オプティマイザ論文ノート

SOAP

向きを変えた Adam

原論文

SOAP: Improving and Stabilizing Shampoo using Adam

論文の著者

Nikhil Vyas · Depen Morwani · Rosie Zhao …

著者全 8 名を表示

Nikhil Vyas · Depen Morwani · Rosie Zhao · Mujin Kwun · Itai Shapira · David Brandfonbrener · Lucas Janson · Sham Kakade

発表先
ICLR 2025国際会議
arXiv への初回投稿
arXiv:2409.11321
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{optimizerssoap2024,
  title = {{SOAP: Improving and Stabilizing Shampoo using Adam}},
  author = {Nikhil Vyas and Depen Morwani and Rosie Zhao and Mujin Kwun and Itai Shapira and David Brandfonbrener and Lucas Janson and Sham Kakade},
  year = {2024},
  eprint = {2409.11321},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2409.11321}
}
このページの内容

Shampoo を使う人は、誰もが一つ決めなければならない。一番高くつくあのステップを、どれくらいの間隔で実行するか?

Shampoo は毎ステップ二つの統計行列 LL、RR を更新するが、実際に勾配に掛けるのはそれらの行列べき乗で、固有値分解か反復による根の計算が必要になる。このステップは高すぎるので、どの実装も ff ステップに 1 回だけ計算し、その間は古いものを使い回す。

Harvard の Nikhil Vyas、Depen Morwani らは、この ff を広げながら測ってみた。3.6 億パラメータの言語モデルで、f=1f=1 のとき Shampoo の最終テスト損失は約 2.824、f=10f=10 で約 2.868、f=100f=100 で約 2.932 になる。同じ設定の AdamW は約 2.943 だ。計算を節約しようと間隔を広げると、Shampoo の AdamW に対する優位はほとんどすべて吐き出されてしまう。

2024 年 8 月、Shampoo は AlgoPerf の外部チューニング部門で優勝したばかりだった。この論文は、それをもう少し安く、そしてもう少し調整しやすくしようとしている。

問題の定義

Shampoo は m×nm\times n の重み行列一つに対して、左右二つの前処理を保持する。

L←L+GG⊤,R←R+G⊤G,W←W−η L−1/4 G R−1/4L \leftarrow L + GG^\top,\qquad R \leftarrow R + G^\top G,\qquad W \leftarrow W - \eta\,L^{-1/4}\,G\,R^{-1/4}

原版の指数は −1/4-1/4 で、後の実装の多くは −1/2-1/2 に変えている。実際に使える Shampoo(たとえば Meta の DistributedShampoo)では、学習率やモーメンタムのほかに、統計量の移動平均の係数、行列の根を求めるときの ϵ\epsilon、1 次元と 2 次元のパラメータそれぞれの指数、歩幅を決める grafting にどのオプティマイザを使うか、そして前処理をどれくらいの頻度で更新するかを設定しなければならない。

問題は二つある。一つ目は、頻度を下げるとすぐに性能が落ちること。2 回の固有値分解の間、前処理全体が凍結されていて、勾配のスケールがどう変わってもそれを知らないからだ。二つ目は、ハイパーパラメータが多すぎることだ。

著者らの切り口は、まず Shampoo が固有基底の中で実際に何をしているのかを理解することだった。それを「高い部分」と「安い部分」に分けられれば、高い部分はゆっくり計算し、安い部分は毎ステップ更新できるかもしれない。

問題の解決

Shampoo は回転した Adafactor

まず Shampoo を理想化する。1/21/2 乗を使い、LL、RR はデータセット全体での期待値 L=E[GG⊤]L=\mathbb E[GG^\top]、R=E[G⊤G]R=\mathbb E[G^\top G] を取り、さらに Trace(L)\mathrm{Trace}(L) で補正するスカラーを掛ける。更新は次のようになる。

W←W−η Tr(L)  L−1/2 G R−1/2W \leftarrow W - \eta\,\sqrt{\mathrm{Tr}(L)}\;L^{-1/2}\,G\,R^{-1/2}

LL と RR を固有値分解し、L=QLΛQL⊤L = Q_L\Lambda Q_L^\top、R=QRMQR⊤R=Q_R M Q_R^\top、固有値をそれぞれ λ1,…,λm\lambda_1,\dots,\lambda_m と μ1,…,μn\mu_1,\dots,\mu_n とする。代入すると次のようになる。

L−1/2 G R−1/2=QL  [Λ−1/2 (QL⊤G QR) M−1/2]  QR⊤L^{-1/2}\,G\,R^{-1/2} = Q_L\;\Big[\Lambda^{-1/2}\,\big(Q_L^\top G\,Q_R\big)\,M^{-1/2}\Big]\;Q_R^\top

この式は 3 段階で読める。まず勾配を固有基底に回転させて、G′=QL⊤GQRG' = Q_L^\top G Q_R とする。この座標系で、(i,j)(i,j) 番目の要素に (λiμj)−1/2(\lambda_i\mu_j)^{-1/2} を掛ける。最後に元の座標に戻す。

真ん中のステップは要素ごとのスケーリングで、しかもスケーリング係数は「第 ii 行の量」掛ける「第 jj 列の量」で、ランク 1 だ。これはまさに Adafactor のやり方だ。Adafactor はメモリを節約するため、要素ごとの二次モーメントを保存せず、各行の総和 AiA_i と各列の総和 CjC_j だけを保存し、V^ij=AiCj/∑iAi\hat V_{ij} = A_iC_j/\sum_i A_i で復元する。

回転した座標で Adafactor を走らせたら、行の総和はいくつになるか? uiu_i、vjv_j を QLQ_L、QRQ_R の第 ii、第 jj 列ベクトルとすると、

Ai=E[∑j(ui⊤G vj)2]=E[∥ui⊤G∥2]=ui⊤ E[GG⊤] ui=λiA_i = \mathbb E\Big[\sum_j \big(u_i^\top G\,v_j\big)^2\Big] = \mathbb E\big[\|u_i^\top G\|^2\big] = u_i^\top\,\mathbb E[GG^\top]\,u_i = \lambda_i

2 番目の等号では、vjv_j が正規直交基底であることを使っている。同様に Cj=μjC_j=\mu_j、∑iAi=Tr(L)\sum_iA_i=\mathrm{Tr}(L) となる。Adafactor の (i,j)(i,j) に対するスケーリングは (λiμj/Tr(L))−1/2(\lambda_i\mu_j/\mathrm{Tr}(L))^{-1/2} で、上の Shampoo とまったく同じだ。

これが論文の Claim 1、1/21/2 乗の Shampoo は、Shampoo の前処理の固有基底の中で Adafactor を走らせることに等しい。高い部分は基底を見つけること(固有値分解)で、安い部分は基底の中で座標ごとにスケーリングすることだ。

Adafactor から Adam へ

この視点を持つと、Shampoo の頻度の問題の病巣が見えてくる。実際には ff ステップに 1 回だけ計算し直すので、「基底」と「スケーリング」を一緒に凍結していることになる。しかしスケーリングは要素ごとの移動平均がいくつかあるだけで、毎ステップ更新しても安い。基底はゆっくり変えてもかまわないが、スケーリングまで一緒に待つ理由はない。

スケーリングを毎ステップ更新するのならと、著者らは思い切って Adafactor を Adam に置き換え、ランク 1 分解をせずに要素ごとの完全な二次モーメントを使った。アルゴリズム(Algorithm 3)は次のとおりで、⊙\odot は要素ごとの積だ。

G′=QL⊤ G QRM←β1M+(1−β1) GM′=QL⊤ M QRV←β2V+(1−β2) G′⊙G′W←W−η  QL (M′V^+ϵ) QR⊤L←β2L+(1−β2) GG⊤,R←β2R+(1−β2) G⊤G\begin{aligned} G' &= Q_L^\top\,G\,Q_R \\ M &\leftarrow \beta_1 M + (1-\beta_1)\,G \\ M' &= Q_L^\top\,M\,Q_R \\ V &\leftarrow \beta_2 V + (1-\beta_2)\,G'\odot G' \\ W &\leftarrow W - \eta\; Q_L\,\Big(\frac{M'}{\sqrt{\hat V}+\epsilon}\Big)\,Q_R^\top \\ L &\leftarrow \beta_2 L + (1-\beta_2)\,GG^\top,\qquad R \leftarrow \beta_2 R + (1-\beta_2)\,G^\top G \end{aligned}

基底は ff ステップに 1 回だけ更新し、それにはべき乗法 1 ステップと QR 分解を使う。Q←QR(PQ)Q \leftarrow \mathrm{QR}(PQ) で、PP は LL または RR、QQ は前回の基底だ。完全な固有値分解を使うのは初回だけだ。

立ち止まって見ておきたい細部がいくつかある。

モーメンタム MM は元の座標で保存し、毎ステップ射影し直す。基底は ff ステップごとに変わるので、モーメンタムを古い座標で保存していると、基底を変えた瞬間に合わなくなるからだ。二次モーメント VV は回転後の座標にそのまま置かれていて、基底を変えても回転させない。要旨はこの基底を「slowly changing」と表現している。公式コードは基底を変えるとき、固有値の大きさに従って VV の順序を並べ替え、同じ方向が同じマスに対応するようにしている。

1 次元のパラメータ(バイアス、LayerNorm の重み)は、そのまま AdamW で更新する。最初の embedding 層と最後の出力層は一つの次元が語彙サイズなので、それほど大きな固有ベクトル行列を保存するのは高すぎる。そこでその側の QQ は単位行列に固定する。両側とも単位行列なら SOAP は Adam に戻るので、論文は SOAP を「回転した空間で Adam を走らせるもの」と言っている。

減ったハイパーパラメータ

SOAP という名前は ShampoO with Adam in the Preconditioner's eigenbasis から来ている。AdamW と比べて増えるハイパーパラメータは一つだけで、基底を更新する頻度 ff だ。Shampoo と比べると、次のものが要らなくなる。

  • 行列べき乗の指数。スケーリングは Adam の V\sqrt{V} に任せる。
  • 根を求めるときに固有値に加える ϵ\epsilon。Adam 自身の ϵ\epsilon を使う。
  • grafting。Adam が回転した空間で座標ごとに歩幅を決めるので、ほかのオプティマイザから借りる必要がない。
  • LL、RR の移動平均の係数。Adam の β2\beta_2 をそのまま共用する。

代償

メモリは DistributedShampoo と同じだ。m×nm\times n の層一つに対して、LL、QLQ_L、RR、QRQ_R の四つの正方行列に、勾配、MM、VV を加え、合計 2m2+2n2+3mn2m^2+2n^2+3mn を保存する。AdamW なら 3mn3mn で済む。

Shampoo は 1 ステップにつき左右から 1 回ずつ前処理を掛ける。SOAP はまず向こうへ射影し、また戻ってくる必要があり、左右の行列積が 1 巡多いので、1 ステップの計算量は Shampoo よりやや多い。その見返りに、頻度を下げられる。

原論文 Figure 7 の左:SOAP の AdamW に対する学習時間のオーバーヘッド(縦軸は対数目盛)と前処理の頻度(横軸は対数目盛)。頻度 1 でオーバーヘッドは約 27%、頻度 3 で約 9%、頻度 10 で約 3.7%、頻度 32 で約 2.4%、頻度 100 で約 2%。
原論文 Figure 7 の左半分(Vyas ら)、PDF 13 ページより。arXiv ライセンス、学術引用。

毎ステップ基底を変えると、学習時間は約 27% 増える。f=10f=10 で約 3.7%、f=100f=100 で約 2% だ。曲線が 0 まで下がらないのは、基底を変えるかどうかにかかわらず、毎ステップ fp32 で LL、RR を更新し、射影を 2 回行う必要があるからだ。これらの数値は 1 枚の H100 で、勾配累積によって大きなバッチを作って測ったものだ。

議論

実験設定

実験はすべて言語モデルの事前学習だ。データは C4 で、T5 の tokenizer を使う。モデルは OLMo のコードをベースにした decoder-only で、2.1 億、3.6 億、6.6 億の三つのサイズ(embedding を除く)がある。幅は 1024、1024、1408、深さは 12、24、24 で、RoPE と QK LayerNorm を使い、bf16 の混合精度で学習する。系列長は 1024、各バッチは約 200 万 token。学習量はパラメータ数の約 20 倍の token 数で、360m は 3,200 ステップ、660m は 6,400 ステップ走らせる。

三つのオプティマイザはどれもまず学習率を走査する。AdamW は 360m でさらに β1\beta_1、β2\beta_2 も走査した。Shampoo は DistributedShampoo を使い、さらに ϵ\epsilon、統計量の移動平均の係数、4 組の指数を走査したが、これらの走査による損失の改善はどれも 0.004 未満だった。SOAP は学習率だけを走査した。共通の設定は β1=0.95\beta_1=0.95、decoupled weight decay 10−410^{-4}、z-loss 10−410^{-4} で、ウォームアップの後にピークの 0.1 倍まで cosine で減衰させる。

「どれだけ速いか」の計算方法も説明しておく必要がある。cosine スケジュールは総ステップ数で決まるので、同じ学習の途中のチェックポイントで比べるのは公平ではない。著者らは SOAP を 0.5、0.625、0.75、0.875 倍の長さでそれぞれ完全な学習として走らせ直し、a+bN−βa+bN^{-\beta} で最終損失とステップ数の関係を当てはめて、どの長さで AdamW と Shampoo の最終損失に追いつくかを求めた。

主な結果

原論文 Figure 1:左と中央の 2 枚は 6.6 億パラメータのモデル、200 万 token のバッチ、頻度 10 での学習損失で、横軸はそれぞれステップ数と、AdamW を 1 とした実時間。青の AdamW が最も高く、緑の Shampoo が中間、橙の SOAP が最も低い。薄い橙はスケジュールを短縮した SOAP で、破線はそれが AdamW の終点に追いつく位置を示す。右図は 3.6 億パラメータのモデルの最終テスト損失と前処理の頻度で、緑の Shampoo は頻度とともに約 2.82 から 2.93 まで上がり、橙の SOAP は 2.87 までしか上がらない。上端の青い破線が AdamW。
原論文 Figure 1(Vyas ら)、PDF 3 ページより。arXiv ライセンス、学術引用。

まず左図を見る。青、緑、橙の 3 本は、同じく 6,400 ステップ走らせた AdamW、Shampoo、SOAP で、終点では SOAP が最も低い。薄い橙の線はスケジュールを短縮した SOAP で、破線はそれが約 3,600 ステップで AdamW の終点に追いつくことを示している。中央の図は横軸を実時間に替えたもので、3 本の線の間隔が少し縮まる。SOAP と Shampoo は 1 ステップごとに AdamW より高くつくからだ。

論文の効率の推定に従うと、三つの設定の数値は次のとおりだ。

設定AdamW に追いつくShampoo に追いつく
360m、200 万0.50/0.520.75/0.74
660m、200 万0.565/0.620.80/0.78
360m、25.6 万0.72/0.830.875/0.90

原論文 Figure 2 に記された目盛りをもとに整理。各セルは「ステップ数の比/時間の比」で、1 列目のバッチの単位は token。Shampoo に対する時間の比は本稿で換算した(Shampoo の全体の時間はそれぞれ AdamW の 1.06、1.12、1.11 倍)。

大きなバッチでは、SOAP は AdamW の 50%〜57% のステップ数、約 52%〜62% の時間しか要らない。Shampoo に対しては 2 割あまり節約できる。これが要旨の「AdamW より反復回数が 40% 以上、実時間が 35% 以上少なく、Shampoo より約 20% 少ない」の出どころだ。さらに 360m をパラメータ数の 100 倍の token(335 億)まで走らせても、SOAP の AdamW に対する優位は残っていた。

頻度のアブレーション

冒頭の数値は Figure 1 の右半分から来ている。ここでもう一度載せる。

原論文 Figure 1 の右半分:3.6 億パラメータのモデル、200 万 token のバッチでの最終テスト損失と前処理の頻度(1、3、10、32、100)。緑の三角が Shampoo で、約 2.824 から 2.932 までずっと上がっていく。橙の三角が SOAP で、約 2.820 から始まり f=10 でもまだ 2.823、f=100 で 2.870 まで上がる。上端の青い破線が AdamW で、約 2.943。
原論文 Figure 1 の右半分(Vyas ら)、PDF 3 ページより。arXiv ライセンス、学術引用。緑の線が Shampoo、橙の線が SOAP、青い破線が AdamW。

2 本の線はどちらも AdamW の破線より下にある。つまり ff が 1 から 100 まで、どちらも AdamW に勝っている。f=1f=1 では二つはほぼ同じ(2.820 対 2.824)で、「毎ステップ計算し直すなら、両者の違いは Adafactor と Adam の差だけ」という予想に合う。その後、Shampoo は 2.932 までずっと上がっていくが、SOAP は f=10f=10 でもまだ 2.823 で、f=100f=100 になってようやく 2.870 まで上がる。

この結果は著者らの説明を裏づけている。SOAP は f=10f=10 で 2.823、f=32f=32 でも f=1f=1 より約 0.018 高いだけで、同じ頻度の Shampoo の 2.868 と 2.898 よりはるかに低い。Shampoo を本当に悪くしていたのは、スケーリングまで一緒に凍結されていたことだ。

バッチサイズ

原論文 Figure 4:左図は 3.6 億パラメータのモデルが損失 2.842 に達するのに必要なステップ数とバッチサイズで、両軸とも対数目盛。青が AdamW、橙が SOAP で、実線が実測、破線が理想的な線形スケーリング。右図は 25.6 万 token のバッチ、頻度 80 での学習損失で、青が AdamW、緑が Shampoo、橙が SOAP。
原論文 Figure 4(Vyas ら)、PDF 10 ページより。arXiv ライセンス、学術引用。

理想的には、バッチサイズを 2 倍にすれば、同じ損失に達するまでのステップ数は半分になる。これが左図の破線だ。実線が破線から離れるほど、増やしたバッチは無駄になっている。AdamW の青い実線は 512 からどんどん離れていき、2048 では必要なステップ数が理想値の 2 倍近くになる。SOAP の橙の実線は自分の破線に比較的近いので、著者らは SOAP の臨界バッチサイズのほうが大きいと述べている。公平にするため、バッチを kk 分の 1 にするごとに頻度を kk 倍にして、固有値分解のオーバーヘッドの割合を一定に保っている。

右図は最小の 25.6 万バッチだ。SOAP は AdamW よりステップ数が 25% 少なく、Shampoo より約 10% 少ない。上の表と照らし合わせると、小さなバッチでは優位がはっきり縮んでいる。著者らもこれは予備的な結果だとしていて、「バッチ×頻度」を固定するのが最良のトレードオフとは限らない。二次の手法が小さなバッチで効果を落とすのは、先行研究とも一致する。公式 README も、できるだけ大きなバッチを使うよう勧めている。

メモリを節約する変種と GaLore

SOAP は AdamW より 2m2+2n22m^2+2n^2 だけ多くメモリを使う。論文は二つの節約法を試した。回転後の空間で代わりに Adafactor を走らせると、mnmn 一つ分を節約でき、損失はほとんど変わらない。短いほうの側だけを回転させ、もう一方の側は単位行列にすると、損失はもう少し増えるが、それでも Shampoo と同等かわずかに良い。二つを組み合わせるとメモリは 2min⁡(m,n)2+2mn2\min(m,n)^2+2mn で、標準的な Transformer ではすでに AdamW の 3mn3mn より小さく、それでも AdamW に勝つ。

GaLore のフルランク版は SOAP によく似ていて、主な違いは 3 か所だ。GaLore の射影は現在の勾配の SVD から来るが、SOAP は GG⊤GG^\top の移動平均を使う。GaLore はモーメンタムを射影空間に保存し、基底を変えても元に戻さないが、SOAP は元の空間に保存する。GaLore は片側だけを射影する。2.1 億パラメータのモデルで、GaLore の最良の結果は 3.12 で、AdamW には勝つが Shampoo の 3.10 には負ける。そこで著者らは、SOAP のこれらの変更はどれも必要だと考えている。

このアイデアは、実は以前に書かれていた。Anil らは 2020 年の Distributed Shampoo 論文の付録 B で、2 次元の層では SOAP と本質的に等価なアルゴリズムを記述していた。ただし実験は付けず、未発表の実験では改善が見られなかったとだけ書いている。SOAP の著者らは関連研究でこのことを正直に説明し、違いは実装の細部から来ているのだろうと推測している。

限界

論文自身が挙げている限界ははっきりしている。モデルは最大 6.6 億パラメータで、当時の大規模モデルより 2 桁小さい。著者らは結論がより大きな規模にも一般化できると仮定しているが、それは「remains to be validated」だ。言語モデルしか試していない。スループットは 1 枚の GPU で測っていて、分散実装の比較は今後の課題としている。LL、RR の演算はすべて fp32 で、PyTorch の QR はより低い精度をサポートしていないので、オーバーヘッドの下限は当面これ以上下げられない。

1 年後の独立検証

2025 年、Stanford の Wen、Hall、Ma、Liang は「Fantastic Pretraining Optimizers and Where to Find Them」を発表し、AdamW と 10 個の新しいオプティマイザを 1.3 億から 12 億パラメータ、Chinchilla の 1 倍から 8 倍のデータ量の設定に置き、それぞれを丁寧に調整したうえで比較した。

彼らは 3 億と 5.2 億パラメータのモデルで、SOAP が調整済みの AdamW より 1.2〜1.3 倍速いと測った。12 億パラメータになると、SOAP も Muon も約 1.1 倍しか残らない。もう一つの発見は、モデルに対するデータ量の比を 8 倍以上にすると、データが少ないときに最強だった Muon を SOAP と Kron が上回ることだ。彼らの SOAP 実装はさらに重みのブロック分割を行い、12 億パラメータではモーメンタムに bf16 を使っていて、原版とは少し違う。

結論

SOAP は一つの等価関係から出発する。1/21/2 乗の Shampoo は、その固有基底の中で Adafactor を走らせることにほかならない。高い基底と安いスケーリングを切り離すと、基底は 10 ステップかそれ以上に 1 回だけ更新すればよく、スケーリングは毎ステップ Adam のやり方で更新する。ハイパーパラメータも、AdamW より頻度が一つ多いだけにまで減った。3.6 億と 6.6 億パラメータの言語モデル、大きなバッチで、AdamW よりステップ数が約半分、実時間が 38%〜48% 少ない。

試してみたいなら、公式の soap.py はそのままプロジェクトにコピーできる。README の設定、β=(0.95,0.95)\beta=(0.95, 0.95)、頻度 10 から始め、まず 1 ステップが AdamW よりどれだけ遅いかをきちんと測ってから、頻度を下げるかどうかを決めるとよい。メモリが厳しいなら、片側だけの回転と Adafactor 版が、論文で検証済みの退路になる。

Fantastic は本文でわざわざ名指しして、SOAP はベースラインのハイパーパラメータを独立に走査した数少ない論文の一つで、報告した高速化も彼らの実測に最も近いと書いている。オプティマイザの論文で、こういう評価はめったに見ない。