論文ノートライブラリに戻る
arXiv 2018ICML 2018オプティマイザ論文ノート

Adafactor

メモリの断捨離

原論文

Adafactor: Adaptive Learning Rates with Sublinear Memory Cost

論文の著者

Noam Shazeer · Mitchell Stern

発表先
ICML 2018国際会議
arXiv への初回投稿
arXiv:1804.04235
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{optimizersadafactor2018,
  title = {{Adafactor: Adaptive Learning Rates with Sublinear Memory Cost}},
  author = {Noam Shazeer and Mitchell Stern},
  year = {2018},
  eprint = {1804.04235},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1804.04235}
}
このページの内容

T5 論文の学習設定を開くと、オプティマイザの行には「For optimization, we use AdaFactor」と書いてある。その後の FLAN や Flan-T5 の微調整、PaLM の 5,400 億パラメータの事前学習も、これを使っていた。

源流に戻ると、Adafactor の論文で実験したタスクは一つだけで、英独翻訳の Transformer、学習 1 回あたり TPU v2 1 個で 2 時間足らずだった。Noam Shazeer と Mitchell Stern が解決したかった問題は 1 ページ目に書いてある。Adam はメモリを食いすぎるのだ。

問題の定義

Adam はパラメータ一つごとに、一次モーメント mm と二次モーメント vv という二つの数を余分に保存する。論文によれば、これでメモリは 3 倍になる。重みが 1 セット、mm が 1 セット、vv が 1 セットだ。1024×40961024 \times 4096 のフィードフォワード層の重みで計算すると、パラメータは 4,194,304 個あるので、Adam はさらに 8,388,608 個の数を保存しなければならない。

2018 年当時、著者らは計算能力の伸びがメモリ容量の伸びよりはるかに速く、メモリがすでにモデルサイズの上限の一つになっていると見ていた。重みとオプティマイザの状態だけを数えるなら、Adam が余分に持つ 2 セットのせいで、同じメモリに載るモデルは 3 分の 1 の大きさになる。

著者らは四つのことを実現しようとした。

  1. 二次モーメントを nmnm 個から n+mn+m 個に圧縮する。
  2. 一次モーメントを取り除く(β1=0\beta_1 = 0)。
  3. モーメンタムを取り除いたあとに出てくる不安定さに対処する。
  4. ステップサイズを、パラメータの大きさに対する比率に変える。

最初の二つはメモリの節約、三つ目は節約によって生じた面倒の後始末、四つ目は著者らがついでに加えた改良だ。

問題の解決

行和と列和だけを覚える

ある層の重みが n×mn \times m の行列だとすると、Adam はそれと同じ大きさの、勾配の 2 乗の指数平均 VV を保持する。もし二つの小さな行列 R∈Rn×kR \in \mathbb{R}^{n\times k}、S∈Rk×mS \in \mathbb{R}^{k\times m} だけを保存して V≈RSV \approx RS とできれば、メモリはずっと少なくて済む。問題は、どんな方法で分解するかだ。

最もよく使われる低ランク近似は打ち切り SVD で、Frobenius ノルムのもとで最適だが、問題が二つある。一つは、上位 kk 個の特異ベクトルは足し合わせられないことだ。二つの行列を足した後の特異ベクトルは、それぞれの特異ベクトルと単純な関係にないので、指数平均につなげられない。もう一つは、近似した要素が負になりうることで、Adam は VV の平方根をとって逆数にする必要がある。

著者らは代わりに、非負値行列分解でよく使われる generalized KL divergence、別名 I-divergence を使った。

d(p,q)=plog⁡pq−p+qd(p, q) = p \log \frac{p}{q} - p + q

これは常に 0 以上で、p=qp = q のときだけ 0 になる。目標は、RR、SS がどちらも非負という条件のもとで ∑i,jd(Vij,[RS]ij)\sum_{i,j} d(V_{ij}, [RS]_{ij}) を最小にすることだ。一般のランク kk では交互最適化が必要になるが、ランク 1 の場合には解析解がある(論文の Lemma 1)。

V^=(V1m)(1n⊤V)1n⊤V1m\hat V = \frac{(V 1_m)(1_n^\top V)}{1_n^\top V 1_m}

V1mV 1_m は各行(row)の和、1n⊤V1_n^\top V は各列(column)の和で、分母はすべての要素の総和だ。平たく言えば、第 ii 行・第 jj 列の推定値は「第 ii 行の和 × 第 jj 列の和 ÷ 総和」になる。

2×32 \times 3 の例で計算してみよう。

V=[936312]⇒行和=(18, 6),    列和=(12, 4, 8),    総和=24V = \begin{bmatrix} 9 & 3 & 6 \\ 3 & 1 & 2 \end{bmatrix} \quad\Rightarrow\quad \text{行和}=(18,\,6),\;\; \text{列和}=(12,\,4,\,8),\;\; \text{総和}=24

左上は 18×12/24=918 \times 12 / 24 = 9、右下は 6×8/24=26 \times 8 / 24 = 2 で、行列全体がそっくりそのまま復元される。2 行目がちょうど 1 行目の 3 分の 1 なので、VV 自体がランク 1 だからだ。右下の 2 を 8 に変えると、行和は (18,12)(18, 12)、列和は (12,4,14)(12, 4, 14)、総和は 30 になり、右下の推定値は 12×14/30=5.612 \times 14 / 30 = 5.6 にしかならない。この分解は、各行・各列の全体的な大きさは覚えていられるが、あるマスだけが突出していることは覚えていられない。

この解は行和と列和しか使わず、どちらも VV の線形関数なので、「平均してから合計する」と「合計してから平均する」は同じになる。実装では、行和と列和にそれぞれ指数平均をかければよく、完全な VV を先に復元する必要はない。1024×40961024 \times 4096 のあの重みなら、二次モーメントは 4,194,304 個の数から 5,120 個になる。

著者らは β1=0\beta_1 = 0 の版を Algorithm 2 として書いている。

Rt=β2Rt−1+(1−β2) (Gt2) 1mCt=β2Ct−1+(1−β2) 1n⊤(Gt2)V^t=RtCt/1n⊤Rt1−β2t\begin{aligned} R_t &= \beta_2 R_{t-1} + (1-\beta_2)\,(G_t^2)\,1_m \\ C_t &= \beta_2 C_{t-1} + (1-\beta_2)\,1_n^\top (G_t^2) \\ \hat V_t &= \frac{R_t C_t / 1_n^\top R_t}{1 - \beta_2^t} \end{aligned}

そのうえで、Adam と同じように Gt/(V^t+ϵ)G_t / (\sqrt{\hat V_t} + \epsilon) で更新する。バイアスやベクトル形式のパラメータは、もとどおり要素ごとの VV を保つ。もともと大きくないからだ。

モーメンタムを外したら、問題が起きた

二つ目はもっと単純で、β1=0\beta_1 = 0 として mm も保存しない。

実験はすべて WMT'14 英独の Transformer で行い、100,000 ステップ、各バッチはソース側トークン約 4,096 個とターゲット側トークン約 4,096 個で、元の Transformer 論文のおよそ 8 分の 1 だ。どの設定も 2 回ずつ走らせる。1 回はウォームアップありで、学習率は 0.1⋅min⁡(10−6t, 1/t)0.1 \cdot \min(10^{-6} t,\, 1/\sqrt t)。もう 1 回はウォームアップなしで、最初から 0.1⋅min⁡(10−2, 1/t)0.1 \cdot \min(10^{-2},\, 1/\sqrt t) を使う。指標は newstest2013 開発セットの BLEU だ。

設定ウォームアップありウォームアップなし
(A) Adam、β1=0\beta_1=025.60.1
(B) Adam、β1=0.9\beta_1=0.925.423.1
(C) 二次モーメントを分解、β1=0\beta_1=025.40.2
(D) 行平均のみ25.20.3
(E) 列平均のみ0.30.5

原論文 Table 2 をもとに整理。すべての設定で β2=0.999\beta_2 = 0.999。

ウォームアップありなら、モーメンタムを外しても(A 対 B)、さらに二次モーメントを分解しても(C)、BLEU の差はコンマ数ポイントだけだ。(D)、(E) はさらに節約した二つの対照で、行平均だけ、または列平均だけを保存する。行平均はベースラインとほぼ同じだが、列平均はまったく駄目になる。著者らの説明では、このモデルは単語埋め込みと出力 softmax で同じ重み行列を共有していて、各行が一つのトークンに対応する。高頻度トークンの行の勾配は低頻度トークンよりはるかに大きいので、列平均だけを保存すると、すべてのトークンが同じスケールに混ぜ合わされてしまう。

厄介なのは右の列だ。ウォームアップなしでは、モーメンタムのある (B) はまだ 23.1 あるのに、モーメンタムを外した (A) は 0.1 まで落ちる。

古くなった二次モーメント

著者らは β2\beta_2 に問題があると疑った。β2\beta_2 が小さいと二次モーメントは速く減衰し、それが収束の問題を引き起こすことは Reddi らがすでに指摘している。β2\beta_2 が大きいと推定値はずっと前の勾配から来ていて、モデルが速く変化しているときには追いつけない。

どちらの状況も観察できる。β2=0.999\beta_2 = 0.999 ではウォームアップありで 25.6、なしで 0.1。β2=0.9\beta_2 = 0.9 では 18.4 と 15.6 で、安定はしているがよく学習できていない。

「追いつけない」かどうかを確かめるため、著者らは一つの量を定義した。

RMS(Ut)=Mean⁡x∈X ⁣(gxt2v^xt)\mathrm{RMS}(U_t) = \sqrt{\operatorname{Mean}_{x \in X}\!\left(\frac{g_{xt}^2}{\hat v_{xt}}\right)}

Ut=−gt/v^tU_t = -g_t / \sqrt{\hat v_t} は、学習率を掛ける前の更新だ。v^\hat v が正確に推定されていれば、各パラメータの g2/v^g^2 / \hat v はどれも 1 の近くにあるはずで、行列全体の RMS も 1 に近くなる。

原論文 Figure 1。ある Transformer の重み行列の最初の 3,000 ステップにおける RMS(U_t)。β2=0.9 の赤線はずっと 1 の近くで上下している。β2=0.999 の青線は最初の 300 ステップで約 0.33 まで下がり、約 800 ステップ目で約 2.24 まで跳ね上がり、その後ゆっくり下がって、2,000 ステップ以降は 1 の近くに戻る。
原論文 Figure 1(Shazeer と Stern)、PDF 5 ページより。arXiv ライセンス、学術引用。

赤線は β2=0.9\beta_2 = 0.9 で、ずっと 1 の近くにある。青線は β2=0.999\beta_2 = 0.999 で、最初の 300 ステップでまず 0.33 前後まで下がり、更新が想定より小さくなる。続いて 800 ステップあたりで 2.24 まで跳ね上がり、更新は想定の 2 倍以上になる。この 2 回の学習はどちらもウォームアップありで、最後まで発散していないので、「学習が崩れたせいで更新が大きくなった」という順序ではない。著者らは大きすぎる更新が不安定を引き起こしていると考えているが、この図は裏づけであって、まだ証明ではないとも率直に認めている。

Update clipping

更新が大きすぎるのが問題なら、更新を直接制限すればいい。

U^t=Utmax⁡(1,  RMS(Ut)/d)\hat U_t = \frac{U_t}{\max\left(1,\; \mathrm{RMS}(U_t) / d\right)}

RMS がしきい値 dd を超えたら、行列全体の更新を同じ比率で dd まで縮める。これはよくある勾配クリッピングとは違う。勾配クリッピングが制限するのは勾配だが、Adam のような手法はさらにパラメータごとに v^\sqrt{\hat v} で割るので、v^\hat v が古くなっていると、クリッピングした勾配でもやはり大きな更新に拡大されうる。update clipping は、最後に実際に使われるその一歩を直接制限する。

d=1d = 1 なら、ウォームアップなしの 0.1 が 21.5 まで持ち直す。d=2d = 2 ではしきい値が緩すぎて、やはり 0.2 にとどまる。ウォームアップありでは、クリッピングの有無ではっきりした差は出ない。

β2\beta_2 をステップ数とともに上げる

もう一つの道は、β2\beta_2 を最初は小さく、後で大きくすることだ。著者らはまず、Adam のバイアス補正そのものが、増加していく β2\beta_2 と等価であることを指摘した。

β^2t=β2 1−β2t−11−β2t\hat\beta_{2t} = \beta_2 \,\frac{1 - \beta_2^{t-1}}{1 - \beta_2^{t}}

これは t=1t = 1 で 0 になり、その後だんだん β2\beta_2 に近づく。著者らは別のスケジュールを提案した。

β^2t=1−t−c\hat\beta_{2t} = 1 - t^{-c}

論文が採用した c=0.8c = 0.8 を例にとると、10 ステップ目で 0.84、100 ステップ目で 0.975、1,000 ステップ目で 0.996、およそ 5,600 ステップ目で 0.999 を超え、10,000 ステップ目で 0.9994 になる。学習初期は速い減衰のようにふるまって安定し、後期は遅い減衰のようにふるまって推定がより正確になる。

このスケジュールにはさらに二つの利点がある。β^21=0\hat\beta_{21} = 0 なので、過去のすべての勾配の重みの合計がちょうど 1 になり、バイアス補正が要らない。また著者らは無限積の収束条件を使って、c≤1c \le 1 のときに限り、古い勾配の一つ一つの重みが最終的に 0 に近づくことを証明した。c>1c > 1 だと β2\beta_2 の上昇が速すぎて、初期の勾配がいつまでも無視できない比重で残る。c=1c = 1 はちょうど、すべての 2 乗勾配の算術平均になる。

設定ウォームアップありウォームアップなし
(G) β2=0.9\beta_2 = 0.918.415.6
(H) β2=0.999\beta_2 = 0.999、クリッピング d=1d=125.421.5
(I) β2=0.999\beta_2 = 0.999、クリッピング d=2d=225.70.2
(J) 分解、β2=0.999\beta_2 = 0.999、クリッピング d=1d=125.622.4
(K) β^2t=1−t−0.5\hat\beta_{2t} = 1-t^{-0.5}25.621.1
(L) β^2t=1−t−0.8\hat\beta_{2t} = 1-t^{-0.8}25.60.1
(N) β^2t=1−t−0.8\hat\beta_{2t} = 1-t^{-0.8}、クリッピング d=1d=125.922.4

原論文 Table 2 をもとに整理。すべて β1=0\beta_1 = 0。

c=0.5c = 0.5 は単独でもウォームアップなしの条件を持ちこたえた。c=0.8c = 0.8 は単独ではまだ足りず、クリッピングと組み合わせる必要がある。(N) はウォームアップありで表全体の最高となる 25.9 を出し、(J) は二次モーメントの分解にクリッピングを加えても、モーメンタムつきの Adam とほぼ同じ安定性が得られることを示している。

相対ステップサイズ

最後の部品はメモリとは関係ない。Adam の学習率は絶対的なステップサイズだが、著者らはパラメータの相対的な変化のほうが重要だと考え、ステップサイズにパラメータ自身の大きさを掛けることにした。

αt=max⁡(ϵ2,  RMS(Xt−1)) ρt,ρt=min⁡ ⁣(10−2,  1t)\alpha_t = \max\bigl(\epsilon_2,\; \mathrm{RMS}(X_{t-1})\bigr)\,\rho_t, \qquad \rho_t = \min\!\left(10^{-2},\; \frac{1}{\sqrt t}\right)

RMS(Xt−1)\mathrm{RMS}(X_{t-1}) はそのパラメータ行列の現在の二乗平均平方根で、ϵ2=10−3\epsilon_2 = 10^{-3} は下限だ。これで 0 に初期化されたパラメータも原点から離れられる。論文の謝辞では、Geoffrey Hinton の見解に特に触れている。1 回の更新の大きさがパラメータの大きさのおよそ 10−210^{-2} から 10−310^{-3} 倍のとき、学習はとても順調に進むというものだ。

著者らは単語埋め込みの 3 通りの初期化でテストした(50,000 ステップ、バッチ 16,384 トークン、単語埋め込みは softmax と共有しない)。元の Transformer のやり方は、標準偏差 1/dmodel1/\sqrt{d_{model}} で初期化し、計算時に dmodel\sqrt{d_{model}} を掛けるというもので、こうすると同じ絶対学習率が単語埋め込みにもほかの重みにも適切になる。結果は Adam 26.4、Adafactor 26.6。より素朴な初期化に替えると Adam は 25.8 と 24.2 に落ちるが、Adafactor は 26.4 と 25.4 を保った。パラメータのスケールがうまく設定されていないときは、相対ステップサイズのほうが影響を受けにくい。

組み上げる

原論文 Algorithm 4。Adafactor が重み行列を処理する手順の全体で、相対ステップサイズ α_t、勾配 G_t、行和 R_t と列和 C_t の指数平均、分解した二次モーメントの推定、スケーリング前の更新 U_t、update clipping を順に計算し、最後にパラメータを更新する。
原論文 Algorithm 4(Shazeer と Stern)、PDF 8 ページより。arXiv ライセンス、学術引用。

五つの部品をつなげると Algorithm 4 になる。3 行目が相対ステップサイズ、5、6 行目が ϵ1\epsilon_1 を加えた行和と列和の平均、7 行目で二次モーメントを復元し、9 行目が update clipping だ。論文が推奨するハイパーパラメータは ϵ1=10−30\epsilon_1 = 10^{-30}、ϵ2=10−3\epsilon_2 = 10^{-3}、d=1d = 1、ρt=min⁡(10−2,1/t)\rho_t = \min(10^{-2}, 1/\sqrt t)、β^2t=1−t−0.8\hat\beta_{2t} = 1 - t^{-0.8} で、モーメンタムはない。オプティマイザ全体で、n×mn \times m の行列一つに対して余分に保存するのは n+mn + m 個の数だけだ。

議論

完全版の成績

設定ウォームアップありウォームアップなし
(A) Adam、β1=0\beta_1=025.60.1
(B) Adam、β1=0.9\beta_1=0.925.423.1
(O) Adafactor25.025.5
(P) Adafactor にモーメンタムを戻す24.925.3
(Q) SGD、最良の学習率24.39.1

原論文 Table 2 をもとに整理。(O)、(P) は相対ステップサイズ ρt\rho_t を使用。(Q) はウォームアップありで lr=200⋅stlr = 200 \cdot s_t、なしで lr=10⋅stlr = 10 \cdot s_t を使い、それより大きい学習率はウォームアップなしですべて発散した。

完全な Adafactor はウォームアップなしで表全体の最高となる 25.5 を出し、ウォームアップありでは 25.0 で、モーメンタムなしの (A) より 0.6、モーメンタムありの (B) より 0.4 低い。著者ら自身も、相対ステップサイズを使う設定のステップサイズはほかの行と直接比べられないので、安定性が相対ステップサイズによるものかどうかは断定できないと述べている。SGD も余分なメモリを使わないが、最良でも 24.3 で、しかも学習率にとても敏感だ。

これらの結果は、一つの翻訳タスク、一種類のモデル、10 万ステップ、元の設定より 8 倍小さいバッチから得られたものだけだ。論文は最後に、節約したメモリで「はるかに大きなモデルを学習できるはずだ」と述べているが、大規模モデルの実験は一つもなく、メモリや速度の実測もない。

その後の Adafactor

本当の大規模テストは、ほかの人たちが行った。

T5 は Adafactor をそのまま採用し、事前学習の学習率は「最初の 1 万ステップは 0.01 で固定し、その後は平方根の逆数で減衰」させた。これは実はこの論文の ρt=min⁡(10−2,1/t)\rho_t = \min(10^{-2}, 1/\sqrt t) そのものだ。T5 が公開した学習設定ファイルも、論文の β1=0\beta_1 = 0、update clipping のしきい値 1.0、二次モーメントの分解、パラメータスケーリングを踏襲している。

DeepMind は Gopher の学習で別の方向を試した。14 億パラメータでは Adafactor は安定して使いやすかったが、71 億パラメータになると小さな損失の発散が出始めた。Adam の最大学習率は 1.2×10−41.2\times10^{-4} だったが、Adafactor は 6×10−56\times10^{-5} まで下げてもまだ不安定だった。それでも彼らは、最終的に Gopher の微調整には Adafactor を使った。ハードウェアの要件がずっと低いからだ。

Google は 20 億パラメータの ViT-G を学習したとき、Adafactor は「そのままでは使えない」として、3 か所を変えた。半精度の一次モーメントを戻し、重みノルムに対するステップサイズのスケーリングを無効にし、β2\beta_2 の上限を 0.999 で打ち切ったのだ。変更後は Adam と同等か、わずかに良かった。

PaLM のやり方はもっと直接的だ。論文は「分解しない」Adafactor を使ったと明記していて、効果はパラメータスケーリングつきの Adam に近い。モーメンタムは β1=0.9\beta_1 = 0.9、二次モーメントは β2=1−k−0.8\beta_2 = 1 - k^{-0.8} を使い、学習率は最初の 1 万ステップが 10−210^{-2}、その後 1/k1/\sqrt k で減衰させる。彼らは、この β2\beta_2 のスケジュールは固定の 0.99 より安定すると特に説明している。まれなトークンの単語埋め込みは、短い時間窓では二次モーメントを正確に推定できないからだ。

update clipping も単独で持ち出された。Wortsman らは 2023 年、大規模な CLIP の学習で起きる loss spike が、必ず二次モーメントが 2 乗勾配を過小評価した 1〜8 ステップ後に現れることを見つけ、StableAdamW を提案した。つまり「Adafactor の update clipping を加えた AdamW」だ。彼らはまた、大規模学習では元の形の Adafactor はもうあまり使われておらず、その理由は二次モーメントの分解かモーメンタムがないことだろうと推測している。

パッケージの側では、Hugging Face Transformers にはかなり早くから Adafactor があり、PyTorch は 2.5 版でようやく torch.optim.Adafactor を加えた。どちらもデフォルトでは相対ステップサイズを使う(Hugging Face ではオフにできる)。PyTorch の版は lr を ρt\rho_t の上限として扱い、ϵ1\epsilon_1 の位置を意図的に論文からずらしたと説明している。

結論

Adafactor は行和と列和によるランク 1 分解で二次モーメントを nmnm から n+mn+m に圧縮し、さらにモーメンタムを取り除いた。取り除いたあとの不安定さについては、著者らは原因を古くなった二次モーメントにまでたどり、update clipping と 1−t−0.81-t^{-0.8} の β2\beta_2 スケジュールで片づけた。これらは一つの翻訳タスクで成り立ち、その後 T5 の規模でも持ちこたえた。数十億パラメータの規模になると、Gopher は不安定だと報告し、PaLM と ViT-G はモーメンタムを戻した。

Hugging Face で Adafactor を使いつつ学習率を自分で制御したいなら、relative_step=False と scale_parameter=False を忘れずに設定すること。そうしないと、オプティマイザは組み込みの ρt\rho_t に切り替えるか、こちらの学習率にさらにパラメータの RMS を掛けてしまい、書いておいた学習率スケジュールがそのとおりには効かなくなる。

PaLM が使った Adafactor は、最後には factor まで取り除いていた。