論文ノートライブラリに戻る
arXiv 2014ICLR 2015オプティマイザ論文ノート

Adam

アダムの第一歩

原論文

Adam: A Method for Stochastic Optimization

論文の著者

Diederik P. Kingma · Jimmy Ba

発表先
ICLR 2015国際会議
arXiv への初回投稿
arXiv:1412.6980
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{optimizersadam2014,
  title = {{Adam: A Method for Stochastic Optimization}},
  author = {Diederik P. Kingma and Jimmy Ba},
  year = {2014},
  eprint = {1412.6980},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1412.6980}
}
このページの内容

この論文の 1 ページ目の脚注には、2 人の著者の貢献は等しく、著者の順番は Google Hangout 上でコインを投げて決めたと書かれている。

コインを投げた結果、Diederik Kingma が前、Jimmy Ba が後ろになり、論文は 2014 年 12 月に arXiv に公開された。Algorithm 1 の説明文には「Good default settings for the tested machine learning problems」という一文があり、そのあとに四つの数字が続く。α=0.001\alpha=0.001、β1=0.9\beta_1=0.9、β2=0.999\beta_2=0.999、ϵ=10−8\epsilon=10^{-8} だ。

10 年後に PyTorch を開いても、torch.optim.Adam のデフォルト値はこの四つの数字のままだ。

このノートでは、Algorithm 1 を一行ずつ分解して見ていく。二つの移動平均はそれぞれ何を推定しているのか? なぜ 1−βt1-\beta^t で割るのか? 一歩でいったいどこまで進むのか? 論文の実験は何を示し、どの部分がのちに覆されたのか?

問題の定義

ニューラルネットワークを訓練するとき、手元にあるのはミニバッチで計算した勾配だけで、どのステップにもノイズが乗っている。dropout のような正則化は、さらにもう一層のランダム性を加える。パラメータはたやすく数百万を超え、二次の手法は高くつきすぎるので、論文は最初から対象を一次の手法に限っている。

最も基本的な SGD は、すべてのパラメータに同じ学習率を使う。ところが、パラメータごとの勾配の大きさは何桁も違うことがあり、同じ学習率では、あるパラメータには大きすぎ、別のパラメータには小さすぎる。

当時、この問題にはすでに二つの道があった。

  • AdaGrad はパラメータごとに過去の勾配の二乗和を記録し、その平方根で勾配を割る。θt+1=θt−α gt/∑i=1tgi2\theta_{t+1}=\theta_t-\alpha\, g_t\big/\sqrt{\sum_{i=1}^{t} g_i^2}。めったに現れない特徴量は勾配の二乗和が小さいので歩幅が大きくなり、スパースなデータで特に効く。その代わり、和は増える一方なので、学習率はどんどん小さくなっていく。
  • RMSProp は和を指数移動平均に置き換え、直近の一定期間の勾配だけを見る。学習率が小さくなり続けることはなく、目的関数が時間とともに変わる状況にも比較的対応しやすい。

Adam は両方の長所を取りたかった。論文の第 5 節はさらに、RMSProp にはバイアス補正がないことを指摘している。β2\beta_2 が 1 に近いと(スパースな勾配にはまさにこの設定が必要だ)、補正のない RMSProp は最初の歩幅が非常に大きくなり、そのまま発散することも多い。

つまりこの論文が答えようとしているのは、一次の勾配だけを使い、追加のメモリはパラメータと同じ大きさのもの 2 つ分だけで、スパースな勾配と変化する目的関数の両方に対応でき、しかも訓練の最初から安定して進めるオプティマイザを作れるか、という問いだ。

問題の解決

Algorithm 1

まずアルゴリズム全体を書き出す。演算はすべて要素ごとで、gt2g_t^2 は gt⊙gtg_t\odot g_t、βt\beta^t は β\beta の tt 乗を表す。

gt←∇θft(θt−1)mt←β1 mt−1+(1−β1) gtvt←β2 vt−1+(1−β2) gt2m^t←mt / (1−β1t)v^t←vt / (1−β2t)θt←θt−1−α m^t / (v^t+ϵ)\begin{aligned} g_t &\leftarrow \nabla_\theta f_t(\theta_{t-1}) \\ m_t &\leftarrow \beta_1\, m_{t-1} + (1-\beta_1)\, g_t \\ v_t &\leftarrow \beta_2\, v_{t-1} + (1-\beta_2)\, g_t^2 \\ \hat m_t &\leftarrow m_t \,/\, (1-\beta_1^t) \\ \hat v_t &\leftarrow v_t \,/\, (1-\beta_2^t) \\ \theta_t &\leftarrow \theta_{t-1} - \alpha\, \hat m_t \,/\, \big(\sqrt{\hat v_t}+\epsilon\big) \end{aligned}

最初は m0=v0=0m_0=v_0=0、t=0t=0 で、各ラウンドでまず tt を 1 増やす。

mtm_t は勾配の指数移動平均で、論文では一次モーメントの推定、つまり勾配の平均と呼んでいる。vtv_t は勾配の二乗の指数移動平均で、二次モーメント(平均を引かない分散)の推定だ。Adam という名前は adaptive moment estimation から取られている(謝辞によると、考えたのは Ivo Danihelka と Tom Schaul だ)。

更新量は m^t/v^t\hat m_t/\sqrt{\hat v_t} だ。分子が方向を決め、移動平均なのでモーメンタムの効果も持つ。分母はパラメータごとに固有のスケールを換算する。これは各パラメータが自分の学習率 α/v^t\alpha/\sqrt{\hat v_t} を持つのと同じで、ただしこの学習率は毎ステップ、直近の勾配から推定し直される。

論文には、二つの補正を一つの係数にまとめた、計算を節約する書き方も載っている。

αt=α⋅1−β2t1−β1t,θt←θt−1−αt mt / (vt+ϵ^)\alpha_t=\alpha\cdot\frac{\sqrt{1-\beta_2^t}}{1-\beta_1^t},\qquad \theta_t\leftarrow\theta_{t-1}-\alpha_t\, m_t\,/\,\big(\sqrt{v_t}+\hat\epsilon\big)

二つの書き方の違いは ϵ\epsilon を足す位置だけで、ここでの ϵ^\hat\epsilon は Algorithm 1 の ϵ\epsilon とは別の量だ。この小さな違いはのちに各フレームワークに残っていて、議論の節でまた取り上げる。

バイアス補正

真ん中の二行の割り算が、この論文と RMSProp の最大の違いであり、第 3 節がまるごと導出に充てているところでもある。

vtv_t の漸化式を展開すると、過去のすべての勾配の二乗の重み付き和になる。

vt=(1−β2)∑i=1tβ2 t−i gi2v_t=(1-\beta_2)\sum_{i=1}^{t}\beta_2^{\,t-i}\, g_i^2

両辺の期待値を取る。勾配の二乗の期待値が時間によって変わらないと仮定すれば、E[gt2]\mathbb E[g_t^2] を外に出せて、残りは等比級数になる。

E[vt]=E[gt2]⋅(1−β2)∑i=1tβ2 t−i+ζ=E[gt2]⋅(1−β2t)+ζ\mathbb E[v_t]=\mathbb E[g_t^2]\cdot(1-\beta_2)\sum_{i=1}^{t}\beta_2^{\,t-i}+\zeta =\mathbb E[g_t^2]\cdot(1-\beta_2^t)+\zeta

二次モーメントが本当に時間によって変わらないなら ζ=0\zeta=0 だ。変わる場合でも、β2\beta_2 によって古い勾配の重みが十分小さくなっていれば、ζ\zeta はそれほど大きくならない。残る 1−β2t1-\beta_2^t は、すべて v0=0v_0=0 から走り出したことによるもので、これで割れば推定値は正しいスケールに戻る。mtm_t の導出もまったく同じだ。

デフォルト値で最初の一歩を計算してみよう。t=1t=1 のとき、

  • m1=0.1 g1m_1=0.1\,g_1 で、真の値の 10 分の 1 しかない。
  • v1=0.001 g12v_1=0.001\,g_1^2 で、平方根を取ると 0.0316 ∣g1∣0.0316\,|g_1|、真のスケールの 30 分の 1 程度しかない。

どちらも小さすぎるが、vv のほうがずれが大きい。補正しなければ、最初の一歩の大きさは α⋅0.1/0.0316≈3.16 α\alpha\cdot 0.1/0.0316\approx 3.16\,\alpha になる。補正すると m^1=g1\hat m_1=g_1、v^1=g12\hat v_1=g_1^2 となり、各パラメータの最初の一歩はちょうど α⋅sign⁡(g1)\alpha\cdot\operatorname{sign}(g_1) になる。

これが Adam の第一歩だ。勾配が 10−610^{-6} でも 10310^{3} でも、どのパラメータも α\alpha だけ進む。

では補正しなければ、大きすぎる歩幅はどれくらい続くのか? 毎ステップの勾配が同じだと仮定すると、補正なしの歩幅は α (1−β1t)/1−β2t\alpha\,(1-\beta_1^t)/\sqrt{1-\beta_2^t} になる。これを図にしてみよう。

折れ線グラフ。横軸はステップ数 t(対数目盛、1 から 2 万)、縦軸はバイアス補正なしの歩幅で、単位は α、β1 は 0.9 に固定。β2 = 0.99 の青線は第 13 ステップで最大約 2.1α になり、200 ステップほどで α 付近に戻る。β2 = 0.999 の橙色の破線は第 12 ステップで最大約 6.6α、第 1,000 ステップでもまだ約 1.26α。β2 = 0.9999 の緑の点線は第 12 ステップで最大約 20.7α、第 1,000 ステップでもまだ約 3.2α で、α に戻るには 1 万ステップ以上かかる。バイアス補正ありでは、3 本とも一定の α。
原論文の Algorithm 1 から本稿で計算して作図。各ステップの勾配は同じと仮定。

3 本の線はどれも第 12、13 ステップあたりで最大になる。このとき mtm_t はすでに真の値の 7 割ほどまで溜まっているが、vtv_t は β2=0.999\beta_2=0.999 のとき約 1% しか溜まっておらず、平方根を取っても 1 割強しかない。分子は追いついたのに、分母はまだだ。β2=0.999\beta_2=0.999 では最大 6.6 α6.6\,\alpha で、1.1 α1.1\,\alpha 以内に戻るのは 1,700 ステップあまり後。β2=0.9999\beta_2=0.9999 では最大 20.7 α20.7\,\alpha で、1 万 7,000 ステップあまりかかる。

さらにモーメンタムを外すと(β1=0\beta_1=0)、補正なしの最初の一歩は α/1−β2\alpha/\sqrt{1-\beta_2} になり、β2=0.9999\beta_2=0.9999 では 100 α100\,\alpha だ。学習率は 10−310^{-3} に設定したはずなのに、最初の一歩は 10−110^{-1} を使ったのと同じになる。

これがまさに論文の言う状況だ。スパースな勾配では十分な数のサンプルを平均するために大きな β2\beta_2 が必要で、β2\beta_2 が 1 に近いほど、補正なしの初期バイアスはひどくなる。

一歩でどこまで進むか

第 2.1 節では続いて、更新量そのものを分析している。まず ϵ=0\epsilon=0 とすると、各ステップの実効的な歩幅は Δt=α m^t/v^t\Delta_t=\alpha\,\hat m_t/\sqrt{\hat v_t} だ。

m^t/v^t\hat m_t/\sqrt{\hat v_t} は「勾配の平均」を「勾配の二乗の平均の平方根」で割ったものだ。∣E[g]∣≤E[g2]|\mathbb E[g]|\le\sqrt{\mathbb E[g^2]} なので、この比の絶対値はふつう 1 を超えず、∣Δt∣|\Delta_t| はおおよそ α\alpha で抑えられる。

例外が一つある。あるパラメータの勾配がずっと 0 で、このステップだけ突然値を持った場合、m^t\hat m_t はおよそ (1−β1)gt(1-\beta_1)g_t、v^t\hat v_t はおよそ (1−β2)gt2(1-\beta_2)g_t^2 になり、比は (1−β1)/1−β2(1-\beta_1)/\sqrt{1-\beta_2} になる。そのため論文の上界は二つの場合に分かれる。

∣Δt∣≤{α⋅(1−β1)/1−β2,1−β1>1−β2 のときα,それ以外|\Delta_t|\le \begin{cases} \alpha\cdot(1-\beta_1)/\sqrt{1-\beta_2}, & 1-\beta_1>\sqrt{1-\beta_2}\ \text{のとき}\\[2pt] \alpha, & \text{それ以外} \end{cases}

デフォルト値を代入すると、1−β1=0.11-\beta_1=0.1 は 0.001≈0.0316\sqrt{0.001}\approx0.0316 より大きいので、デフォルト設定は一つ目の場合に当たり、最悪で 3.16 α3.16\,\alpha だ。これは極端にスパースなパラメータでしか起きない。論文によれば、スパースさがそこまで極端でなければ、実効的な歩幅はこれより小さくなる。

この性質から、実用上の帰結が三つ得られる。

  1. α\alpha がそのまま歩幅になる。 これはおおよそ、各ステップでパラメータ空間を進む距離そのものだ。論文はこれを、現在のパラメータのまわりに信頼領域を描くことにたとえている。良い解が初期値からどれくらい離れているか見当がつけば、α\alpha の桁を見積もれる。
  2. 勾配のスケールに依存しない。 勾配を cc 倍すると、m^t\hat m_t は cc 倍、v^t\hat v_t は c2c^2 倍になり、比は変わらない。損失関数を 1000 倍すると SGD の歩幅も 1000 倍になるが、Adam はまったく影響を受けない。
  3. 自動的なアニーリング。 論文は「SN 比」(signal-to-noise ratio)という言葉を借りて m^t/v^t\hat m_t/\sqrt{\hat v_t} を呼んでいる。最適解に近づくと、勾配の符号がよく入れ替わり、平均は 0 に近づくが、二乗の平均は残る。比が小さくなり、歩幅もそれにつれて小さくなる。

AdaGrad、RMSProp との関係

第 5 節では、Adam をもとの系譜に戻して比較している。

RMSProp との違いは二つある。モーメンタム付きの RMSProp は、先に勾配をスケールで割り、割った結果にモーメンタムをかける。Adam は勾配の一次と二次のモーメントを別々に推定してから割る。もう一つの違いがバイアス補正だ。

AdaGrad との関係はもっと面白い。β1=0\beta_1=0 とし、1−β21-\beta_2 を 0 に近づけ、学習率を αt=α/t\alpha_t=\alpha/\sqrt t に置き換えると、バイアス補正した v^t\hat v_t は 1t∑i=1tgi2\frac1t\sum_{i=1}^t g_i^2 になり、更新式に戻すとちょうど AdaGrad になる。この対応はバイアス補正を残したときにしか成り立たない。補正を外すと、β2\beta_2 が 1 に近づくにつれて 1−β2t1-\beta_2^t が 0 に近づき、更新量が無限大になる。

論文はまた、v^t\hat v_t は Fisher 情報行列の対角の近似とみなせ、Adam はその平方根の逆数で前処理(preconditioning)していることになる、とも述べている。Fisher の逆行列をそのまま使う自然勾配と比べると、このやり方は少し控えめだ。

AdaMax

第 7.1 節は拡張だ。Adam は勾配の L2L^2 ノルムでスケーリングしているが、著者らはこれを LpL^p に一般化した。

vt=β2p vt−1+(1−β2p) ∣gt∣pv_t=\beta_2^p\, v_{t-1}+(1-\beta_2^p)\,|g_t|^p

pp が大きいと数値的に不安定になるが、p→∞p\to\infty として ut=lim⁡p→∞vt1/pu_t=\lim_{p\to\infty}v_t^{1/p} とおくと、重み付き和には最大の項だけが残り、とても単純な漸化式が得られる。

ut=max⁡(β2 ut−1, ∣gt∣),θt←θt−1−α1−β1t⋅mtutu_t=\max\big(\beta_2\, u_{t-1},\ |g_t|\big),\qquad \theta_t\leftarrow\theta_{t-1}-\frac{\alpha}{1-\beta_1^t}\cdot\frac{m_t}{u_t}

utu_t は「割り引かれた過去の最大勾配」だ。あるステップで ∣g∣=10|g|=10 が出ると uu は 10 になり、その後は毎ステップ 0.999 が掛かって、1,000 ステップ後でも約 3.7 が残る。utu_t は少なくとも現在の ∣gt∣|g_t| に等しく、0 からゆっくり上がっていくことがないので、バイアス補正はいらない。歩幅の上界もより単純で、∣Δt∣≤α|\Delta_t|\le\alpha だ。論文が勧めるデフォルト値は α=0.002\alpha=0.002 で、β1\beta_1、β2\beta_2 は Adam と同じ。

ほかに第 7.2 節では、パラメータの指数移動平均 θˉt←β2θˉt−1+(1−β2)θt\bar\theta_t\leftarrow\beta_2\bar\theta_{t-1}+(1-\beta_2)\theta_t も提案しており、同じく 1−β2t1-\beta_2^t で初期バイアスを補正する。

収束の証明

第 4 節は、オンライン凸最適化の枠組みで Adam を分析している。各ステップで事前にはわからない凸関数 ftf_t に向き合い、評価基準はリグレット(regret)、つまり累積損失が、後から見て最良の固定パラメータと比べてどれだけ多いかだ。

R(T)=∑t=1T[ft(θt)−ft(θ∗)]R(T)=\sum_{t=1}^{T}\big[f_t(\theta_t)-f_t(\theta^*)\big]

Theorem 4.1 には条件がたくさんある。勾配が有界であること、反復点どうしの距離が有界であること、β12/β2<1\beta_1^2/\sqrt{\beta_2}<1、学習率は αt=α/t\alpha_t=\alpha/\sqrt t で減衰させ、β1\beta_1 も β1,t=β1λt−1\beta_{1,t}=\beta_1\lambda^{t-1} で時間とともに減衰させること。これらの条件のもとで、論文は O(T)O(\sqrt T) のリグレットを得ており、平均リグレット R(T)/TR(T)/T は 0 に近づく。

実際にはこの条件どおりに Adam を回すことはまずない。学習率は固定か別のスケジュールのことが多く、β1\beta_1 も 0.9 に固定する。論文自身も第 6.2 節で、この分析はニューラルネットワークのような非凸問題には当てはまらないと認めている。

この定理はのちに誤りだと示された。2018 年、Reddi、Kale、Kumar は、付録の証明がある段階で v^t/αt−v^t−1/αt−1\sqrt{\hat v_t}/\alpha_t-\sqrt{\hat v_{t-1}}/\alpha_{t-1} を負にならないものとして扱っていると指摘した。この量は「実効学習率の逆数」の時間変化で、Adam の vtv_t は移動平均なので、勾配が小さくなれば小さくなる。だからこの量は負になりうる。彼らは同時に補題 10.3、10.4 にも問題があると指摘し、定理の条件を満たす 1 次元の凸問題を作って、Adam がその上で最悪の点に収束することを示した。

議論

ロジスティック回帰、多層パーセプトロン、畳み込みネットワークの三組の実験は、どれもバッチサイズ 128 で、オプティマイザどうしを比べるときは同じ初期パラメータを使っている。学習率やモーメンタムなどのハイパーパラメータは密なグリッドで探索し、最良の組を報告している。論文が描いているのは損失の曲線だけで、最初の三組は訓練損失だと明記されており、テスト精度はない。図を読むときはこの点を覚えておきたい。これらの実験が比べているのは「誰が訓練損失を速く下げるか」だ。

ロジスティック回帰

2 枚の折れ線グラフ。左は MNIST のロジスティック回帰で、横軸はエポック(0 から 45)、縦軸は訓練損失。Adam(赤)と Nesterov モーメンタム付き SGD(緑)はどちらもすぐに約 0.26 から 0.27 まで下がり、AdaGrad(青)は第 45 エポックでもまだ 0.46 前後。右は IMDB の bag-of-words 特徴量によるロジスティック回帰で、4 手法すべてに dropout を加えている。Adagrad、RMSProp、Adam の 3 本は約 0.25 まで下がり、SGD Nesterov(赤)は激しく振動して 0.35 付近にとどまる。
原論文 Figure 1(Kingma と Ba)、PDF 6 ページより。arXiv ライセンス、学術引用。

ロジスティック回帰は凸問題で、局所最小値を心配する必要がなく、オプティマイザを単純に比べるのに向いている。この実験の学習率は、第 4 節の理論どおり α/t\alpha/\sqrt t で減衰させている。

左は MNIST で、784 次元の画素ベクトルをそのまま分類する。Adam と SGD モーメンタムはほぼ同じで、どちらも AdaGrad よりずっと速い。

Adam が本当に示したかったのは右の図だ。著者らは IMDB の映画レビューを、頻出上位 10,000 語の bag-of-words ベクトルに変換した。各レビューはそのうちごく一部の単語しか使わないので、とてもスパースな特徴量になる。過学習を防ぐため、特徴量には 50% の dropout をかけている。ここでは AdaGrad が SGD を大きくリードし、Adam は AdaGrad と同じくらい速い。スパースな特徴量での強みを、Adam はちゃんと受け継いでいる。

多層パーセプトロン

次は、2 層でそれぞれ 1000 個の ReLU ユニットを持つ全結合ネットワークで、同じく MNIST を使う。dropout を加えた版では、Adam の訓練損失は AdaGrad、RMSProp、SGD モーメンタム、AdaDelta より低い。

dropout を加えず L2 重み減衰を使う版では、著者らは別に SFO とも比べている。SFO はミニバッチで動く準ニュートン法で、各ステップで曲率の情報を更新するため、Adam より 5 から 10 倍遅く、メモリもミニバッチの数に比例して増える。Adam は反復回数で数えても実時間で数えても SFO より速い。しかも SFO は各部分関数が決定的だと仮定しているので、dropout があると収束しない。

畳み込みネットワーク

CIFAR-10 の畳み込みネットワークの訓練損失曲線 2 枚。左は最初の 3 エポックだけを見たもので、Adam(マゼンタ)と dropout 付き Adam(黄)が最も速く下がり、第 3 エポックで約 0.6 から 0.7、AdaGrad(青)は約 1.2。右は 45 エポックで縦軸は対数。Adam と SGD Nesterov(赤)は第 15 エポックあたりで急降下し、最後は約 4 から 6 × 10 の −4 乗。AdaGrad と dropout 付き AdaGrad は 0.6 から 0.8 で止まり、dropout 付きの Adam と SGD は約 0.02 から 0.04。
原論文 Figure 3(Kingma と Ba)、PDF 7 ページより。arXiv ライセンス、学術引用。

ネットワークは 5×55\times5 畳み込みと、3×33\times3・ストライド 2 の最大プーリングの 3 段構成で、チャネル数は 64、64、128、最後に 1000 個の ReLU を持つ全結合層が続く。入力は事前に白色化し、入力層と全結合層に dropout をかける。

左図の最初の 3 エポックでは、Adam も AdaGrad も速く下がる。しかし右図で 45 エポックまで伸ばすと、AdaGrad はかなり早い段階で止まり、Adam と SGD モーメンタムは 10−310^{-3} 未満まで下がり続ける。

この結果について、著者らの説明はとても具体的だ。彼らの観察では、数エポック訓練すると v^t\hat v_t はほぼ 0 まで小さくなり、分母は ϵ\epsilon に支配されて、二次モーメントはもうこの問題の幾何をうまく表せなくなる。畳み込みネットワークで主に効いているのは一次モーメントで、ミニバッチのノイズを平均して打ち消している。この説明を推し進めると、分母が ϵ\epsilon に支配されているとき、Adam の振る舞いはモーメンタム付き SGD に近くなる。両者の曲線がよく似ていることとも合う。著者らは正直に、Adam は SGD モーメンタムに対して小幅な改善にとどまると書いている。利点は、層ごとに学習率のスケールを自動で調整してくれることで、畳み込み層のために小さめの学習率を手で選ぶ必要がない。

ϵ\epsilon は「ゼロ除算を避けるための小さな定数」とされているが、v^t\sqrt{\hat v_t} がそれと同じ桁まで小さくなれば、実際に更新に加わっている。

バイアス補正の実験

変分オートエンコーダの訓練結果を示す小さな図が、2 行 3 列ずつ 2 組。左の組は 10 エポック訓練後、右の組は 100 エポック訓練後。各行は β1 = 0 または 0.9、各列は β2 = 0.99、0.999、0.9999。各小図の横軸は log10(α) で −5 から −1、縦軸は損失で範囲は 95 から 140。赤線はバイアス補正あり、緑線はなし。β2 = 0.99 では 2 本の線がほぼ重なり、β2 が 1 に近いほど緑線が早く図の外に飛び出す。10 エポック、β1 = 0 のとき、β2 = 0.999 と 0.9999 の緑線はほぼ全体が図の外にあり、赤線の最小は約 110。100 エポック後は、6 枚すべてで赤線の最低点が 100 前後。
原論文 Figure 4(Kingma と Ba)、PDF 8 ページより。arXiv ライセンス、学術引用。

これは論文全体で、設計を最も直接に検証している図だ。著者らは変分オートエンコーダ(VAE、隠れ層 1 層、softplus ユニット 500 個、50 次元のガウス潜在変数)を訓練し、β1∈{0,0.9}\beta_1\in\{0,0.9\}、β2∈{0.99,0.999,0.9999}\beta_2\in\{0.99,0.999,0.9999\}、そして 10−510^{-5} から 10−110^{-1} までの α\alpha を掃引した。バイアス補正を外した Adam を、論文はモーメンタム付き RMSProp の一種とみなしている。

各小図の横軸は学習率、縦軸は損失で、赤線が補正あり、緑線が補正なしだ。

  • β2=0.99\beta_2=0.99 の列では、赤と緑の 2 本はおおむね重なり、β1=0\beta_1=0 の行の緑線が最大の学習率で先に図の外へ飛び出すだけだ。この設定では、補正なしによるバイアスは 100〜200 ステップほどで消え、訓練全体への影響は小さい。
  • 右に進んで β2=0.9999\beta_2=0.9999 の列を見ると、緑線はより大きな学習率のところで図の外に飛び出す。いちばんひどいのは左の組の 1 行目 β1=0\beta_1=0 で、β2=0.999\beta_2=0.999 と 0.99990.9999 の緑線はほぼ全体が図の外にある。この 2 マスでは、補正なしの最初の一歩がそれぞれ 31.6 α31.6\,\alpha と 100 α100\,\alpha になる。
  • 右の組で 100 エポックまで訓練すると、6 枚すべてで赤線の最低点は 100 付近にある。β2=0.9999\beta_2=0.9999 の列では赤線の最低点が α=10−3\alpha=10^{-3} にあり、同じ学習率で緑線は β1=0\beta_1=0 ではすでに図の外、β1=0.9\beta_1=0.9 では 110 前後まで上がっている。赤線のほうが、使える学習率の範囲がずっと広い。

著者らの結論は、β2\beta_2 が 1 に近いとき、バイアス補正がないと訓練が不安定になり、特に最初の数エポックでそうなる、というものだ。最良の結果は 1−β21-\beta_2 が小さく、しかもバイアス補正がある設定で得られた。掃引したすべてのハイパーパラメータで、Adam は RMSProp に劣らなかった。

著者らはもう一つ観察を加えている。訓練の後半には隠れユニットがそれぞれ専門化し、勾配がよりスパースになるので、大きな β2\beta_2 の利点がこの時期にいっそうはっきりする。つまり、1 に近い β2\beta_2 はもともと望ましい設定で、バイアス補正のおかげで安心してそれを使える。

ϵ\epsilon をどこに足すか

前に出てきた二つの書き方の違いに戻ろう。Algorithm 1 は ϵ\epsilon を補正後の v^t\sqrt{\hat v_t} に足し、計算を節約する書き方は ϵ^\hat\epsilon を補正前の vt\sqrt{v_t} に足す。換算すると ϵ^=ϵ1−β2t\hat\epsilon=\epsilon\sqrt{1-\beta_2^t} で、訓練の初期ほど差が大きい。

フレームワークによって選んだ書き方が違う。PyTorch は Algorithm 1 に従い、デフォルトは eps=1e-8。Keras のドキュメントは、その epsilon が論文の ϵ^\hat\epsilon だと明記しており、デフォルト値は 1e-7 だ。二つのフレームワークのあいだでハイパーパラメータを移すとき、同じ epsilon という名前でも、実は別の量になっている。

どうでもよさそうに見えるこの定数は、大規模モデルの訓練では調整の対象にもなる。OLMo 2 は AdamW の ϵ\epsilon を 10−510^{-5} から 10−810^{-8} に下げ、それによって訓練初期の勾配ノルムがより低く、より安定したと報告している。

バイアス補正が外されていた数年

第 3 節の導出は細かい話に聞こえるが、実際に後日談がある。

BERT の公式コードにあるオプティマイザ BERTAdam は、バイアス補正の二行を外していた。この書き方は、Hugging Face Transformers(2019 年 7 月にようやく標準の Adam に戻された)や AllenNLP など、よく使われるライブラリにもそのまま複製された。2020 年、Zhang らの〈Revisiting Few-sample BERT Fine-tuning〉は、BERT を小さなデータセットで微調整すると不安定になる原因を追い、まさにこれが主な原因の一つだと突き止めた。

彼らは RTE、MRPC、STS-B、CoLA の四つの小さなデータセットで、それぞれ 50 個の乱数シードで微調整した。バイアス補正がないと、多くの実行でそもそも訓練が立ち上がらなかった。RTE を例にとると、実行の 48% は正解率が 55% を下回り、当てずっぽうに近い。バイアス補正を戻すと、結果のばらつきは大きく縮まった。

理由は、前の歩幅の図と同じことだ。こうした小さなデータセットでの微調整はたいてい 1,000 ステップに満たず、全体がまだバイアスの最も大きい区間にある。訓練ステップ数の多い MNLI に変えると、補正の有無の差は誤差の範囲に収まる(検証セットの正解率で、補正なし 86.0、補正あり 85.9)。

その後の三つの問題

Adam はすぐにデフォルトのオプティマイザになった。その後の数年、Adam への疑問はおおよそ三つの線に分かれる。

  1. 収束。 前に触れた証明の誤り。Reddi らは 3 ステップに一度大きな勾配が現れる例を使い、vtv_t がまれな大きい勾配を「忘れて」しまうことを示して、過去の最大値を保持する AMSGrad を提案した。
  2. 汎化。 2017 年、Wilson らはいくつかの視覚と言語のタスクで、Adam は訓練損失を速く下げるのに、テストの成績はよく調整した SGD にしばしば負けることを見出した。
  3. 正則化。 Loshchilov と Hutter は、Adam で L2 正則化を勾配に書き込むことと、重み減衰を直接行うことは等価ではないと指摘し、AdamW を提案した。

結論

Adam は二つの指数移動平均で勾配の平均と二乗の平均を別々に推定し、割り算でパラメータごとの歩幅を得る。さらに 1−βt1-\beta^t で 0 から走り出したことによるバイアスを補正し、最初の一歩から α\alpha のスケールに乗るようにする。論文で最も説得力のある証拠は VAE の実験で、β2\beta_2 が 1 に近いほどバイアス補正が重要になる。ほかの実験は訓練損失しか比べておらず、畳み込みネットワークでは SGD モーメンタムとの差もわずかだ。収束定理は 3 年後に誤りを指摘された。

Adam を自分で実装するとき、あるいは他人の訓練コードを流用するときは、まずバイアス補正の二行が残っているかを確かめ、次に ϵ\epsilon がバイアス補正の前に足されているか後に足されているか、値はいくつかを確かめよう。訓練ステップ数が少ないほど、この二つの細部が結果に与える影響は大きくなる。フレームワークのあいだでハイパーパラメータを移すときも、両方の epsilon が同じ量とは限らないことを覚えておきたい。

2025 年、この論文は ICLR の Test of Time Award を受賞した。収束の証明に問題があると指摘されてから、すでに 7 年が経っていた。著者の順番のほうは、今もあのコインが決めたままだ。