返回論文筆記資料庫
arXiv 2014ICLR 2015優化器論文筆記

Adam

亞當的第一步

原始論文

Adam: A Method for Stochastic Optimization

論文作者

Diederik P. Kingma · Jimmy Ba

發表版本
ICLR 2015會議
arXiv 首次提交
arXiv:1412.6980
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{optimizersadam2014,
  title = {{Adam: A Method for Stochastic Optimization}},
  author = {Diederik P. Kingma and Jimmy Ba},
  year = {2014},
  eprint = {1412.6980},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1412.6980}
}
本頁內容

這篇論文第一頁的腳註寫著,兩位作者貢獻相同,作者順序是在 Google Hangout 上丟硬幣決定的。

丟完硬幣之後,Diederik Kingma 排在前面,Jimmy Ba 排在後面,論文在 2014 年 12 月放上 arXiv。Algorithm 1 的說明文字裡有一句「Good default settings for the tested machine learning problems」,後面跟著四個數字,α=0.001\alpha=0.001、β1=0.9\beta_1=0.9、β2=0.999\beta_2=0.999、ϵ=10−8\epsilon=10^{-8}。

十年後打開 PyTorch,torch.optim.Adam 的預設值還是這四個數字。

這篇筆記要把 Algorithm 1 的每一行拆開來看。兩個移動平均各在估計什麼?為什麼要除以 1−βt1-\beta^t?一步到底走多遠?論文的實驗證明了哪些事,又有哪一段後來被推翻?

定義問題

訓練神經網路時,我們手上只有小批次算出來的梯度,每一步都帶著雜訊;dropout 之類的正則化又額外加了一層隨機性。參數動輒上百萬,二階方法太貴,論文一開始就把範圍限定在一階方法。

最基本的 SGD 對所有參數用同一個學習率。問題是不同參數的梯度大小可以差好幾個數量級,同一個學習率,對某些參數太大,對另一些太小。

當時已經有兩條路在處理這件事。

  • AdaGrad 替每個參數記下歷史梯度平方的總和,用它的平方根去除梯度,θt+1=θt−α gt/∑i=1tgi2\theta_{t+1}=\theta_t-\alpha\, g_t\big/\sqrt{\sum_{i=1}^{t} g_i^2}。很少出現的特徵,梯度平方和小,步伐就大,在稀疏資料上特別有效。代價是總和只增不減,學習率會一路變小。
  • RMSProp 把總和換成指數移動平均,只看最近一段時間的梯度。學習率不會一路變小,也比較能應付目標函數隨時間改變的情況。

Adam 想要兩邊的好處。論文第 5 節還指出,RMSProp 沒有偏差修正。當 β2\beta_2 接近 1(稀疏梯度正需要這種設定),沒有修正的 RMSProp 一開始的步伐會非常大,常常直接發散。

所以這篇要回答的是,能不能做出一個只用一階梯度、記憶體只多兩份參數大小的優化器,同時處理稀疏梯度與會變動的目標,而且在訓練一開始就走得穩。

解決問題

Algorithm 1

先把整個演算法寫出來。所有運算都是逐元素的,gt2g_t^2 指 gt⊙gtg_t\odot g_t,βt\beta^t 是 β\beta 的 tt 次方:

gt←∇θft(θt−1)mt←β1 mt−1+(1−β1) gtvt←β2 vt−1+(1−β2) gt2m^t←mt / (1−β1t)v^t←vt / (1−β2t)θt←θt−1−α m^t / (v^t+ϵ)\begin{aligned} g_t &\leftarrow \nabla_\theta f_t(\theta_{t-1}) \\ m_t &\leftarrow \beta_1\, m_{t-1} + (1-\beta_1)\, g_t \\ v_t &\leftarrow \beta_2\, v_{t-1} + (1-\beta_2)\, g_t^2 \\ \hat m_t &\leftarrow m_t \,/\, (1-\beta_1^t) \\ \hat v_t &\leftarrow v_t \,/\, (1-\beta_2^t) \\ \theta_t &\leftarrow \theta_{t-1} - \alpha\, \hat m_t \,/\, \big(\sqrt{\hat v_t}+\epsilon\big) \end{aligned}

一開始 m0=v0=0m_0=v_0=0、t=0t=0,每一輪先把 tt 加一。

mtm_t 是梯度的指數移動平均,論文稱為一階動差的估計,也就是梯度的平均值;vtv_t 是梯度平方的指數移動平均,二階動差(未扣平均值的變異數)的估計。Adam 這個名字取自 adaptive moment estimation(致謝裡說,是 Ivo Danihelka 和 Tom Schaul 想出來的)。

更新量是 m^t/v^t\hat m_t/\sqrt{\hat v_t}。分子決定方向,而且因為是移動平均,帶有動量的效果;分母替每個參數換算一個自己的尺度。這等於每個參數有自己的學習率 α/v^t\alpha/\sqrt{\hat v_t},只是這個學習率每一步都會根據最近的梯度重新估計。

論文還給了一個比較省計算的寫法,把兩次修正合併成一個係數:

αt=α⋅1−β2t1−β1t,θt←θt−1−αt mt / (vt+ϵ^)\alpha_t=\alpha\cdot\frac{\sqrt{1-\beta_2^t}}{1-\beta_1^t},\qquad \theta_t\leftarrow\theta_{t-1}-\alpha_t\, m_t\,/\,\big(\sqrt{v_t}+\hat\epsilon\big)

兩種寫法只差在 ϵ\epsilon 加的位置,這裡的 ϵ^\hat\epsilon 和 Algorithm 1 的 ϵ\epsilon 是不同的量。這個小差異後來留在各家框架裡,討論時再回來看。

偏差修正

中間那兩行除法,是這篇論文和 RMSProp 最大的差別,也是第 3 節專門推導的東西。

把 vtv_t 的遞迴展開,它是過去所有梯度平方的加權和:

vt=(1−β2)∑i=1tβ2 t−i gi2v_t=(1-\beta_2)\sum_{i=1}^{t}\beta_2^{\,t-i}\, g_i^2

兩邊取期望值。假設梯度平方的期望值不隨時間改變,就可以把 E[gt2]\mathbb E[g_t^2] 提出來,剩下的是一個等比級數:

E[vt]=E[gt2]⋅(1−β2)∑i=1tβ2 t−i+ζ=E[gt2]⋅(1−β2t)+ζ\mathbb E[v_t]=\mathbb E[g_t^2]\cdot(1-\beta_2)\sum_{i=1}^{t}\beta_2^{\,t-i}+\zeta =\mathbb E[g_t^2]\cdot(1-\beta_2^t)+\zeta

如果二階動差真的不隨時間改變,ζ=0\zeta=0;就算會變,只要 β2\beta_2 讓太久以前的梯度權重夠小,ζ\zeta 也不會太大。剩下的 1−β2t1-\beta_2^t 完全是從 v0=0v_0=0 起跑造成的,除掉它,估計就回到正確的尺度。mtm_t 的推導一模一樣。

用預設值算一下第一步。t=1t=1 時:

  • m1=0.1 g1m_1=0.1\,g_1,只有真實值的十分之一;
  • v1=0.001 g12v_1=0.001\,g_1^2,開根號後是 0.0316 ∣g1∣0.0316\,|g_1|,只有真實尺度的三十分之一左右。

兩個都偏小,但 vv 偏得更多。如果不修正,第一步的大小是 α⋅0.1/0.0316≈3.16 α\alpha\cdot 0.1/0.0316\approx 3.16\,\alpha。修正之後,m^1=g1\hat m_1=g_1、v^1=g12\hat v_1=g_1^2,每個參數的第一步剛好是 α⋅sign⁡(g1)\alpha\cdot\operatorname{sign}(g_1)。

這是 Adam 的第一步。不管梯度是 10−610^{-6} 還是 10310^{3},每個參數都只走 α\alpha。

那不修正的話,偏大的步伐會持續多久?假設每一步的梯度都一樣,沒有修正時的步長就是 α (1−β1t)/1−β2t\alpha\,(1-\beta_1^t)/\sqrt{1-\beta_2^t}。我們把它畫出來。

折線圖,橫軸是步數 t(對數刻度,從 1 到 2 萬),縱軸是沒有偏差修正時的步長,以 α 為單位,β1 固定為 0.9。β2 = 0.99 的藍線最高約 2.1α,在第 13 步,兩百步左右回到 α 附近;β2 = 0.999 的橘色虛線最高約 6.6α,在第 12 步,到第 1,000 步還有約 1.26α;β2 = 0.9999 的綠色點線最高約 20.7α,在第 12 步,到第 1,000 步還有約 3.2α,要一萬多步才回到 α。有偏差修正時,三條線都是固定的 α。
本文整理,依原論文 Algorithm 1 計算。假設每一步的梯度相同。

三條線都在第 12、13 步左右到最高點。這時 mtm_t 已經累積到真實值的七成左右;vtv_t 在 β2=0.999\beta_2=0.999 時卻只累積了約 1%,開根號後也只有一成多。分子追上來了,分母還沒。β2=0.999\beta_2=0.999 時最高是 6.6 α6.6\,\alpha,要到一千七百多步才回到 1.1 α1.1\,\alpha 以內;β2=0.9999\beta_2=0.9999 時最高是 20.7 α20.7\,\alpha,要一萬七千多步。

如果再把動量拿掉(β1=0\beta_1=0),沒有修正的第一步就是 α/1−β2\alpha/\sqrt{1-\beta_2},β2=0.9999\beta_2=0.9999 時是 100 α100\,\alpha。學習率明明設成 10−310^{-3},第一步卻等於用了 10−110^{-1}。

這正是論文說的情況。稀疏梯度需要很大的 β2\beta_2 才能平均到足夠多的樣本,而 β2\beta_2 越接近 1,沒有修正的初始偏差就越嚴重。

一步走多遠

第 2.1 節接著分析更新量本身。先令 ϵ=0\epsilon=0,每一步的有效步長是 Δt=α m^t/v^t\Delta_t=\alpha\,\hat m_t/\sqrt{\hat v_t}。

m^t/v^t\hat m_t/\sqrt{\hat v_t} 是「梯度平均」除以「梯度平方平均的平方根」。因為 ∣E[g]∣≤E[g2]|\mathbb E[g]|\le\sqrt{\mathbb E[g^2]},這個比值的絕對值通常不超過 1,所以 ∣Δt∣|\Delta_t| 大約被 α\alpha 限制住。

有一個例外。如果某個參數的梯度一直是 0,只有這一步突然有值,m^t\hat m_t 大約是 (1−β1)gt(1-\beta_1)g_t,v^t\hat v_t 大約是 (1−β2)gt2(1-\beta_2)g_t^2,比值變成 (1−β1)/1−β2(1-\beta_1)/\sqrt{1-\beta_2}。論文給的上界因此分兩種情況:

∣Δt∣≤{α⋅(1−β1)/1−β2,若 1−β1>1−β2α,其他情況|\Delta_t|\le \begin{cases} \alpha\cdot(1-\beta_1)/\sqrt{1-\beta_2}, & \text{若 } 1-\beta_1>\sqrt{1-\beta_2}\\[2pt] \alpha, & \text{其他情況} \end{cases}

用預設值代進去,1−β1=0.11-\beta_1=0.1 大於 0.001≈0.0316\sqrt{0.001}\approx0.0316,所以預設設定落在第一種情況,最壞是 3.16 α3.16\,\alpha。這只會發生在極端稀疏的參數上;論文說,稀疏程度沒那麼極端時,有效步長會比這個小。

這個性質帶來三個實用的結果。

  1. α\alpha 就是步伐的大小。 它大致就是每一步在參數空間裡走的距離,論文把它比喻成在目前參數周圍畫一個信任區域。如果我們大概知道好的解離初始值多遠,就能估出 α\alpha 的數量級。
  2. 和梯度的尺度無關。 把梯度乘上 cc,m^t\hat m_t 變成 cc 倍,v^t\hat v_t 變成 c2c^2 倍,比值不變。把損失函數乘上 1000,SGD 的步伐跟著放大 1000 倍,Adam 完全不受影響。
  3. 自動退火。 論文借用「訊噪比」這個詞來稱呼 m^t/v^t\hat m_t/\sqrt{\hat v_t}。靠近最佳解時,梯度方向常常來回變號,平均值接近 0,平方的平均卻還在,比值變小,步伐也跟著變小。

和 AdaGrad、RMSProp 的關係

第 5 節把 Adam 放回原來的家族裡比較。

和 RMSProp 比,有兩個差別。帶動量的 RMSProp 是先把梯度除以尺度,再對除完的結果做動量;Adam 是分別估計梯度的一階與二階動差,再相除。另一個差別就是偏差修正。

和 AdaGrad 比,關係更有意思。令 β1=0\beta_1=0、讓 1−β21-\beta_2 趨近 0,並把學習率換成 αt=α/t\alpha_t=\alpha/\sqrt t,有偏差修正的 v^t\hat v_t 會變成 1t∑i=1tgi2\frac1t\sum_{i=1}^t g_i^2,代回更新式剛好就是 AdaGrad。這個對應只有在保留偏差修正時才成立;拿掉修正,β2\beta_2 趨近 1 會讓 1−β2t1-\beta_2^t 趨近 0,更新量變成無限大。

論文也提到,v^t\hat v_t 可以看成 Fisher 資訊矩陣對角線的近似,Adam 等於用它的平方根倒數做預條件(preconditioning)。比起自然梯度直接用 Fisher 的倒數,這個做法保守一些。

AdaMax

第 7.1 節是一個延伸。Adam 用梯度的 L2L^2 範數縮放,作者把它推廣到 LpL^p:

vt=β2p vt−1+(1−β2p) ∣gt∣pv_t=\beta_2^p\, v_{t-1}+(1-\beta_2^p)\,|g_t|^p

pp 大的時候數值不穩定,但讓 p→∞p\to\infty,令 ut=lim⁡p→∞vt1/pu_t=\lim_{p\to\infty}v_t^{1/p},加權總和裡只剩最大的那一項,得到一個很簡單的遞迴:

ut=max⁡(β2 ut−1, ∣gt∣),θt←θt−1−α1−β1t⋅mtutu_t=\max\big(\beta_2\, u_{t-1},\ |g_t|\big),\qquad \theta_t\leftarrow\theta_{t-1}-\frac{\alpha}{1-\beta_1^t}\cdot\frac{m_t}{u_t}

utu_t 是「打過折的歷史最大梯度」。某一步出現 ∣g∣=10|g|=10,uu 就變成 10,之後每步乘上 0.999,一千步後還剩約 3.7。它不需要偏差修正,因為 utu_t 至少等於當下的 ∣gt∣|g_t|,不會從 0 慢慢爬上來。步長的上界也更簡單,∣Δt∣≤α|\Delta_t|\le\alpha。論文建議的預設值是 α=0.002\alpha=0.002,β1\beta_1、β2\beta_2 和 Adam 相同。

另外,第 7.2 節提了參數的指數移動平均 θˉt←β2θˉt−1+(1−β2)θt\bar\theta_t\leftarrow\beta_2\bar\theta_{t-1}+(1-\beta_2)\theta_t,同樣用 1−β2t1-\beta_2^t 修正初始偏差。

收斂證明

第 4 節用線上凸最佳化的框架分析 Adam。每一步面對一個事先未知的凸函數 ftf_t,衡量標準是遺憾(regret),也就是累積損失和事後最好的固定參數相比多了多少:

R(T)=∑t=1T[ft(θt)−ft(θ∗)]R(T)=\sum_{t=1}^{T}\big[f_t(\theta_t)-f_t(\theta^*)\big]

Theorem 4.1 的條件很多。梯度有界、迭代點之間的距離有界、β12/β2<1\beta_1^2/\sqrt{\beta_2}<1,學習率用 αt=α/t\alpha_t=\alpha/\sqrt t 遞減,β1\beta_1 也要隨時間以 β1,t=β1λt−1\beta_{1,t}=\beta_1\lambda^{t-1} 衰減。在這些條件下,論文得到 O(T)O(\sqrt T) 的遺憾,平均遺憾 R(T)/TR(T)/T 趨近 0。

實務上很少照這組條件跑 Adam,學習率常常固定或用其他排程,β1\beta_1 也固定在 0.9。論文自己在第 6.2 節也承認,這個分析不適用於神經網路這類非凸問題。

這個定理後來被證明有誤。2018 年 Reddi、Kale 與 Kumar 指出,附錄的證明在某一步把 v^t/αt−v^t−1/αt−1\sqrt{\hat v_t}/\alpha_t-\sqrt{\hat v_{t-1}}/\alpha_{t-1} 當成不會是負數來處理。這個量是「有效學習率的倒數」隨時間的變化,Adam 的 vtv_t 是移動平均,會隨著梯度變小而變小,所以它可以是負的。他們同時指出引理 10.3、10.4 也有問題,並造出一個滿足定理條件的一維凸問題,Adam 在上面收斂到最差的那個點。

討論

邏輯斯迴歸、多層感知器與卷積網路三組實驗都用批次大小 128,比較不同優化器時使用相同的初始參數;學習率、動量等超參數在一個密集的網格上搜尋,回報最好的那組。論文只畫損失曲線,前三組明寫是訓練損失,沒有測試準確率。這一點讀圖時要記住,這些實驗比的是「誰把訓練損失降得快」。

邏輯斯迴歸

兩張折線圖。左圖是 MNIST 邏輯斯迴歸,橫軸是 epoch(0 到 45),縱軸是訓練損失:Adam(紅)和帶 Nesterov 動量的 SGD(綠)都很快降到約 0.26 到 0.27,AdaGrad(藍)到第 45 個 epoch 還在 0.46 左右。右圖是 IMDB 詞袋特徵的邏輯斯迴歸,四種方法都加了 dropout:Adagrad、RMSProp、Adam 三條線都降到約 0.25,SGD Nesterov(紅)劇烈震盪,停在 0.35 附近。
原論文 Figure 1(Kingma 與 Ba),取自 PDF 第 6 頁,arXiv 授權,學術引用。

邏輯斯迴歸是凸問題,不必擔心局部極小值,適合單純比較優化器。這組實驗的學習率照第 4 節的理論用 α/t\alpha/\sqrt t 遞減。

左圖是 MNIST,直接拿 784 維的像素向量分類。Adam 和 SGD 動量差不多,兩者都比 AdaGrad 快很多。

右圖才是 Adam 想證明的事。作者把 IMDB 影評轉成前 10,000 個常用字的詞袋向量,每一篇影評只用到其中很少的字,是很稀疏的特徵;為了防止過擬合,特徵上加了 50% 的 dropout。在這裡 AdaGrad 大幅領先 SGD,Adam 和 AdaGrad 一樣快。稀疏特徵上的優勢,Adam 有繼承下來。

多層感知器

接著是兩層、每層 1000 個 ReLU 單元的全連接網路,同樣用 MNIST。加了 dropout 的版本,Adam 的訓練損失低於 AdaGrad、RMSProp、SGD 動量與 AdaDelta。

不加 dropout、改用 L2 權重衰減的版本,作者另外和 SFO 比較。SFO 是一種以小批次運作的擬牛頓法,每一步要更新曲率資訊,速度比 Adam 慢 5 到 10 倍,記憶體還要隨小批次的數量線性增加。Adam 不論以迭代次數或實際時間計算都比它快;而 SFO 假設每個子函數是確定的,遇到 dropout 就不收斂。

卷積網路

兩張 CIFAR-10 卷積網路的訓練損失曲線。左圖只看前 3 個 epoch:Adam(洋紅)和 Adam 加 dropout(黃)降得最快,到第 3 個 epoch 約 0.6 到 0.7;AdaGrad(藍)約 1.2。右圖是 45 個 epoch、縱軸取對數:Adam 和 SGD Nesterov(紅)在第 15 個 epoch 左右急降,最後約 4 到 6 乘 10 的負 4 次方;AdaGrad 和 AdaGrad 加 dropout 停在 0.6 到 0.8;加 dropout 的 Adam 與 SGD 約 0.02 到 0.04。
原論文 Figure 3(Kingma 與 Ba),取自 PDF 第 7 頁,arXiv 授權,學術引用。

網路是三段 5×55\times5 卷積加 3×33\times3、步幅 2 的最大池化,通道數 64、64、128,最後接 1000 個 ReLU 的全連接層;輸入先做白化,輸入層與全連接層加 dropout。

左圖的前 3 個 epoch,Adam 和 AdaGrad 都下降得很快。但右圖拉長到 45 個 epoch,AdaGrad 很早就停住了,Adam 和 SGD 動量一路降到 10−310^{-3} 以下。

作者對這個結果的解釋很具體。他們觀察到,訓練幾個 epoch 之後,v^t\hat v_t 小到幾乎是 0,分母被 ϵ\epsilon 主導,二階動差已經無法描述這個問題的幾何形狀;在卷積網路上起作用的主要是一階動差,它把小批次的雜訊平均掉。照這個解釋推下去,分母被 ϵ\epsilon 主導時,Adam 的行為更像帶動量的 SGD,這也和兩者曲線很接近的情況相符。作者也很誠實地寫,Adam 相對 SGD 動量只是小幅改善,好處在於它會自動替不同層調整學習率的尺度,不需要手動替卷積層挑一個比較小的學習率。

ϵ\epsilon 被寫成「避免除以零的小常數」,但只要 v^t\sqrt{\hat v_t} 小到和它同一個數量級,它就實際參與了更新。

偏差修正的實驗

兩組各 2 列 3 欄的小圖,訓練變分自編碼器。左組是訓練 10 個 epoch 後,右組是 100 個 epoch 後;每一列是 β1 = 0 或 0.9,每一欄是 β2 = 0.99、0.999、0.9999。每張小圖的橫軸是 log10(α),從 −5 到 −1,縱軸是損失,範圍 95 到 140。紅線是有偏差修正,綠線是沒有。β2 = 0.99 時兩條線幾乎重疊;β2 越接近 1,綠線越早衝出圖外。10 個 epoch、β1 = 0 時,β2 = 0.999 與 0.9999 的綠線幾乎整條都在圖外,紅線最低約 110。100 個 epoch 後,紅線在六張圖裡的最低點都在 100 左右。
原論文 Figure 4(Kingma 與 Ba),取自 PDF 第 8 頁,arXiv 授權,學術引用。

這是整篇論文最直接檢驗設計的一張圖。作者訓練一個變分自編碼器(VAE,單一隱藏層、500 個 softplus 單元、50 維的高斯潛在變數),掃過 β1∈{0,0.9}\beta_1\in\{0,0.9\}、β2∈{0.99,0.999,0.9999}\beta_2\in\{0.99,0.999,0.9999\},以及 α\alpha 從 10−510^{-5} 到 10−110^{-1}。拿掉偏差修正之後的 Adam,論文視為一種帶動量的 RMSProp。

每張小圖的橫軸是學習率,縱軸是損失,紅線是有修正,綠線是沒有。

  • β2=0.99\beta_2=0.99 那一欄,紅綠兩條線大致重疊,只有 β1=0\beta_1=0 那一列的綠線在最大的學習率先衝出圖外。這個設定下,沒有修正造成的偏差大約一兩百步就消失,對整個訓練的影響不大。
  • 往右看到 β2=0.9999\beta_2=0.9999,綠線在比較大的學習率就衝出圖外。最嚴重的是左組第一列 β1=0\beta_1=0,β2=0.999\beta_2=0.999 和 0.99990.9999 的綠線幾乎整條都在圖外;這兩格沒有修正時第一步分別是 31.6 α31.6\,\alpha 和 100 α100\,\alpha。
  • 右組訓練到 100 個 epoch,紅線在六張圖裡的最低點都在 100 附近;在 β2=0.9999\beta_2=0.9999 那一欄,紅線的最低點落在 α=10−3\alpha=10^{-3},同一個學習率下,綠線在 β1=0\beta_1=0 時已衝出圖外,在 β1=0.9\beta_1=0.9 時升到 110 左右,紅線能用的學習率範圍寬得多。

作者的結論是,β2\beta_2 接近 1 時,沒有偏差修正會讓訓練不穩定,尤其是最初的幾個 epoch;最好的結果出現在 1−β21-\beta_2 很小、又有偏差修正的設定。在他們掃過的所有超參數上,Adam 都不比 RMSProp 差。

作者還補了一個觀察。訓練後期隱藏單元各自專門化,梯度變得更稀疏,大 β2\beta_2 的好處在這時候更明顯。也就是說,接近 1 的 β2\beta_2 本來就是想要的設定,偏差修正讓我們能放心用它。

ϵ\epsilon 加在哪裡

回到前面兩種寫法的差異。Algorithm 1 把 ϵ\epsilon 加在修正後的 v^t\sqrt{\hat v_t} 上,省計算的寫法則把 ϵ^\hat\epsilon 加在未修正的 vt\sqrt{v_t} 上。兩者換算下來,ϵ^=ϵ1−β2t\hat\epsilon=\epsilon\sqrt{1-\beta_2^t},在訓練初期差最多。

各家框架選了不同的寫法。PyTorch 照 Algorithm 1,預設 eps=1e-8;Keras 的文件寫明它的 epsilon 是論文裡的 ϵ^\hat\epsilon,預設值則是 1e-7。在兩個框架之間搬超參數時,同樣叫 epsilon,其實是兩個量。

這個看似無關緊要的常數,在大模型訓練裡也會被拿出來調。OLMo 2 就把 AdamW 的 ϵ\epsilon 從 10−510^{-5} 降到 10−810^{-8},報告說訓練初期的梯度範數因此更低也更穩定。

偏差修正被拿掉的那幾年

第 3 節的推導聽起來像細節,但有一段真實的後續。

BERT 官方程式碼裡的優化器 BERTAdam,把偏差修正那兩行拿掉了;這個寫法跟著被複製進 Hugging Face Transformers(2019 年 7 月才改回標準的 Adam)、AllenNLP 等常用函式庫。2020 年 Zhang 等人的〈Revisiting Few-sample BERT Fine-tuning〉追查 BERT 在小資料集上微調不穩定的原因,發現這正是主因之一。

他們在 RTE、MRPC、STS-B、CoLA 四個小資料集上,各用 50 個隨機種子微調。沒有偏差修正時,很多次微調根本沒訓練起來;以 RTE 為例,48% 的執行準確率低於 55%,接近亂猜。加回偏差修正,結果的變異大幅縮小。

原因和前面那張步長圖是同一件事。這些小資料集的微調通常不到一千步,整個過程都還在偏差最大的那一段。換成訓練步數多的 MNLI,有沒有修正的差距落在誤差範圍內(驗證集準確率,沒有修正 86.0、有修正 85.9)。

後來的三個問題

Adam 很快變成預設的優化器,接下來幾年,針對它的質疑大致分成三條線:

  1. 收斂。 前面提到的證明錯誤。Reddi 等人用一個每三步出現一次大梯度的例子,說明 vtv_t 會「忘記」罕見的大梯度,提出保留歷史最大值的 AMSGrad。
  2. 泛化。 2017 年 Wilson 等人在幾個視覺與語言任務上發現,Adam 的訓練損失降得快,測試成績卻常輸給調好的 SGD。
  3. 正則化。 Loshchilov 與 Hutter 指出,在 Adam 裡把 L2 正則化寫進梯度,和直接做權重衰減並不等價,提出 AdamW。

結論

Adam 用兩個指數移動平均分別估計梯度的平均與平方平均,相除後得到每個參數自己的步長;再用 1−βt1-\beta^t 修正從 0 起跑的偏差,讓第一步就落在 α\alpha 的尺度上。論文最有說服力的證據是 VAE 那組實驗,β2\beta_2 越接近 1,偏差修正越重要;其他實驗只比了訓練損失,卷積網路上它和 SGD 動量的差距也很小。收斂定理則在三年後被指出有誤。

如果你要自己實作 Adam,或是沿用別人的訓練程式,先看偏差修正那兩行還在不在,再看 ϵ\epsilon 加在偏差修正之前還是之後、值是多少。訓練步數越少,這兩個細節對結果的影響越大;在框架之間搬超參數時,也記得兩邊的 epsilon 可能不是同一個量。

2025 年,這篇論文拿下 ICLR 的時間考驗獎,距離它的收斂證明被指出有問題,已經過了七年。至於作者順序,到現在還是那枚硬幣決定的。