返回論文筆記資料庫
arXiv 2019ICLR 2020優化器論文筆記

RAdam

加裝整流器

原始論文

On the Variance of the Adaptive Learning Rate and Beyond

論文作者

Liyuan Liu · Haoming Jiang · Pengcheng He …

查看全部 7 位作者

Liyuan Liu · Haoming Jiang · Pengcheng He · Weizhu Chen · Xiaodong Liu · Jianfeng Gao · Jiawei Han

發表版本
ICLR 2020會議
arXiv 首次提交
arXiv:1908.03265
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{optimizersradam2019,
  title = {{On the Variance of the Adaptive Learning Rate and Beyond}},
  author = {Liyuan Liu and Haoming Jiang and Pengcheng He and Weizhu Chen and Xiaodong Liu and Jianfeng Gao and Jiawei Han},
  year = {2019},
  eprint = {1908.03265},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1908.03265}
}
本頁內容

If warmup is the answer, what is the question?

這是 RAdam 在 GitHub 上的開場白。暖身(warmup)在當時已經是訓練 Transformer 的標準配備,前幾千步把學習率從接近 0 慢慢拉上去,Adam 才訓練得起來;至於為什麼非這樣不可,當時缺少理論上的解釋,暖身要多長,各家多半靠試誤。

2019 年 8 月,伊利諾大學與微軟的 Liyuan Liu 等人放出這篇論文,說原因出在 Adam 的自適應學習率,訓練初期看過的梯度太少,它的變異數大到失控。他們順手提出一個修正版,叫 Rectified Adam,簡稱 RAdam。

論文放上 arXiv 大約一週後,Less Wright 在 fast.ai 論壇和 Medium 上把它介紹成「新的 SOTA 優化器」,論壇上很快就有人拿去測試。又過了兩個月,Jerry Ma 與 Denis Yarats 發表了一篇反駁,說 RAdam 拆開來看,就是 Adam 加上一段固定的暖身。

這篇筆記把兩邊都看一遍。

定義問題

Adam 的自適應學習率

作者先把各種自適應優化器寫成同一個框架(Algorithm 1)。每一步算出動量 mt=ϕ(g1,…,gt)m_t = \phi(g_1, \dots, g_t) 與自適應學習率 lt=ψ(g1,…,gt)l_t = \psi(g_1, \dots, g_t),再更新 θt=θt−1−αtmtlt\theta_t = \theta_{t-1} - \alpha_t m_t l_t。所有運算都是逐元素的。Adam 的 ψ\psi 是:

ψ(g1,…,gt)=1−β2t(1−β2)∑i=1tβ2t−igi2\psi(g_1, \dots, g_t) = \sqrt{\frac{1 - \beta_2^t}{(1 - \beta_2)\sum_{i=1}^{t}\beta_2^{t-i} g_i^2}}

也就是二階動差估計開根號後取倒數,分子的 1−β2t1-\beta_2^t 是偏差修正。梯度一直很大的參數,步伐就縮小;梯度一直很小的參數,步伐就放大。

不暖身會怎樣

原論文 Figure 1,Transformer 在 IWSLT'14 德翻英資料集上的訓練損失,橫軸是 0 到 7 萬次迭代,縱軸是 0 到 9。Adam-vanilla(不暖身)的藍線一直停在 9 以上;Adam-eps 的黑線降到約 3.6;Adam-2k、RAdam 與 Adam-warmup 三條線幾乎重疊,降到約 3,圖上標註 Overlapped。
原論文 Figure 1(Liu 等人),取自 PDF 第 1 頁,arXiv 授權,學術引用。

先看藍線 Adam-vanilla 和最下面的 Adam-warmup。同一個 Transformer、同一份 IWSLT'14 德翻英資料,不暖身的訓練損失停在 10 附近,暖身之後降到 3 以下。其他三條線是作者的對照實驗,等一下會講到。

作者把每一步梯度絕對值的分布畫出來,發現不暖身時,前 10 步之內分布就被扭曲,重心擠到很小的值。他們的解讀是,Adam 在最初幾步做了有害的更新,把模型帶進一個不好的區域,暖身的作用是降低這些更新的影響。

那麼,最初幾步的更新為什麼有害?

解決問題

第一步只有一個樣本

先看最極端的 t=1t = 1。這時 ψ(g1)=1/g12=1/∣g1∣\psi(g_1) = \sqrt{1/g_1^2} = 1/|g_1|,整個自適應學習率只靠一個梯度估出來。

假設梯度服從 N(0,σ2)\mathcal{N}(0, \sigma^2),那麼 1/g121/g_1^2 服從自由度為 1 的縮放逆卡方分布,1/g12\sqrt{1/g_1^2} 的變異數是發散的。直覺上也不難理解,g1g_1 只要剛好很接近 0,1/∣g1∣1/|g_1| 就會非常大。

小的學習率可以壓住這個變異數,因為 Var[αx]=α2Var[x]\mathrm{Var}[\alpha x] = \alpha^2 \mathrm{Var}[x]。這就是作者對暖身的解釋,訓練初期自適應學習率的變異數太大,暖身用小的 α\alpha 把它壓下來。

兩個對照實驗

如果問題真的出在變異數,那麼換個方式降低變異數,應該也能解決。作者設計了兩個 Adam 的變體。

  • Adam-2k:前 2,000 次迭代只更新 ψ\psi,動量和參數都凍住,等於先多看 2,000 個樣本把二階動差估準,再開始訓練。
  • Adam-eps:把分母的 ϵ\epsilon 從 10−810^{-8} 加大到 10−410^{-4},直接限制 ψ\psi 的上限。

前面那張圖裡,Adam-2k 沒有暖身,卻和 Adam-warmup 疊在一起;梯度分布也不再被扭曲。Adam-eps 同樣避開了卡在 10 的問題,但最後停在 3.6 左右,比暖身差。作者推測,太大的 ϵ\epsilon 在自適應學習率裡引入了偏差,拖慢了最佳化,所以需要一個更有原則的方法。

變異數隨樣本數下降

接下來要把變異數算出來。Adam 用的是指數移動平均(EMA),不好分析,作者把它近似成簡單移動平均(SMA),並假設 ψ2\psi^2 服從自由度為 ρ\rho 的縮放逆卡方分布。這裡的 ρ\rho 可以理解成「估計二階動差時,等效用了幾個樣本」。

Theorem 1 說,在這個假設下,ψ\psi 的變異數隨 ρ\rho 增加而單調遞減,並在 ρ>4\rho > 4 時給出閉合式(式 (2))。換句話說,樣本越少,自適應學習率越不可靠;ρ≤4\rho \le 4 時,論文把這段的變異數當成無法處理(intractable)。

EMA 等效於幾個樣本

那麼第 tt 步的 EMA,相當於多長的 SMA?作者要求兩者的「重心」相同,也就是各樣本的時間位置用權重平均起來要一樣,解出:

ρt=21−β2−1−2tβ2t1−β2t,ρ∞=21−β2−1\rho_t = \frac{2}{1-\beta_2} - 1 - \frac{2t\beta_2^t}{1-\beta_2^t}, \qquad \rho_\infty = \frac{2}{1-\beta_2} - 1

ρ∞\rho_\infty 是 t→∞t \to \infty 的極限。用預設的 β2=0.999\beta_2 = 0.999 代進去,ρ∞=1999\rho_\infty = 1999。前幾步的 ρt\rho_t 算出來是:

tt12345
ρt\rho_t1.0001.9992.9993.9974.996

依原論文的 ρt\rho_t 定義計算,β2=0.999\beta_2 = 0.999。

訓練初期 ρt\rho_t 幾乎就等於 tt,很符合直覺,看過幾個梯度,就等效用了幾個樣本。β2\beta_2 越接近 1,EMA 的記憶越長,ρt\rho_t 要越久才會接近上限。

整流項 rtr_t

有了 ρt\rho_t,作者把目標定成讓自適應學習率的變異數在每一步都一樣,等於 ρ∞\rho_\infty 時的最小值 CvarC_{var}。做法是乘上一個縮放因子 rt=Cvar/Var[ψ]r_t = \sqrt{C_{var}/\mathrm{Var}[\psi]}。

式 (2) 的閉合式在數值上不穩定,作者改用一階近似,得到式 (5):

Var[ψ]≈ρt2(ρt−2)(ρt−4)σ2\mathrm{Var}[\psi] \approx \frac{\rho_t}{2(\rho_t - 2)(\rho_t - 4)\sigma^2}

把 ρt\rho_t 和 ρ∞\rho_\infty 各代一次再相除,σ\sigma 就消掉了:

rt=(ρt−4)(ρt−2)ρ∞(ρ∞−4)(ρ∞−2)ρtr_t = \sqrt{\frac{(\rho_t - 4)(\rho_t - 2)\rho_\infty}{(\rho_\infty - 4)(\rho_\infty - 2)\rho_t}}

這就是 RAdam 名字裡的 rectification(整流)。我們算幾個點看看它長什麼樣:

步數 tt5101001,0002,0005,000
rtr_t0.0170.0490.2150.6450.8280.983

依原論文 4.2 節的 rtr_t 計算,β2=0.999\beta_2 = 0.999。

一開始非常小,一千步時約 0.65,到五千步才接近 1。這條曲線乘在學習率前面,看起來就是一段暖身。

完整的演算法

整理成 Algorithm 2,每一步做的事情是:

  1. 算梯度 gtg_t,更新二階動差 vt=β2vt−1+(1−β2)gt2v_t = \beta_2 v_{t-1} + (1-\beta_2) g_t^2 與一階動差 mt=β1mt−1+(1−β1)gtm_t = \beta_1 m_{t-1} + (1-\beta_1) g_t。
  2. 偏差修正一階動差,m^t=mt/(1−β1t)\hat m_t = m_t / (1 - \beta_1^t)。
  3. 計算 ρt\rho_t。
  4. 如果 ρt>4\rho_t > 4,計算 lt=(1−β2t)/vtl_t = \sqrt{(1-\beta_2^t)/v_t} 與 rtr_t,更新 θt=θt−1−αtrtm^tlt\theta_t = \theta_{t-1} - \alpha_t r_t \hat m_t l_t。
  5. 否則,不用自適應學習率,直接 θt=θt−1−αtm^t\theta_t = \theta_{t-1} - \alpha_t \hat m_t。

第 5 步就是 RAdam 退化成動量 SGD 的情況。照前面 ρt\rho_t 的表,β2=0.999\beta_2 = 0.999 時 ρt≤4\rho_t \le 4 的只有 t=1t = 1 到 4,所以前 4 步是帶偏差修正的動量 SGD,第 5 步起才進入整流後的 Adam。後來 Ma 與 Yarats 證明,只要 0.8≤β2<10.8 \le \beta_2 < 1,ρt≤4\rho_t \le 4 恰好等價於 t≤4t \le 4。論文另外提到,若 β2≤0.6\beta_2 \le 0.6,ρ∞≤4\rho_\infty \le 4,RAdam 就整個退化成動量 SGD。

和暖身的關係

作者在 4.3 節直接拿 rtr_t 和線性暖身比較。線性暖身等於把學習率乘上 min⁡(t,Tw)/Tw\min(t, T_w)/T_w,形式上和 rtr_t 很像,所以他們認為這驗證了「暖身是一種降低變異數的技巧」。差別在於 RAdam 不需要暖身長度 TwT_w 這個超參數,而且會隨著 β2\beta_2 自動調整。

他們也強調,這個修正和梯度裁剪、調大 ϵ\epsilon、初始化、正規化層等穩定訓練的技巧互相獨立,可以一起用。

討論

實驗設定

實驗分三類,Adam 類方法的權重衰減都採用 AdamW 的解耦寫法。

  • 語言模型:One Billion Word,兩層 LSTM、2,048 個隱藏單元,學習率 0.001,批次大小 128。
  • 影像分類:CIFAR-10 用 ResNet-20(186 個 epoch),ImageNet 用 ResNet-18(90 個 epoch),學習率階梯式下降,權重衰減 10−410^{-4}。
  • 機器翻譯:fairseq 的 Transformer,IWSLT'14 德英互譯與 WMT'16 英翻德;Adam 用 4,000 步線性暖身。

語言模型與影像實驗中,Adam 與 RAdam 的 (β1,β2)(\beta_1, \beta_2) 都是 (0.9,0.999)(0.9, 0.999)。

和原版 Adam 比

不暖身的情況下,RAdam 在三個資料集上都贏過原版 Adam。One Billion Word 的測試困惑度從 36.92 降到 35.70;RAdam 在最初幾個 epoch 比 Adam 慢,之後收斂得比較快。影像分類的測試準確率如下:

資料集SGDAdamRAdam
CIFAR-1091.5190.5491.38
ImageNet69.8666.5467.62

整理自原論文 Table 1(%)。

RAdam 比 Adam 好,但兩個資料集上都沒有贏過 SGD。作者另外報告 ImageNet 的訓練準確率,SGD、Adam、RAdam 分別是 69.57、69.12、70.30,RAdam 最高。訓練得比 SGD 好、測試卻比較差,差距看起來出在泛化,不過這是從訓練準確率推回去的判斷,論文本身沒有這樣分析。

對學習率不敏感

原論文 Figure 6,CIFAR-10 上 ResNet-20 的訓練過程,三欄分別是 RAdam、Adam、SGD,上排是測試準確率、下排是訓練損失,橫軸是 epoch,四種顏色代表學習率 0.1、0.03、0.01、0.003。RAdam 欄的四條線幾乎完全重疊,最後準確率都在 91% 附近;Adam 欄中學習率 0.1 的粉紅線明顯較差,約 86%;SGD 欄四條線散開,學習率越小越差。
原論文 Figure 6(Liu 等人),取自 PDF 第 7 頁,arXiv 授權,學術引用。

學習率在 0.1 到 0.003 之間變動時,RAdam 的四條測試準確率曲線幾乎疊在一起;Adam 在學習率 0.1 時掉到約 86%,SGD 則四條線各走各的。作者把這解讀成整流讓 RAdam 能適應更大範圍的學習率。不過 README 的常見問題也老實寫著,RAdam 的穩健性不是無限的,學習率還是要調。

和暖身比

翻譯是最離不開暖身的場景,所以這裡的對手換成調好的 Adam 加暖身:

任務Adam + 暖身RAdam
IWSLT'14 德→英34.6634.76
IWSLT'14 英→德28.5628.48
WMT'16 英→德27.0327.27

整理自原論文 Table 2;BLEU,IWSLT 為 5 個隨機種子的平均。

兩者打平,作者的結論也是「達到和暖身相近的效果」。這裡有一個附錄才看得到的設定。翻譯實驗的 β2\beta_2 設成 0.9995,附錄寫的理由是讓 ν=4000\nu = 4000。代進 ρ∞=2/(1−β2)−1\rho_\infty = 2/(1-\beta_2) - 1,正好是 3,999,和 Adam 那組的 4,000 步暖身對齊。也就是說,在這組比較裡,RAdam 的「自動暖身」長度是透過 β2\beta_2 對齊過的。

CIFAR-10 上,Adam 加暖身的最佳準確率是 91.29%,和 RAdam 的 91.38% 相當;但暖身長度有 100、200、500、1,000 步可選,學習率 0.1 配 100 步暖身時只有 90.13%,同一個學習率下 RAdam 是 91.06%。作者的主張因此比較精確地說,是 RAdam 少了一個要調的超參數,最好的成績本身差不多。

前幾步的動量 SGD

退化成動量 SGD 那幾步重要嗎?附錄 C 在 CIFAR-10、學習率 0.1 下做了替換實驗(5 次平均)。全程 RAdam 的測試準確率是 91.08%;把前 4 步換成普通 Adam,掉到 89.98%;前 4 步用 SGD、第 5 到 8 步換成未整流的 Adam,則是 90.29%。作者認為這符合理論,越早的更新傷害越大,但也說明這部分只是演算法裡次要的設計,重點在暖身的機制與整流項的推導。

Ma 與 Yarats 的反駁

2019 年 10 月,Jerry Ma(芝加哥大學)與 Denis Yarats(紐約大學、Facebook AI Research)在 arXiv 放出〈On the Adequacy of Untuned Warmup for Adaptive Optimization〉(AAAI 2021)。摘要開門見山,說他們要反駁這份分析。論點有三層。

第一,RAdam 是一段固定的暖身。 rtr_t 只跟 tt 和 β2\beta_2 有關,和梯度實際長什麼樣完全無關。前面已經提到,ρt≤4\rho_t \le 4 恰好是前 4 步,所以 RAdam 可以用一句話描述,先做 4 步動量 SGD,之後是套上固定暖身排程的 Adam。他們也試過把前 4 步換成什麼都不做、或用很小學習率的 Adam,差別都可以忽略。

第二,變異數的論證有漏洞。 RAdam 假設梯度均值為 0,但訓練初期模型離極小值很遠,梯度的均值通常比標準差還大;他們在 EMNIST 上量到,大約要到第 50 步,多數參數的變異係數才穩定超過 1。更關鍵的是,Adam 實際的更新量是 m^t/v^t\hat m_t / \sqrt{\hat v_t},而 ∣mt∣|m_t| 和 vt\sqrt{v_t} 高度相關。第 1 步時兩者甚至完全相等,每個參數的更新量都恰好是 ±α\pm\alpha(ϵ=0\epsilon = 0 時)。換句話說,自適應學習率的變異數「發散」的那一步,實際更新量的變異數是 0。

第三,該看的是更新量的大小。 他們做了一個模擬,讓梯度在一個極小值附近純粹是零均值的雜訊,跑 Adam 看更新量。結果更新量從 1⋅α1\cdot\alpha 開始,大約 40 步後才穩定在 0.15α0.15\alpha 左右。也就是說,即使模型已經停在極小值上,Adam 剛開始的幾十步也會邁出偏大的步伐;SGD 在同樣的情況下不需要暖身,這可以部分解釋為什麼 Adam 比 SGD 更需要暖身。

在這些分析之上,他們提出兩條不用調的經驗法則:

ωtexpo=1−exp⁡(−(1−β2) t),ωtlinear=min⁡(1,1−β22 t)\omega^{\text{expo}}_t = 1 - \exp\big(-(1-\beta_2)\,t\big), \qquad \omega^{\text{linear}}_t = \min\left(1, \frac{1-\beta_2}{2}\,t\right)

前者的時間常數 1/(1−β2)1/(1-\beta_2) 是仿照 Adam 二階動差的偏差修正項 1−β2t≈1−e−(1−β2)t1-\beta_2^t \approx 1 - e^{-(1-\beta_2)t} 選的,作者自己也說這個直覺純屬推測;後者是 2/(1−β2)2/(1-\beta_2) 步的線性暖身,β2=0.999\beta_2 = 0.999 時就是 2,000 步。

本站自繪的曲線圖,β2 = 0.999,橫軸是訓練步數 0 到 6,000,縱軸是乘在學習率前面的係數 0 到 1。藍色實線是 RAdam 的整流項 r_t,一開始上升最快,1,000 步時約 0.65,之後慢慢逼近 1;橘色虛線是 2,000 步的線性暖身,在第 2,000 步到達 1;綠色點線是指數暖身,形狀和 r_t 接近,前 1,100 步左右略低、之後略高。圖上註明 t ≤ 4 時 ρ_t ≤ 4,RAdam 不用自適應學習率。
本文整理,依原論文 Algorithm 2 與 Ma & Yarats 式 (13)(14) 計算繪製。

三條曲線的形狀不完全一樣,RAdam 在前幾百步上升得最快,過了 1,500 步左右反而落在最後。Ma 與 Yarats 用「有效暖身長度」∑t(1−ωt)\sum_t (1-\omega_t) 來比較,也就是暖身總共壓掉了多少步的學習率;β2=0.999\beta_2 = 0.999 時,三者都在 1,000 步左右(照公式算,RAdam 約 1,033 步),而且在各種 β2\beta_2 下都幾乎一樣。

實驗也支持這個說法。他們在 ImageNet 的 ResNet-50、WikiText-103 的 Transformer 語言模型、WMT16 英翻德的 Transformer 上,各掃 9 到 12 組學習率與 β2\beta_2,三種方法的差距多半只有零點幾。以 ImageNet 的 top-1 誤差為例(5 個隨機種子):

學習率β2\beta_2指數線性RAdam
10−310^{-3}0.9927.928.028.4
10−310^{-3}0.99727.927.928.3
10−310^{-3}0.99928.228.328.4

整理自 Ma & Yarats Table 1,節錄學習率 10−310^{-3} 的三列(%)。

這三列裡 RAdam 反而略差一點。整張表差最多的一組是學習率 10−210^{-2}、β2=0.999\beta_2 = 0.999,RAdam 的誤差比兩條經驗法則高了約 1 個百分點。他們的建議是,用 Adam 時就做 2/(1−β2)2/(1-\beta_2) 步的線性暖身。

誰比較對?

兩篇論文都同意 Adam 在最初幾千步需要比較小的學習率,分歧在於為什麼。

RAdam 這邊的證據,是 Adam-2k 這類對照實驗,以及在翻譯與影像上和調好的暖身打平。Ma 與 Yarats 那邊,則指出 rtr_t 只是一個由 β2\beta_2 決定的固定排程,並用更新量的分析與跨三個任務的實驗說明,不用調參的線性暖身就能做到一樣的事。RAdam 的論文正式版沒有回應這篇反駁;README 的常見問題倒是承認,當梯度均值遠大於變異數時,變異數的問題可能不大,並把這當成某些模型比較需要暖身的可能解釋。

零均值這個假設,RAdam 論文自己在 5.3 節用模擬檢查過。梯度改從 N(μ,1)\mathcal{N}(\mu, 1) 取樣,μ\mu 取 0、0.001、0.01、0.1、1、10 六種,β2=0.999\beta_2 = 0.999,各跑 5,000 條、每條 6,000 步的軌跡;六種情況下,原始自適應學習率的變異數都在初期偏大,整流後大致維持一致。同一節也確認式 (5) 的一階近似和式 (2) 的閉合式幾乎重疊。這組模擬量的仍是自適應學習率本身的變異數,沒有涉及 Ma 與 Yarats 指出的 mtm_t 與 vtv_t 的相關性。

Ma 與 Yarats 也沒有把問題完全解決。他們的模擬顯示更新量大約 40 步就穩定,照這個邏輯,暖身幾百步應該就夠;可是不論 RAdam 還是他們的經驗法則,有效暖身都在 1,000 步左右,有些手調的暖身甚至拉到一萬步。他們在討論裡自己寫,Adam 為什麼需要這麼長的暖身,仍是一個未解的問題。

站在工程的角度,雙方在實務上的結論一致,RAdam 等價於一段長度約 2/(1−β2)2/(1-\beta_2) 步的暖身。這也帶出一個容易忽略的後果。後來的大型語言模型常把 β2\beta_2 設成 0.95,例如 GPT-3 和 LLaMA;這時 ρ∞=39\rho_\infty = 39,照公式算,RAdam 內建的有效暖身只有約 24 步,而 LLaMA 實際用的是 2,000 步暖身。

整流項本身倒是被保留了下來。PyTorch 內建了 torch.optim.RAdam;Schedule-Free 的官方套件在 2024 年底也收進一個社群貢獻的 RAdam 版本,說明寫著連暖身都可以省掉。

結論

RAdam 從 Adam 的自適應學習率出發,用 SMA 近似估出第 tt 步等效的樣本數 ρt\rho_t,再用整流項 rtr_t 把變異數拉到一致;ρt≤4\rho_t \le 4 的前幾步則直接退化成動量 SGD。在翻譯與影像分類上,它不必另外設定暖身長度(翻譯實驗的 β2\beta_2 有特別對齊),就能追上調好的 Adam 加暖身。Ma 與 Yarats 隨後指出,rtr_t 只是一段由 β2\beta_2 決定的固定暖身,簡單的線性暖身就能取得幾乎相同的結果。

如果你手上已經有調好的暖身,換成 RAdam 多半不會多得到什麼;如果沒有,RAdam 和「線性暖身 2/(1−β2)2/(1-\beta_2) 步」是兩個差不多可靠的起點。只是要記得,用 RAdam 時改 β2\beta_2,等於同時改了暖身長度。

README 開頭問,如果暖身是答案,問題是什麼。Ma 與 Yarats 給的答案是 Adam 初期的更新量太大;至於為什麼要暖這麼久,他們自己也承認還不知道。