返回論文筆記資料庫
arXiv 2017ICLR 2019優化器論文筆記

AdamW

此衰減非彼衰減

原始論文

Decoupled Weight Decay Regularization

論文作者

Ilya Loshchilov · Frank Hutter

發表版本
ICLR 2019會議
arXiv 首次提交
arXiv:1711.05101
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{optimizersadamw2017,
  title = {{Decoupled Weight Decay Regularization}},
  author = {Ilya Loshchilov and Frank Hutter},
  year = {2017},
  eprint = {1711.05101},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1711.05101}
}
本頁內容

下面兩行 PyTorch,參數名稱一樣,數字也一樣:

python
torch.optim.Adam(model.parameters(), lr=1e-3, weight_decay=1e-2)
torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=1e-2)

第一行把 1e-2 當成 L2 正則化的係數,加進梯度裡,再交給 Adam 處理;第二行則在每一步把參數直接乘上 1−10−3×10−21-10^{-3}\times10^{-2},和梯度無關。兩者訓練出來的模型不一樣。

2017 年 11 月,弗萊堡大學的 Ilya Loshchilov 與 Frank Hutter 指出這個差別時,常見的框架實作的都是第一種寫法,而且都把它叫做 weight decay。

他們的主張是,Adam 在影像分類上泛化輸給 SGD,有一大部分原因出在這裡。

定義問題

兩種「衰減」

權重衰減(weight decay)在 Hanson 與 Pratt 1988 年的定義裡,是每一步把權重乘上一個略小於 1 的數,再做梯度更新(論文 Eq. 1):

θt+1=(1−λ) θt−α ∇ft(θt)\theta_{t+1}=(1-\lambda)\,\theta_t-\alpha\,\nabla f_t(\theta_t)

L2 正則化則是在損失函數上加一項 λ′2∥θ∥22\frac{\lambda'}{2}\|\theta\|_2^2,它的梯度是 λ′θ\lambda'\theta。用 SGD 更新時:

θt+1=θt−α(∇ft(θt)+λ′θt)=(1−αλ′) θt−α ∇ft(θt)\theta_{t+1}=\theta_t-\alpha\big(\nabla f_t(\theta_t)+\lambda'\theta_t\big)=(1-\alpha\lambda')\,\theta_t-\alpha\,\nabla f_t(\theta_t)

和上一式比對,只要 λ′=λ/α\lambda'=\lambda/\alpha,兩者完全相同。這是論文的 Proposition 1,也是大家長期把兩個名詞混用的原因。

但這個等式藏著一件常被忽略的事。如果某個問題有一個最好的衰減量 λ\lambda,那麼最好的 L2 係數 λ′=λ/α\lambda'=\lambda/\alpha 就和學習率綁在一起;學習率一改,L2 係數也得跟著改。就連在 SGD 裡,這兩個超參數也是耦合的。

換成 Adam 呢?

Adam 會把梯度除以 v^t\sqrt{\hat v_t}。若把 L2 寫進梯度,λ′θ\lambda'\theta 這一項也會被一起除掉。

2017 年 5 月,Wilson 等人發現 Adam 在多個任務上泛化不如 SGD;當時影像分類的最好成績也都還是用 SGD 加動量訓練的。對這個差距有過幾種解釋,例如尖銳的極小值、自適應方法本身的問題。這篇提出另一個比較具體的假設,問題可能出在框架實作的「weight decay」,在 Adam 裡根本不是權重衰減。

解決問題

在 Adam 裡不等價

把 Adam 寫成一般的形式,θt+1←θt−αMt∇ft(θt)\theta_{t+1}\leftarrow\theta_t-\alpha M_t\nabla f_t(\theta_t),MtM_t 是預條件矩陣;SGD 的 MtM_t 是單位矩陣,Adam 的是 diag⁡(1/(v^t+ϵ))\operatorname{diag}(1/(\sqrt{\hat v_t}+\epsilon)) 再加上動量。兩種做法的一步分別是:

L2:θt+1=θt−αλ′Mtθt−αMt∇ft(θt)權重衰減:θt+1=(1−λ) θt−αMt∇ft(θt)\begin{aligned} \text{L2:}\quad &\theta_{t+1}=\theta_t-\alpha\lambda' M_t\theta_t-\alpha M_t\nabla f_t(\theta_t)\\ \text{權重衰減:}\quad &\theta_{t+1}=(1-\lambda)\,\theta_t-\alpha M_t\nabla f_t(\theta_t) \end{aligned}

要兩式相等,必須對所有 θt\theta_t 都有 λθt=αλ′Mtθt\lambda\theta_t=\alpha\lambda' M_t\theta_t,這只有在 MtM_t 是單位矩陣的常數倍時才可能。Adam 的 MtM_t 每個座標都不一樣,所以找不到任何 λ′\lambda' 讓 L2 等於權重衰減。這是 Proposition 2。

差在哪裡?用兩個參數算一下。假設它們目前的值都是 1,梯度的典型大小(v^t\sqrt{\hat v_t})一個是 1、一個是 0.01,L2 係數取 λ′=10−4\lambda'=10^{-4}。先忽略動量,也假設 λ′θ\lambda'\theta 小到不影響 v^t\hat v_t:

參數v^t\sqrt{\hat v_t}L2 的衰減量AdamW 的衰減量
A110−4 α10^{-4}\,\alpha10−4 α10^{-4}\,\alpha
B0.0110−2 α10^{-2}\,\alpha10−4 α10^{-4}\,\alpha

本文試算。AdamW 一欄依 PyTorch 的寫法,衰減量是 αλθ\alpha\lambda\theta,取 λ=10−4\lambda=10^{-4}。

L2 的衰減量要先除以 v^t\sqrt{\hat v_t},梯度大的參數 A 被衰減的量只有梯度小的參數 B 的百分之一。論文的說法是,在 L2 之下,歷史梯度大的權重被正則化得比較少。權重衰減則讓每一個權重以相同比例縮小。

Proposition 3 把這個差別寫成一個式子。如果預條件矩陣固定為 Mt=diag⁡(s)−1M_t=\operatorname{diag}(s)^{-1},那麼權重衰減等價於一個依梯度尺度加權的 L2:

ftsreg(θ)=ft(θ)+λ2α∥θ⊙s∥22f_t^{\text{sreg}}(\theta)=f_t(\theta)+\frac{\lambda}{2\alpha}\big\|\theta\odot\sqrt{s}\big\|_2^2

sis_i 大的參數(歷史梯度大),被正則化得比普通 L2 更多。懲罰項是 ∥θ⊙s∥2\lVert\theta\odot\sqrt{s}\rVert^2,所以每個座標的懲罰權重和 sis_i 成正比。實際的 Adam 每一步都換預條件,這個命題不能直接套用,但它說明了兩種做法在優化什麼樣的目標。

Algorithm 2 的兩種寫法

修正的方法是把衰減從梯度裡拿出來,直接作用在參數上。論文把兩種寫法並排放在同一個演算法裡,用顏色標出各自多出來的那一項;這裡改用底下的標註區分:

gt←∇ft(θt−1)  + λθt−1⏟Adam+L2mt←β1mt−1+(1−β1) gtvt←β2vt−1+(1−β2) gt2m^t←mt/(1−β1t),v^t←vt/(1−β2t)ηt←SetScheduleMultiplier(t)θt←θt−1−ηt(α m^t/(v^t+ϵ)  + λθt−1⏟AdamW)\begin{aligned} g_t &\leftarrow \nabla f_t(\theta_{t-1}) \;\underbrace{+\,\lambda\theta_{t-1}}_{\text{Adam+L2}}\\ m_t &\leftarrow \beta_1 m_{t-1}+(1-\beta_1)\,g_t\\ v_t &\leftarrow \beta_2 v_{t-1}+(1-\beta_2)\,g_t^2\\ \hat m_t &\leftarrow m_t/(1-\beta_1^t),\qquad \hat v_t\leftarrow v_t/(1-\beta_2^t)\\ \eta_t &\leftarrow \text{SetScheduleMultiplier}(t)\\ \theta_t &\leftarrow \theta_{t-1}-\eta_t\Big(\alpha\,\hat m_t/\big(\sqrt{\hat v_t}+\epsilon\big)\;\underbrace{+\,\lambda\theta_{t-1}}_{\text{AdamW}}\Big) \end{aligned}

只保留第一行標著 Adam+L2 的那一項,就是 Adam 加 L2;只保留最後一行標著 AdamW 的那一項,就是 AdamW。預設值和 Adam 相同,α=0.001\alpha=0.001、β1=0.9\beta_1=0.9、β2=0.999\beta_2=0.999、ϵ=10−8\epsilon=10^{-8}。

ηt\eta_t 是學習率排程的倍率,可以固定、遞減,或像後面的 AdamWR 一樣週期性重啟。請留意最後一行,衰減項 λθt−1\lambda\theta_{t-1} 乘上了 ηt\eta_t,卻沒有乘上基礎學習率 α\alpha。論文的「解耦」指的就是這件事,λ\lambda 不再隨 α\alpha 改變意義。這個細節在框架實作裡會有不同的處理,討論時再回來看。

SGD 版本(SGDW,Algorithm 1)同理。L2 寫在梯度裡,mt←β1mt−1+ηtαgtm_t\leftarrow\beta_1 m_{t-1}+\eta_t\alpha g_t;SGDW 則在最後一行改成 θt←θt−1−mt−ηtλθt−1\theta_t\leftarrow\theta_{t-1}-m_t-\eta_t\lambda\theta_{t-1}。在 SGD 裡兩者本來可以互換,SGDW 的用處是讓 λ\lambda 不必隨 α\alpha 重新調整;帶動量時兩者也不再完全相同,因為 L2 項會跟著動量累積。

寫成程式,差別只在兩行。下面照 PyTorch 2.15 文件列出的演算法,寫一個單一張量的版本:

python
def adam_step(p, grad, m, v, t, lr=1e-3, betas=(0.9, 0.999), eps=1e-8,
              weight_decay=0.0, decoupled=False):
    b1, b2 = betas
    if weight_decay and not decoupled:
        grad = grad + weight_decay * p        # Adam + L2:衰減項混進梯度,之後會被 sqrt(v_hat) 除掉
    if weight_decay and decoupled:
        p.mul_(1 - lr * weight_decay)         # AdamW:參數直接按比例縮小,不進入 m 和 v
    m.mul_(b1).add_(grad, alpha=1 - b1)
    v.mul_(b2).addcmul_(grad, grad, value=1 - b2)
    m_hat = m / (1 - b1 ** t)
    v_hat = v / (1 - b2 ** t)
    p.add_(-lr * m_hat / (v_hat.sqrt() + eps))

decoupled=True 那一行用的是 lr * weight_decay,論文用的是 ηtλ\eta_t\lambda。這個差異先記著。

為什麼是權重衰減

第 3 節引用 Aitchison 2018 的貝氏濾波觀點替權重衰減找了一個理由。把隨機最佳化看成在追蹤每個參數的後驗分布,狀態轉移假設為 P(θt+1∣θt)=N((I−A)θt,Q)P(\theta_{t+1}\mid\theta_t)=\mathcal N\big((I-A)\theta_t,Q\big);令 A=λIA=\lambda I,每一步就是把目前的估計乘上 1−λ1-\lambda,正是解耦的權重衰減。這個衰減作用在先驗上,和每個參數的不確定性無關;如果要得到 L2 的效果,衰減量反而得隨不確定性改變。作者也說明,這個理論完全歸功於 Aitchison,他們只是做摘要。

正規化的權重衰減

作者在實驗中發現,最好的權重衰減會隨訓練長度改變,訓練越久,最好的 λ\lambda 越小。附錄 B.1 提了一個正規化的寫法:

λ=λnormbBT\lambda=\lambda_{\text{norm}}\sqrt{\frac{b}{BT}}

bb 是批次大小,BB 是訓練樣本數,TT 是總 epoch 數。λnorm\lambda_{\text{norm}} 可以理解成「整個訓練只跑一個批次時」的衰減量。

用 CIFAR-10 算一下,B=50,000B=50{,}000、b=128b=128。訓練 100 個 epoch 時,b/BT≈0.0051\sqrt{b/BT}\approx0.0051;訓練 1800 個 epoch 時約 0.0012,實際的 λ\lambda 要小 18≈4.2\sqrt{18}\approx4.2 倍。換到 ImageNet32x32,一個 epoch 是 CIFAR-10 的 24 倍長,同樣的 epoch 數下 λ\lambda 要再小約 24≈4.9\sqrt{24}\approx4.9 倍;作者說,如果直接沿用 CIFAR-10 的原始 λ\lambda,在 ImageNet32x32 上大約會大 5 倍,結果差很多。用正規化的寫法,最佳的 λnorm\lambda_{\text{norm}} 在不同訓練長度、不同資料集,甚至 SGDW 和 AdamW 之間都很接近,例如 0.025 與 0.05。

作者也強調,平方根只是少數實驗下的一種選擇,可靠的結論是「做某種正規化」本身就能大幅改善結果。

AdamWR

最後一個元件是學習率排程。作者先前提出的 SGDR 用餘弦退火搭配週期性重啟:

ηt=ηmin⁡(i)+12(ηmax⁡(i)−ηmin⁡(i))(1+cos⁡(πTcur/Ti))\eta_t=\eta_{\min}^{(i)}+\tfrac12\big(\eta_{\max}^{(i)}-\eta_{\min}^{(i)}\big)\big(1+\cos(\pi T_{\text{cur}}/T_i)\big)

TcurT_{\text{cur}} 是距離上次重啟過了幾個 epoch,每個批次都更新,所以不一定是整數;TiT_i 是這一輪的長度。取 ηmax⁡=1\eta_{\max}=1、ηmin⁡=0\eta_{\min}=0,學習率倍率在每一輪從 1 沿餘弦降到 0,然後跳回 1。第一輪 T0=100T_0=100、每輪長度乘以 Tmult=2T_{\text{mult}}=2,重啟就發生在第 100、300、700、1500 個 epoch,每次重啟前的那個模型就是推薦的解。

他們早就試過把重啟套用在 Adam 上,但當時比不過 SGDR,原因正是 L2 在 Adam 裡的效果不如在 SGD 裡。修好權重衰減、再加上正規化(讓長短不一的每一輪能共用同一組設定),AdamW 加上重啟就是 AdamWR。

討論

實驗設定

實驗沿用 Shake-Shake 正則化論文的設定與程式碼,主要模型是深度 26、兩個殘差分支的 ResNet,第一個殘差區塊寬度 64(2x64d,1,160 萬個參數)或 96(2x96d,2,560 萬個參數);批次大小固定 128,用 CIFAR-10 的標準資料增強。另外用 ImageNet32x32,也就是把 ImageNet 的 120 萬張影像縮成 32×3232\times32。

第一組實驗只比較 Adam 與 AdamW,搭配三種學習率排程(固定、在第 30、60、80 個 epoch 降低、餘弦退火),各自掃過學習率與衰減量的網格,訓練 100 個 epoch。不論哪一種排程,解耦的權重衰減都比 L2 好,排程越好,差距越大;餘弦退火明顯最好,之後的實驗都用它。這個結果也說明,Adam 雖然已經替每個參數調整學習率,再加一個全域的學習率排程仍然有幫助。附錄 D 還把傳統的 Adam(L2 加固定學習率)訓練到 1800 個 epoch,在 4×4 的粗網格上,最好的結果也只和 AdamW 用十八分之一的 epoch、較小的網路差不多。

學習率與權重衰減的熱力圖

四張熱力圖,顏色代表 CIFAR-10 上 100 個 epoch 後的 top-1 測試錯誤率,深藍約 3%、深紅 7% 以上,黑圈標出最好的 10 組設定。縱軸是初始學習率(Adam 與 AdamW 再乘 0.1),橫軸是 L2 係數或權重衰減(乘 0.001)。左上 SGD 加 L2:好的區域是一條從左上到右下的斜帶。右上 SGDW:好的區域大致是一條直立的帶狀,集中在權重衰減 1/4 到 1/2 附近。左下 Adam 加 L2:好的區域很小,靠近左下角,最好的幾組包括 L2 為 0 的設定,顏色偏綠,錯誤率較高。右下 AdamW:好的區域是一個直立的橢圓,集中在權重衰減 1/4 到 1/2,顏色和 SGDW 一樣深。
原論文 Figure 2(Loshchilov 與 Hutter),取自 PDF 第 6 頁,arXiv 授權,學術引用。

這張圖是整篇論文的核心證據。四張圖都是 26 2x64d 的 ResNet 在 CIFAR-10 上訓練 100 個 epoch 的測試錯誤率;縱軸是初始學習率,橫軸是 L2 係數或權重衰減,顏色越藍越好,黑圈是最好的 10 組設定。

左上,SGD 加 L2。 好的區域是一條斜帶。例如最左上角那個黑圈在 α=1/2\alpha=1/2、λ=1/8×0.001\lambda=1/8\times0.001,只改其中一個都會變差,兩個一起改還可能更好。這正是 Proposition 1 說的 λ′=λ/α\lambda'=\lambda/\alpha,學習率一變,最好的 L2 係數就跟著變。作者認為,SGD「對超參數很敏感」的名聲,可能有一部分來自這種耦合。

右上,SGDW。 好的區域變成直立的一條,黑圈大多落在衰減量 1/4 到 1/2(再乘 0.001)之間,跨過五個不同的學習率。就算學習率沒調好,例如停在 1/1024,只調衰減量也能找到不錯的值。

左下,Adam 加 L2。 最好的結果明顯比 SGD 差。再看黑圈的位置,L2 係數為 0 的設定也在前十名裡,加了 L2 的最好結果和完全不加差不多。換句話說,L2 在這裡幾乎沒有作用,好的區域同樣是斜的。

右下,AdamW。 好的區域和 SGDW 一樣是直立的,黑圈集中在衰減量 1/4 到 1/2;最好的結果明顯優於 Adam 加 L2,和 SGD、SGDW 不相上下。

所以這張圖同時支持兩件事。解耦之後,學習率和權重衰減大致可以分開調;Adam 改用解耦的權重衰減後,在這個任務上追上了 SGD。

是泛化變好,還是只是訓練得更好

四張圖,26 2x96d ResNet 在 CIFAR-10 上訓練 1800 個 epoch,初始學習率 0.001。上排是 Adam(紅)與 AdamW(藍)在不同衰減設定下的訓練損失與測試錯誤率曲線,前半段兩組曲線交錯,後半段藍線普遍較低。左下是最終測試錯誤率對衰減設定:Adam 加 L2 最低約 3.55%,AdamW 最低約 3.1%。右下是測試錯誤率對訓練損失的散佈圖:在同樣的訓練損失下,AdamW 的測試錯誤率比 Adam 低,Adam 的點在 3.5% 附近就到底了,AdamW 延伸到 3.1% 附近。
原論文 Figure 3(Loshchilov 與 Hutter),取自 PDF 第 7 頁,arXiv 授權,學術引用。

熱力圖只訓練 100 個 epoch。作者接著把較大的 2x96d 訓練到 1800 個 epoch,初始學習率固定在 Adam 的預設值 0.001(排程仍是餘弦退火),Adam 加 L2 試 12 種係數,AdamW 試 7 種正規化的衰減量。

上排的學習曲線,前半段兩組常常重疊,後半段 AdamW 的訓練損失和測試錯誤率通常比較低。左下是最終的測試錯誤率,Adam 加 L2 最好約 3.55%,AdamW 最好約 3.1%。

右下這張回答了標題的問題。橫軸是訓練損失,縱軸是測試錯誤率;如果 AdamW 只是把訓練損失降得更低,兩組點應該落在同一條曲線上。實際上,在同樣的訓練損失下,藍色 AdamW 的測試錯誤率比紅色 Adam 低。作者據此認為,AdamW 除了訓練得更好,泛化也更好。ImageNet32x32 上的結果相同。

熱重啟與隨時可用的結果

兩張測試錯誤率曲線。左圖是 CIFAR-10,訓練 1800 個 epoch:Adam(洋紅)最後約 3.6%,AdamW(藍)約 3.1%,SGDW(綠)約 2.9%;AdamWR(黑)與 SGDWR(紅)在第 100、300、700、1500 個 epoch 的重啟前各有一個低點,AdamWR 依序約 4.0、3.4、3.1、3.2%,SGDWR 約 3.65、3.15、2.95、2.95%,每次重啟後錯誤率先跳高再下降。右圖是 ImageNet32x32 的 top-5 錯誤率,訓練 150 個 epoch:Adam 最後約 17.7%,其他四種方法在 15.3% 到 16% 之間,右側放大圖顯示最後 20 個 epoch 的細節。
原論文 Figure 4(Loshchilov 與 Hutter),取自 PDF 第 8 頁,arXiv 授權,學術引用。

最後比較加上熱重啟的版本。左圖是 CIFAR-10,帶 R 的兩條線每次重啟就跳高,然後很快降到一個低點;第一次重啟前(第 100 個 epoch),AdamWR 已經達到約 4.0%,作者說這讓 AdamW 的速度最多快了 10 倍。這就是論文說的「隨時可用」(anytime),訓練到一半停下來,也有一個不錯的模型。

論文報告,在預設學習率 0.001 下,AdamW 的測試錯誤率比 Adam 相對降低 15%,CIFAR-10 和 ImageNet32x32 都是如此;AdamWR 達到同樣的結果,而且隨時可用。從左圖讀,CIFAR-10 上 Adam 停在約 3.6%,AdamW 約 3.1%。AdamWR 把 Adam 和 SGDWR 之間的差距縮小了大半,在 ImageNet32x32 上則兩者相當。

其他任務與限制

第 4.5 節收集了其他團隊的使用回報。腦波分類的團隊提供了同一組超參數下的直接比較,Deep4Net 從 71.37% 升到 73.68%,ResNet 從 61.34% 升到 72.04%;OpenAI 2018 年的 GPT 用 AdamW 訓練 Transformer;Zhang 等人在 CIFAR 上比較 SGD、Adam、K-FAC,凡是 L2 和權重衰減不等價的情況,解耦的權重衰減都比較好。

限制也很清楚。主要實驗都是影像分類,作者在結論裡寫,這些結果還要在更多任務上驗證,尤其是正則化很重要的任務。正規化權重衰減的平方根規則,也只來自少數幾組實驗。

學習率又乘了回來

回到前面那行 lr * weight_decay。

論文的 AdamW,衰減量是 ηtλ\eta_t\lambda,只跟著排程倍率走,不乘基礎學習率 α\alpha。PyTorch 的 AdamW 是 θt←θt−1−γλθt−1\theta_t\leftarrow\theta_{t-1}-\gamma\lambda\theta_{t-1},γ\gamma 是包含排程的實際學習率,所以衰減量是 αηtλ\alpha\eta_t\lambda。Optax 的 adamw 也是如此,它的文件明白寫著,這裡的權重衰減會乘上學習率,和 PyTorch 一致,但和論文只乘排程倍率的做法不同;Keras 的 AdamW 也是把參數減去 variable * wd * lr。

換算起來,論文的 λ\lambda 等於 PyTorch 的 lr × weight_decay。PyTorch 預設 lr=1e-3、weight_decay=1e-2,每步衰減 10−510^{-5},相當於論文寫法裡的 λ=10−5\lambda=10^{-5}。各家的預設值也不一樣,PyTorch 是 0.01,Optax 是 10−410^{-4},Keras 是 0.004,搬超參數時要先確認是哪一種寫法、哪一個預設值。

這個差異帶來一個實際的後果。用 PyTorch 的寫法,改學習率就等於同時改了衰減量,前面熱力圖裡「兩個超參數可以分開調」的性質不再完全成立。Fabian Schaipp 在 2024 年 2 月的一篇部落格文章裡用一個合成的嶺迴歸問題示範了這件事,建議用 PyTorch 的 AdamW 掃學習率時,讓 lr × weight_decay 保持不變,學習率加倍,衰減就減半;他也提到在 timm 上訓練 ViT 的經驗與此一致,但那部分沒有放出實驗。Wang 與 Aitchison 2024 年換一個角度看,AdamW 學到的權重可以看成最近更新的指數移動平均,時間尺度大約是 1/(lr×weight_decay)1/(\text{lr}\times\text{weight\_decay}) 步;他們在 ResNet、ViT 與 NanoGPT 上發現,以 epoch 計的最佳時間尺度大致固定,所以資料集變大時,權重衰減應該跟著變小。這和論文正規化權重衰減的方向一致。

也有框架保留論文的寫法,例如 MosaicML Composer 的 DecoupledAdamW,衰減量只乘上「目前學習率除以初始學習率」,也就是排程倍率。另外,PyTorch 的 Adam 本身也有 weight_decay,那是 L2;要在 Adam 裡得到 AdamW 的行為,得另外設 decoupled_weight_decay=True。

後來的事

AdamW 後來成了訓練 Transformer 的標準配備。LLaMA 用 AdamW,β2=0.95\beta_2=0.95、權重衰減 0.1;OLMo 2 甚至把嵌入層從權重衰減裡排除;DeepSeek-V4 把大部分參數交給 Muon,嵌入層、預測頭與正規化層的權重仍然用 AdamW。

結論

這篇論文證明,L2 正則化與權重衰減只在 SGD 裡等價,而且要依學習率換算係數;在 Adam 裡,L2 的梯度會被 v^t\sqrt{\hat v_t} 除掉,歷史梯度大的權重被正則化得比較少。把衰減移出梯度、直接作用在參數上,就是 AdamW。CIFAR-10 的熱力圖顯示,這讓學習率和權重衰減大致可以分開調,Adam 的最好成績也追上了 SGD;1800 個 epoch 的比較則顯示,在同樣的訓練損失下 AdamW 的測試錯誤率更低。證據主要來自影像分類的 ResNet,正規化規則也只做了少數實驗。

實際用的時候,先確認你用的是哪一個 AdamW。PyTorch、Optax、Keras 的衰減量都是學習率乘上 weight_decay,論文與 Composer 的版本只乘排程倍率;從論文或其他框架搬設定時,記得換算。在 PyTorch 裡掃學習率,可以讓 lr × weight_decay 固定,而 torch.optim.Adam(weight_decay=...) 從頭到尾都是 L2。

論文第一版的題目叫〈Fixing Weight Decay Regularization in Adam〉,修好的版本後來成了大型語言模型的標準配備。只是最普及的幾個實作,又把學習率乘回了衰減項裡。