Decoupled Weight Decay Regularization
- 發表版本
- ICLR 2019會議
- arXiv 首次提交
- arXiv:1711.05101
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{optimizersadamw2017,
title = {{Decoupled Weight Decay Regularization}},
author = {Ilya Loshchilov and Frank Hutter},
year = {2017},
eprint = {1711.05101},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1711.05101}
}
下面兩行 PyTorch,參數名稱一樣,數字也一樣:
torch.optim.Adam(model.parameters(), lr=1e-3, weight_decay=1e-2)
torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=1e-2)
第一行把 1e-2 當成 L2 正則化的係數,加進梯度裡,再交給 Adam 處理;第二行則在每一步把參數直接乘上 ,和梯度無關。兩者訓練出來的模型不一樣。
2017 年 11 月,弗萊堡大學的 Ilya Loshchilov 與 Frank Hutter 指出這個差別時,常見的框架實作的都是第一種寫法,而且都把它叫做 weight decay。
他們的主張是,Adam 在影像分類上泛化輸給 SGD,有一大部分原因出在這裡。
定義問題
兩種「衰減」
權重衰減(weight decay)在 Hanson 與 Pratt 1988 年的定義裡,是每一步把權重乘上一個略小於 1 的數,再做梯度更新(論文 Eq. 1):
L2 正則化則是在損失函數上加一項 ,它的梯度是 。用 SGD 更新時:
和上一式比對,只要 ,兩者完全相同。這是論文的 Proposition 1,也是大家長期把兩個名詞混用的原因。
但這個等式藏著一件常被忽略的事。如果某個問題有一個最好的衰減量 ,那麼最好的 L2 係數 就和學習率綁在一起;學習率一改,L2 係數也得跟著改。就連在 SGD 裡,這兩個超參數也是耦合的。
換成 Adam 呢?
Adam 會把梯度除以 。若把 L2 寫進梯度, 這一項也會被一起除掉。
2017 年 5 月,Wilson 等人發現 Adam 在多個任務上泛化不如 SGD;當時影像分類的最好成績也都還是用 SGD 加動量訓練的。對這個差距有過幾種解釋,例如尖銳的極小值、自適應方法本身的問題。這篇提出另一個比較具體的假設,問題可能出在框架實作的「weight decay」,在 Adam 裡根本不是權重衰減。
解決問題
在 Adam 裡不等價
把 Adam 寫成一般的形式,, 是預條件矩陣;SGD 的 是單位矩陣,Adam 的是 再加上動量。兩種做法的一步分別是:
要兩式相等,必須對所有 都有 ,這只有在 是單位矩陣的常數倍時才可能。Adam 的 每個座標都不一樣,所以找不到任何 讓 L2 等於權重衰減。這是 Proposition 2。
差在哪裡?用兩個參數算一下。假設它們目前的值都是 1,梯度的典型大小()一個是 1、一個是 0.01,L2 係數取 。先忽略動量,也假設 小到不影響 :
| 參數 | L2 的衰減量 | AdamW 的衰減量 | |
|---|---|---|---|
| A | 1 | ||
| B | 0.01 |
本文試算。AdamW 一欄依 PyTorch 的寫法,衰減量是 ,取 。
L2 的衰減量要先除以 ,梯度大的參數 A 被衰減的量只有梯度小的參數 B 的百分之一。論文的說法是,在 L2 之下,歷史梯度大的權重被正則化得比較少。權重衰減則讓每一個權重以相同比例縮小。
Proposition 3 把這個差別寫成一個式子。如果預條件矩陣固定為 ,那麼權重衰減等價於一個依梯度尺度加權的 L2:
大的參數(歷史梯度大),被正則化得比普通 L2 更多。懲罰項是 ,所以每個座標的懲罰權重和 成正比。實際的 Adam 每一步都換預條件,這個命題不能直接套用,但它說明了兩種做法在優化什麼樣的目標。
Algorithm 2 的兩種寫法
修正的方法是把衰減從梯度裡拿出來,直接作用在參數上。論文把兩種寫法並排放在同一個演算法裡,用顏色標出各自多出來的那一項;這裡改用底下的標註區分:
只保留第一行標著 Adam+L2 的那一項,就是 Adam 加 L2;只保留最後一行標著 AdamW 的那一項,就是 AdamW。預設值和 Adam 相同,、、、。
是學習率排程的倍率,可以固定、遞減,或像後面的 AdamWR 一樣週期性重啟。請留意最後一行,衰減項 乘上了 ,卻沒有乘上基礎學習率 。論文的「解耦」指的就是這件事, 不再隨 改變意義。這個細節在框架實作裡會有不同的處理,討論時再回來看。
SGD 版本(SGDW,Algorithm 1)同理。L2 寫在梯度裡,;SGDW 則在最後一行改成 。在 SGD 裡兩者本來可以互換,SGDW 的用處是讓 不必隨 重新調整;帶動量時兩者也不再完全相同,因為 L2 項會跟著動量累積。
寫成程式,差別只在兩行。下面照 PyTorch 2.15 文件列出的演算法,寫一個單一張量的版本:
def adam_step(p, grad, m, v, t, lr=1e-3, betas=(0.9, 0.999), eps=1e-8,
weight_decay=0.0, decoupled=False):
b1, b2 = betas
if weight_decay and not decoupled:
grad = grad + weight_decay * p # Adam + L2:衰減項混進梯度,之後會被 sqrt(v_hat) 除掉
if weight_decay and decoupled:
p.mul_(1 - lr * weight_decay) # AdamW:參數直接按比例縮小,不進入 m 和 v
m.mul_(b1).add_(grad, alpha=1 - b1)
v.mul_(b2).addcmul_(grad, grad, value=1 - b2)
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p.add_(-lr * m_hat / (v_hat.sqrt() + eps))
decoupled=True 那一行用的是 lr * weight_decay,論文用的是 。這個差異先記著。
為什麼是權重衰減
第 3 節引用 Aitchison 2018 的貝氏濾波觀點替權重衰減找了一個理由。把隨機最佳化看成在追蹤每個參數的後驗分布,狀態轉移假設為 ;令 ,每一步就是把目前的估計乘上 ,正是解耦的權重衰減。這個衰減作用在先驗上,和每個參數的不確定性無關;如果要得到 L2 的效果,衰減量反而得隨不確定性改變。作者也說明,這個理論完全歸功於 Aitchison,他們只是做摘要。
正規化的權重衰減
作者在實驗中發現,最好的權重衰減會隨訓練長度改變,訓練越久,最好的 越小。附錄 B.1 提了一個正規化的寫法:
是批次大小, 是訓練樣本數, 是總 epoch 數。 可以理解成「整個訓練只跑一個批次時」的衰減量。
用 CIFAR-10 算一下,、。訓練 100 個 epoch 時,;訓練 1800 個 epoch 時約 0.0012,實際的 要小 倍。換到 ImageNet32x32,一個 epoch 是 CIFAR-10 的 24 倍長,同樣的 epoch 數下 要再小約 倍;作者說,如果直接沿用 CIFAR-10 的原始 ,在 ImageNet32x32 上大約會大 5 倍,結果差很多。用正規化的寫法,最佳的 在不同訓練長度、不同資料集,甚至 SGDW 和 AdamW 之間都很接近,例如 0.025 與 0.05。
作者也強調,平方根只是少數實驗下的一種選擇,可靠的結論是「做某種正規化」本身就能大幅改善結果。
AdamWR
最後一個元件是學習率排程。作者先前提出的 SGDR 用餘弦退火搭配週期性重啟:
是距離上次重啟過了幾個 epoch,每個批次都更新,所以不一定是整數; 是這一輪的長度。取 、,學習率倍率在每一輪從 1 沿餘弦降到 0,然後跳回 1。第一輪 、每輪長度乘以 ,重啟就發生在第 100、300、700、1500 個 epoch,每次重啟前的那個模型就是推薦的解。
他們早就試過把重啟套用在 Adam 上,但當時比不過 SGDR,原因正是 L2 在 Adam 裡的效果不如在 SGD 裡。修好權重衰減、再加上正規化(讓長短不一的每一輪能共用同一組設定),AdamW 加上重啟就是 AdamWR。
討論
實驗設定
實驗沿用 Shake-Shake 正則化論文的設定與程式碼,主要模型是深度 26、兩個殘差分支的 ResNet,第一個殘差區塊寬度 64(2x64d,1,160 萬個參數)或 96(2x96d,2,560 萬個參數);批次大小固定 128,用 CIFAR-10 的標準資料增強。另外用 ImageNet32x32,也就是把 ImageNet 的 120 萬張影像縮成 。
第一組實驗只比較 Adam 與 AdamW,搭配三種學習率排程(固定、在第 30、60、80 個 epoch 降低、餘弦退火),各自掃過學習率與衰減量的網格,訓練 100 個 epoch。不論哪一種排程,解耦的權重衰減都比 L2 好,排程越好,差距越大;餘弦退火明顯最好,之後的實驗都用它。這個結果也說明,Adam 雖然已經替每個參數調整學習率,再加一個全域的學習率排程仍然有幫助。附錄 D 還把傳統的 Adam(L2 加固定學習率)訓練到 1800 個 epoch,在 4×4 的粗網格上,最好的結果也只和 AdamW 用十八分之一的 epoch、較小的網路差不多。
學習率與權重衰減的熱力圖

這張圖是整篇論文的核心證據。四張圖都是 26 2x64d 的 ResNet 在 CIFAR-10 上訓練 100 個 epoch 的測試錯誤率;縱軸是初始學習率,橫軸是 L2 係數或權重衰減,顏色越藍越好,黑圈是最好的 10 組設定。
左上,SGD 加 L2。 好的區域是一條斜帶。例如最左上角那個黑圈在 、,只改其中一個都會變差,兩個一起改還可能更好。這正是 Proposition 1 說的 ,學習率一變,最好的 L2 係數就跟著變。作者認為,SGD「對超參數很敏感」的名聲,可能有一部分來自這種耦合。
右上,SGDW。 好的區域變成直立的一條,黑圈大多落在衰減量 1/4 到 1/2(再乘 0.001)之間,跨過五個不同的學習率。就算學習率沒調好,例如停在 1/1024,只調衰減量也能找到不錯的值。
左下,Adam 加 L2。 最好的結果明顯比 SGD 差。再看黑圈的位置,L2 係數為 0 的設定也在前十名裡,加了 L2 的最好結果和完全不加差不多。換句話說,L2 在這裡幾乎沒有作用,好的區域同樣是斜的。
右下,AdamW。 好的區域和 SGDW 一樣是直立的,黑圈集中在衰減量 1/4 到 1/2;最好的結果明顯優於 Adam 加 L2,和 SGD、SGDW 不相上下。
所以這張圖同時支持兩件事。解耦之後,學習率和權重衰減大致可以分開調;Adam 改用解耦的權重衰減後,在這個任務上追上了 SGD。
是泛化變好,還是只是訓練得更好

熱力圖只訓練 100 個 epoch。作者接著把較大的 2x96d 訓練到 1800 個 epoch,初始學習率固定在 Adam 的預設值 0.001(排程仍是餘弦退火),Adam 加 L2 試 12 種係數,AdamW 試 7 種正規化的衰減量。
上排的學習曲線,前半段兩組常常重疊,後半段 AdamW 的訓練損失和測試錯誤率通常比較低。左下是最終的測試錯誤率,Adam 加 L2 最好約 3.55%,AdamW 最好約 3.1%。
右下這張回答了標題的問題。橫軸是訓練損失,縱軸是測試錯誤率;如果 AdamW 只是把訓練損失降得更低,兩組點應該落在同一條曲線上。實際上,在同樣的訓練損失下,藍色 AdamW 的測試錯誤率比紅色 Adam 低。作者據此認為,AdamW 除了訓練得更好,泛化也更好。ImageNet32x32 上的結果相同。
熱重啟與隨時可用的結果

最後比較加上熱重啟的版本。左圖是 CIFAR-10,帶 R 的兩條線每次重啟就跳高,然後很快降到一個低點;第一次重啟前(第 100 個 epoch),AdamWR 已經達到約 4.0%,作者說這讓 AdamW 的速度最多快了 10 倍。這就是論文說的「隨時可用」(anytime),訓練到一半停下來,也有一個不錯的模型。
論文報告,在預設學習率 0.001 下,AdamW 的測試錯誤率比 Adam 相對降低 15%,CIFAR-10 和 ImageNet32x32 都是如此;AdamWR 達到同樣的結果,而且隨時可用。從左圖讀,CIFAR-10 上 Adam 停在約 3.6%,AdamW 約 3.1%。AdamWR 把 Adam 和 SGDWR 之間的差距縮小了大半,在 ImageNet32x32 上則兩者相當。
其他任務與限制
第 4.5 節收集了其他團隊的使用回報。腦波分類的團隊提供了同一組超參數下的直接比較,Deep4Net 從 71.37% 升到 73.68%,ResNet 從 61.34% 升到 72.04%;OpenAI 2018 年的 GPT 用 AdamW 訓練 Transformer;Zhang 等人在 CIFAR 上比較 SGD、Adam、K-FAC,凡是 L2 和權重衰減不等價的情況,解耦的權重衰減都比較好。
限制也很清楚。主要實驗都是影像分類,作者在結論裡寫,這些結果還要在更多任務上驗證,尤其是正則化很重要的任務。正規化權重衰減的平方根規則,也只來自少數幾組實驗。
學習率又乘了回來
回到前面那行 lr * weight_decay。
論文的 AdamW,衰減量是 ,只跟著排程倍率走,不乘基礎學習率 。PyTorch 的 AdamW 是 , 是包含排程的實際學習率,所以衰減量是 。Optax 的 adamw 也是如此,它的文件明白寫著,這裡的權重衰減會乘上學習率,和 PyTorch 一致,但和論文只乘排程倍率的做法不同;Keras 的 AdamW 也是把參數減去 variable * wd * lr。
換算起來,論文的 等於 PyTorch 的 lr × weight_decay。PyTorch 預設 lr=1e-3、weight_decay=1e-2,每步衰減 ,相當於論文寫法裡的 。各家的預設值也不一樣,PyTorch 是 0.01,Optax 是 ,Keras 是 0.004,搬超參數時要先確認是哪一種寫法、哪一個預設值。
這個差異帶來一個實際的後果。用 PyTorch 的寫法,改學習率就等於同時改了衰減量,前面熱力圖裡「兩個超參數可以分開調」的性質不再完全成立。Fabian Schaipp 在 2024 年 2 月的一篇部落格文章裡用一個合成的嶺迴歸問題示範了這件事,建議用 PyTorch 的 AdamW 掃學習率時,讓 lr × weight_decay 保持不變,學習率加倍,衰減就減半;他也提到在 timm 上訓練 ViT 的經驗與此一致,但那部分沒有放出實驗。Wang 與 Aitchison 2024 年換一個角度看,AdamW 學到的權重可以看成最近更新的指數移動平均,時間尺度大約是 步;他們在 ResNet、ViT 與 NanoGPT 上發現,以 epoch 計的最佳時間尺度大致固定,所以資料集變大時,權重衰減應該跟著變小。這和論文正規化權重衰減的方向一致。
也有框架保留論文的寫法,例如 MosaicML Composer 的 DecoupledAdamW,衰減量只乘上「目前學習率除以初始學習率」,也就是排程倍率。另外,PyTorch 的 Adam 本身也有 weight_decay,那是 L2;要在 Adam 裡得到 AdamW 的行為,得另外設 decoupled_weight_decay=True。
後來的事
AdamW 後來成了訓練 Transformer 的標準配備。LLaMA 用 AdamW,、權重衰減 0.1;OLMo 2 甚至把嵌入層從權重衰減裡排除;DeepSeek-V4 把大部分參數交給 Muon,嵌入層、預測頭與正規化層的權重仍然用 AdamW。
結論
這篇論文證明,L2 正則化與權重衰減只在 SGD 裡等價,而且要依學習率換算係數;在 Adam 裡,L2 的梯度會被 除掉,歷史梯度大的權重被正則化得比較少。把衰減移出梯度、直接作用在參數上,就是 AdamW。CIFAR-10 的熱力圖顯示,這讓學習率和權重衰減大致可以分開調,Adam 的最好成績也追上了 SGD;1800 個 epoch 的比較則顯示,在同樣的訓練損失下 AdamW 的測試錯誤率更低。證據主要來自影像分類的 ResNet,正規化規則也只做了少數實驗。
實際用的時候,先確認你用的是哪一個 AdamW。PyTorch、Optax、Keras 的衰減量都是學習率乘上 weight_decay,論文與 Composer 的版本只乘排程倍率;從論文或其他框架搬設定時,記得換算。在 PyTorch 裡掃學習率,可以讓 lr × weight_decay 固定,而 torch.optim.Adam(weight_decay=...) 從頭到尾都是 L2。
論文第一版的題目叫〈Fixing Weight Decay Regularization in Adam〉,修好的版本後來成了大型語言模型的標準配備。只是最普及的幾個實作,又把學習率乘回了衰減項裡。