返回論文筆記資料庫
arXiv 2017NeurIPS 2017優化器論文筆記

Marginal Value

練得快,考得差

原始論文

The Marginal Value of Adaptive Gradient Methods in Machine Learning

論文作者

Ashia C. Wilson · Rebecca Roelofs · Mitchell Stern · Nathan Srebro · Benjamin Recht

發表版本
NeurIPS 2017會議
arXiv 首次提交
arXiv:1705.08292
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{optimizersmarginalvalue2017,
  title = {{The Marginal Value of Adaptive Gradient Methods in Machine Learning}},
  author = {Ashia C. Wilson and Rebecca Roelofs and Mitchell Stern and Nathan Srebro and Benjamin Recht},
  year = {2017},
  eprint = {1705.08292},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1705.08292}
}
本頁內容

「These results suggest that practitioners should reconsider the use of adaptive methods to train neural networks.」

這是這篇論文摘要的最後一句,建議大家重新考慮要不要用自適應方法訓練神經網路。

2017 年 5 月,Adam 才發表兩年多,論文自己的引言就寫,它已經是許多深度學習框架裡的預設演算法。當時流傳兩個說法,一是 AdaGrad、RMSProp、Adam 這類自適應方法收斂得快,二是它們幾乎不用調參。柏克萊的 Ashia Wilson、Rebecca Roelofs、Mitchell Stern、Benjamin Recht 與 TTIC 的 Nathan Srebro 把兩個說法都拿出來檢查。

他們先構造了一個簡單的分類問題,SGD 在上面的測試錯誤率是 0,自適應方法卻接近一半;接著在影像分類、字元級語言模型與兩種句法剖析上做實驗,結論都是調好的 SGD 贏。

這篇筆記會先拆那個構造例,再看實驗和他們的調參方式,最後看兩年後另一組人怎麼用同一份程式碼,把差距調到看不見。

定義問題

深度網路的參數量通常遠大於訓練樣本數,能讓訓練損失降到 0 的解不只一個,而是一大片。優化器最後停在哪一個,取決於它走的路線;不同的解在訓練集上一樣好,在新資料上卻可能差很多。

這篇要問的是,自適應方法和 SGD 在這種情況下會不會挑到不同的解,而挑到的解泛化能力有沒有差別。

為了比較,論文先把各種方法寫進同一個框架。SGD 直接沿梯度走;自適應方法則在梯度前面乘上一個對角矩陣的倒數,

wk+1=wk−αkHk−1∇~f(wk),Hk=diag⁡((∑i=1kηi gi∘gi)1/2)w_{k+1}=w_k-\alpha_k H_k^{-1}\tilde\nabla f(w_k),\qquad H_k=\operatorname{diag}\Big(\big(\textstyle\sum_{i=1}^{k}\eta_i\, g_i\circ g_i\big)^{1/2}\Big)

ηi\eta_i 的選法決定了它是 AdaGrad、RMSProp 還是 Adam,動量項另外加上。SGD 相當於 Hk=IH_k=I,用的是參數空間原本的 ℓ2\ell_2 幾何;自適應方法則依照歷史梯度,替每個座標換一把尺。

解決問題

SGD 會找到最小範數解

先看最單純的情況,用最小平方法做二元分類:

min⁡w 12∥Xw−y∥22,X∈Rn×d, y∈{−1,1}n\min_w\ \tfrac12\|Xw-y\|_2^2,\qquad X\in\mathbb R^{n\times d},\ y\in\{-1,1\}^n

當 d>nd>n,只要有一個解讓損失為 0,就有無限多個。

SGD 的每一個梯度都是 X⊤(⋯ )X^\top(\cdots) 的形式,落在 XX 的列空間裡。從 w=0w=0 出發,只用梯度和過去迭代點的線性組合,就永遠離不開這個空間。列空間裡滿足 Xw=yXw=y 的解只有一個,wSGD=X⊤(XX⊤)−1yw_{\text{SGD}}=X^\top(XX^\top)^{-1}y,剛好是所有解裡 ℓ2\ell_2 範數最小的那個,也是邊界(margin)最大的那個。

所以 SGD、動量、小批次 SGD、Nesterov,乃至共軛梯度法,最後都會到同一個點。論文說,梯度下降自然地找到最大邊界解,是一個令人愉快的意外。

自適應方法會找到符號解

自適應方法的分母每個座標都不一樣,就沒有列空間這個限制了。一般情況很難算出它會收斂到哪裡,論文挑了一個能算的特例(Lemma 3.1):

若存在純量 cc 使得 Xsign⁡(X⊤y)=cyX\operatorname{sign}(X^\top y)=cy,則從 w0=0w_0=0 出發,AdaGrad、Adam 與 RMSProp 都收斂到唯一的解 w∝sign⁡(X⊤y)w\propto\operatorname{sign}(X^\top y)。

證明的想法很直接。在 ww 與 sign⁡(X⊤y)\operatorname{sign}(X^\top y) 成正比的時候,梯度會和 X⊤yX^\top y 成正比,分母 HkH_k 會和 diag⁡(∣X⊤y∣)\operatorname{diag}(|X^\top y|) 成正比;兩者一除,每個座標的更新量大小都一樣,只差在正負號。所以每一步之後,ww 仍然和 sign⁡(X⊤y)\operatorname{sign}(X^\top y) 成正比,歸納下去就得到結論。

換句話說,在這個特例裡,自適應方法把每個特徵都當成一樣重要,每個權重的絕對值都相同。論文的說法是,它們會收斂到 ℓ∞\ell_\infty 範數小的解,SGD 則收斂到 ℓ2\ell_2 範數小的解。

構造一組會讓它出錯的資料

接著論文設計了一組資料,讓這個差別變成測試錯誤率。

每個樣本的標籤 yiy_i 以機率 p>1/2p>1/2 是 +1+1,否則是 −1-1。特徵向量很長,前三維和後面分開看:

  • 第 1 維就是標籤本身,xi1=yix_{i1}=y_i;
  • 第 2、3 維永遠是 1;
  • 後面每個樣本各有一段只屬於自己的特徵,正例有 1 個、負例有 5 個,值都是 1。

真正有用的只有第 1 維;第 2、3 維是常數,後面那些特徵各自只在一個樣本身上出現。它們在訓練集上看起來很有鑑別力,每一個都能「認出」某個樣本,但對新樣本毫無用處。

這組資料剛好滿足 Lemma 3.1 的條件,c=4c=4。我們取 10 個訓練樣本(6 正、4 負)實際算一遍,從 w=0w=0 出發,梯度下降和 Adam 都把訓練損失降到 0,學到的權重如下:

特徵SGDAdam
第 1 維(標籤)0.7560.25
第 2、3 維(常數)0.0870.25
正例的專屬特徵0.0700.25
負例的專屬特徵−0.084−0.25

本文試算。SGD 欄是最小範數解,梯度下降迭代到收斂的結果與解析解一致;Adam 欄用預設的 β\beta、學習率 10−310^{-3} 迭代兩萬步,AdaGrad 得到相同的權重。

SGD 把大部分的權重放在第 1 維。Adam 給每個特徵一樣大的權重,正負號跟著該特徵在訓練集上和標籤的關係走。

現在來一個新樣本。它的專屬特徵是全新的,訓練時從沒出現過,和 ww 重疊的只有前三維:

  • SGD:分數是 0.756 y+2×0.0870.756\,y+2\times0.087。正例得 0.930.93,負例得 −0.58-0.58,兩個都分對。
  • Adam:分數是 0.25 (y+2)0.25\,(y+2)。正例得 0.750.75,負例得 0.250.25,兩個都判成正例。

在這組資料上,自適應方法會把每一個沒見過的樣本都標成正例,測試錯誤率就是負例的比例 1−p1-p。pp 越接近 1/21/2,錯誤率越接近一半;SGD 的錯誤率則是 0。附錄還把它寫成從固定分布抽樣的版本,結論相同。

這個例子的維度不必真的無限大,論文說取 6n6n 維就夠了,而深度網路的參數量常常是樣本數的 25 倍以上。作者的解讀是,真實資料裡也常有少數幾個頻繁出現、真正有用的特徵,加上大量稀疏的特徵;有限的訓練集上,稀疏特徵看起來很能分辨樣本,其實只是過擬合。

照 Lemma 3.1 的機制來看(這是本文的解釋),自適應方法的分母來自各座標自己的歷史梯度,很少出現的稀疏特徵分母小,相對步伐就大,最後被推到和真正有用的特徵一樣大的權重,正好放大了這個問題。

這個構造有它的前提。它要求從 w=0w=0 出發、資料滿足 Xsign⁡(X⊤y)=cyX\operatorname{sign}(X^\top y)=cy 這種特殊結構,分析時也把分母裡的 ϵ\epsilon 拿掉了。它證明了「自適應方法可以泛化得很差」,至於神經網路上會不會發生,要看實驗。

討論

實驗設定

論文比較兩個非自適應方法(SGD、動量固定 0.9 的 heavy-ball,下稱 HB)和三個自適應方法(AdaGrad、RMSProp、Adam),另外加一條完全用預設值的 Adam。四個任務都用網路上找得到的程式碼,盡量不改架構和前處理:

任務模型資料
影像分類VGG+BN+DropoutCIFAR-10
字元級語言模型2 層 LSTM《戰爭與和平》
判別式句法剖析2 層 LSTM+前饋Penn Treebank
生成式句法剖析3 層 LSTMPenn Treebank

整理自原論文 Table 2。四套程式碼用了 Torch、DyNet、TensorFlow 三種框架,前兩個任務都是 Torch。

句法剖析是把句子拆成巢狀的子句、片語與詞的樹狀結構。判別式的做法把建樹轉成一連串動作的序列預測,用 F1 衡量;生成式的做法把樹寫成深度優先走訪的序列,當成語言模型來打分,用困惑度衡量。

每個設定從隨機初始化跑 5 次。訓練的 epoch 數事先固定,有驗證集的任務,挑在預算內驗證成績最好的設定;CIFAR-10 沒有另外切驗證集,改挑訓練損失最低的設定。

調參方式

作者發現影響最大的兩個超參數是初始學習率和衰減方式,就只調這兩個,其他維持各框架的預設值。

學習率在對數尺度上取 5 個點。如果最好的點落在邊界,就往外再加點,直到最好的值在中間;例如試過 2、1、0.5、0.25、0.125 而 2 最好,就再試 4,4 更好就試 8。衰減方式有兩種:

  • dev-decay:記錄目前最好的驗證成績,某個 epoch 沒有刷新,就把學習率乘上 δ\delta;
  • fixed-decay:每 kk 個 epoch 乘一次 δ\delta。

作者建議有驗證集時用 dev-decay,它的超參數比較少,結果也不比 fixed-decay 差。附錄列了每個方法試過的學習率。以 CIFAR-10 為例,SGD 最好的是 0.5,Adam 最好的是 0.0003,比預設的 0.001 小三倍多。

CIFAR-10

兩張 CIFAR-10 的曲線圖,橫軸是 epoch(0 到 250)。左圖是訓練錯誤率:SGD(黑)與 HB(紅)呈階梯狀下降,最後約 0.3%;RMSProp 與 Adam 約 1.4%;AdaGrad(藍)約 4%;預設的 Adam(青)停在 12.5% 左右。右圖是測試錯誤率,標出各方法的最佳值:SGD 7.65±0.14、HB 7.74±0.25、RMSProp 9.60±0.19、Adam 9.78±0.25、AdaGrad 11.34±0.46、預設 Adam 12.02±0.16。
原論文 Figure 1(Wilson 等人),取自 PDF 第 7 頁,arXiv 授權,學術引用。

模型是 Torch 部落格上的 VGG+BN+Dropout,原本的測試錯誤率是 7.55%。右圖標出每個方法最好的測試錯誤率,SGD 是 7.65±0.14%7.65\pm0.14\%,自適應方法裡最好的 RMSProp 是 9.60±0.19%9.60\pm0.19\%,調過的 Adam 是 9.78±0.25%9.78\pm0.25\%,預設 Adam 是 12.02±0.16%12.02\pm0.16\%。

順著時間看更有意思。前 50 個 epoch,自適應方法的訓練錯誤率明顯領先,測試錯誤率則和 SGD、HB 不相上下。大約從第 50 個 epoch 開始,自適應方法的訓練錯誤率還比較低,SGD 和 HB 的測試錯誤率已經開始領先;到第 100 個 epoch,SGD 和 HB 在訓練與測試上都贏了。左圖 SGD 和 HB 每 25 個 epoch 往下跳一階,那是學習率衰減;兩年後重跑這組實驗的 Choi 等人記下的設定,是每 25 個 epoch 把學習率乘 0.5。自適應方法的曲線在同樣的位置平得多。

作者也試過替自適應方法加大學習率。前 50 個 epoch 確實會進步,但後面停滯得更嚴重,換什麼衰減方式都救不回來。

三個語言任務

六張曲線圖,左欄是訓練集、右欄是驗證或測試集。第一列是《戰爭與和平》字元級語言模型,200 個 epoch,測試損失最佳值:SGD 1.212、RMSProp 1.214、HB 1.218、Adam 1.229、AdaGrad 1.233、預設 Adam 1.269。第二列是判別式句法剖析,50 個 epoch,驗證 F1 最佳值:SGD 91.24、HB 91.16、Adam 91.11(第 6 個 epoch 就達到)、預設 Adam 90.79、AdaGrad 90.18;預設 Adam 的訓練 F1 最高。第三列是生成式句法剖析,100 個 epoch,驗證困惑度最佳值:SGD 5.09、HB 5.13、AdaGrad 5.24、RMSProp 5.28、Adam 5.35、預設 Adam 5.47;Adam 的訓練困惑度屬於最低的一群。
原論文 Figure 2(Wilson 等人),取自 PDF 第 9 頁,arXiv 授權,學術引用。

每一列左邊是訓練集,右邊是驗證或測試集,標註的是每個方法的最佳值。

  1. 字元級語言模型(第一列)。用 torch-rnn 在《戰爭與和平》全文上訓練 200 個 epoch。SGD 的測試損失最低,1.212±0.0011.212\pm0.001;RMSProp 以 1.214±0.0051.214\pm0.005 緊跟在後,作者特別說明這證明了自適應方法並非不可能找到泛化好的解。fixed-decay 的搜尋還有一個發現,除了 AdaGrad,所有方法最好的設定都是在訓練進行到 60% 或 80% 時才一次把學習率除以 10。
  2. 判別式剖析(第二列)。Cross 與 Huang 的剖析器,在 Penn Treebank 上訓練 50 個 epoch,dev-decay 的 δ=0.9\delta=0.9;當時的 DyNet 沒有 RMSProp。SGD 的驗證 F1 最好,91.24,HB 與 Adam 緊追在後。Adam 只花 6 個 epoch 就達到它的最佳值 91.11,SGD 要 18 個 epoch 才追上這個數字,31 個 epoch 才到 91.24。之後 Adam 在訓練集上繼續進步,驗證成績卻往下掉。
  3. 生成式剖析(第三列)。Choe 與 Charniak 的模型,為了省計算把 LSTM 的隱藏維度從 1500 降到 500,dropout 從 0.7 降到 0.5,訓練 100 個 epoch。SGD 的驗證困惑度最好,5.09;Adam 的訓練曲線屬於最好的一群,驗證困惑度卻是調過的方法裡最差的,5.35。

四個任務歸納起來是四點:

  1. 自適應方法找到的解,泛化比非自適應方法差。
  2. 就算訓練損失一樣低甚至更低,自適應方法的驗證或測試成績還是比較差。
  3. 自適應方法一開始在訓練集上進步得快,但驗證成績很快就停住。
  4. 調學習率和衰減,對 Adam 的改善在每個任務上都很明顯。預設值的 Adam 在四張圖上都墊底或接近墊底,「Adam 不用調」的說法站不住。

作者在結論裡說,他們不太確定 Adam 為什麼還這麼受歡迎。和其他研究者聊過之後的猜測是,Adam 在 GAN 與搭配函數近似的 Q-learning 上特別流行,而這兩者嚴格來說都不是在解最佳化問題,Adam 的動態也許剛好適合它們。

調好 ϵ\epsilon 再比一次

兩年後,多倫多大學與 Google Brain 的 Dami Choi、Christopher Shallue、George Dahl 等人在〈On Empirical Comparisons of Optimizers for Deep Learning〉裡回應了這篇論文。

他們的出發點是優化器之間的包含關係。動量設成 0 就是 SGD,所以調到最好的動量不可能輸給調到最好的 SGD。Adam 也能模仿動量。把 β2\beta_2 設成 0、ϵ\epsilon 調得很大,分母 v^t+ϵ\sqrt{\hat v_t}+\epsilon 幾乎就是常數 ϵ\epsilon,再配合學習率的排程抵銷偏差修正,Adam 的更新就變成帶動量的 SGD。所以只要所有超參數都調,Adam 不該比動量差。

Wilson 等人只調了學習率和衰減,ϵ\epsilon 維持各框架的預設值;構造例的分析也把 ϵ\epsilon 拿掉了。Choi 等人拿 Wilson 等人公開的 CIFAR-10 程式碼重跑:

  • 照原本的做法只掃學習率,重現了 RMSProp 和 Adam 比較差的結果;
  • 用隨機搜尋多調動量相關參數和 ϵ\epsilon,SGD、動量、RMSProp、Adam 四者的測試錯誤率幾乎一樣;
  • 換成他們自己的程式碼並搜尋學習率排程,四者也落在誤差範圍內。

他們也注意到 Wilson 等人在 CIFAR-10 上是用訓練損失挑設定,改成用驗證集挑,結論不變。ϵ\epsilon 這個參數的影響比想像中大,他們在四個任務上找到的最佳 ϵ\epsilon 橫跨 10 個數量級。

兩篇論文的結論怎麼放在一起,Choi 等人自己給了說法。如果把「預設 ϵ\epsilon 的 Adam」和「調過 ϵ\epsilon 的 Adam」看成兩個不同的優化器,結論就沒有矛盾。這裡要多想一步,ϵ\epsilon 調大的 Adam,分母的自適應效果也被沖淡了,越來越接近動量 SGD。Choi 等人在 Wilson 的程式碼上替 Adam 調 ϵ\epsilon,最後的搜尋範圍落在 10610^{6} 到 101010^{10},比梯度的尺度大了好幾個數量級,分母幾乎就是常數。所以兩篇加起來可以這樣讀,預設設定下的自適應更新確實可能泛化較差,而把 Adam 調到不輸 SGD 的那組超參數,有一部分正是讓它變得沒那麼自適應。

其他的回應

同一時期還有幾條路線,從不同角度處理這個差距。

  • 把權重衰減寫對。 2017 年 11 月,Loshchilov 與 Hutter 引用這篇論文,認為 Adam 泛化差的一大原因是 L2 正則化在 Adam 裡沒有發揮作用,提出 AdamW。
  • 後段換成 SGD。 Keskar 與 Socher 的 SWATS 先用 Adam 訓練,在某個條件觸發時切換到 SGD;AdaBound 則讓 Adam 每個參數的學習率被一個逐步收窄的上下界夾住,從 Adam 平滑過渡到 SGD。
  • 大規模重新比較。 Schmidt 等人用超過五萬次訓練比較 15 種優化器,沒有一種在所有任務上明顯勝出,Adam 仍然是很強的選擇。

另一個反方向的發展是 Transformer。Choi 等人在 LM1B 的 Transformer 語言模型上就看到明顯的排名,Adam 達到目標錯誤率所需的步數只有動量的 60%,達到同樣的最終結果只需 SGD 的 25%。Zhang 等人 2019 年認為,注意力模型的梯度雜訊呈重尾分布,是 SGD 表現差的原因之一;Kunstner 等人 2023 年則把批次一路加大到整個資料集,發現雜訊減少時 Adam 進步得比 SGD 多,差距並沒有因此縮小。這篇論文的實驗停在 2017 年的 CNN 與 LSTM,它的結論不能直接外推到這類模型。

結論

這篇論文用一個構造例證明,在過度參數化的問題上,自適應方法和 SGD 會走到不同的解;在特定的資料結構下,自適應方法學到的解可以把新資料錯判一半,SGD 則完全正確。四個實驗裡,只調學習率與衰減時,SGD 和 HB 的測試成績都比較好,預設值的 Adam 更是明顯落後。兩年後 Choi 等人重跑同一份程式碼,把 ϵ\epsilon 等超參數一起調,CIFAR-10 上的差距就消失了。

讀優化器比較的論文時,先找調參的那一段,看調了哪些超參數、各調了幾組、用什麼挑設定。自己做比較也一樣,Adam 至少要調學習率、學習率排程和 ϵ\epsilon,並像這篇的附錄那樣,把每個方法實際試過的網格寫出來。

Choi 等人在 ImageNet 上訓練 ResNet-50,最好的那組 NAdam,ϵ\epsilon 是 9475。這個原本只用來避免除以零的常數,在 Wilson 等人的網格裡根本沒有位置。