返回論文筆記資料庫
arXiv 2019ICLR 2020優化器論文筆記

LAMB

披著羊皮的 LARS

原始論文

Large Batch Optimization for Deep Learning: Training BERT in 76 minutes

論文作者

Yang You · Jing Li · Sashank Reddi …

查看全部 10 位作者

Yang You · Jing Li · Sashank Reddi · Jonathan Hseu · Sanjiv Kumar · Srinadh Bhojanapalli · Xiaodan Song · James Demmel · Kurt Keutzer · Cho-Jui Hsieh

發表版本
ICLR 2020會議
arXiv 首次提交
arXiv:1904.00962
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{optimizerslamb2019,
  title = {{Large Batch Optimization for Deep Learning: Training BERT in 76 minutes}},
  author = {Yang You and Jing Li and Sashank Reddi and Jonathan Hseu and Sanjiv Kumar and Srinadh Bhojanapalli and Xiaodan Song and James Demmel and Kurt Keutzer and Cho-Jui Hsieh},
  year = {2019},
  eprint = {1904.00962},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1904.00962}
}
本頁內容

LARS 投稿 ICLR 2018 時被拒了。審稿結論寫得很具體,指出它只在 ImageNet 一個任務上驗證、多了超參數,逐層縮放學習率也沒有理論依據。

一年後,LARS 的第一作者 Yang You 到 Google Brain 當學生研究員,帶回一篇把這幾條意見都回應了的論文。新的任務是 BERT,新的優化器是 LAMB,另外還有兩條收斂定理。題目也不客氣,直接寫上「76 分鐘」。

定義問題

BERT-Large 的預訓練分兩段,先用長度 128 的序列跑 90 萬步,最後 10 萬步改用長度 512,batch 都是 512。在 16 顆 TPUv3 上大約要 3 天(論文量到 81.4 小時)。

想縮短時間,最直接的辦法是加機器、加大 batch,但兩條現成的路都走不通。一條是 LARS,它在 ResNet-50 上把 ImageNet 訓練壓到幾分鐘,換到 BERT 卻不靈:

batch5124K8K16K32K
LARS90.7290.5490.5589.59發散
LAMB91.7591.1491.2691.3591.48

整理自原論文 Table 2,SQuAD v1.1 開發集 F1,節錄部分欄;官方 BERT-Large 的 F1 為 90.395。

另一條是 BERT 本來就在用的 AdamW。作者試了三種調法,分別是照 BERT 預設、照搬 LAMB 的超參數,以及自己重調。到 16K 時 F1 只有 88.1,達不到 90.4 的目標;附錄的調參表裡,暖身短一點的設定全部發散。到了第一段 64K、第二段 32K 的混合 batch,「調了很久也得不到合理的結果」。

能不能保留 Adam 逐元素自適應的好處,再加上 LARS 那種逐層的信任比例,讓 BERT 撐過 32K?這是這篇要回答的問題。

解決問題

兩步改造

作者先把 LARS 抽象成一個套在任何基底優化器上的通用策略。假設基底演算法(SGD 或 Adam)每層的更新是 xt+1=xt+ηtutx_{t+1} = x_t + \eta_t u_t,改成:

  1. 每一層的更新先正規化成單位長度:ut/∥ut∥u_t / \|u_t\|。
  2. 學習率逐層乘上 ϕ(∥xt∥)\phi(\|x_t\|),ϕ\phi 是權重範數的某個函數。

以 SGD 為基底,第 ii 層的更新就是

xt+1(i)=xt(i)−ηt ϕ(∥xt(i)∥)∥gt(i)∥ gt(i)x_{t+1}^{(i)} = x_t^{(i)} - \eta_t \,\frac{\phi(\|x_t^{(i)}\|)}{\|g_t^{(i)}\|}\, g_t^{(i)}

第一步只留下方向,丟掉梯度的大小。這會讓更新有偏,但作者認為 batch 很大時梯度的方向大致可靠,偏差不大;好處是梯度忽然變得極大或極小都不會直接放大成更新。第二步讓更新的量級跟著權重走。實務上作者用

ϕ(z)=min⁡{max⁡{z,γl},γu}\phi(z) = \min\{\max\{z, \gamma_l\}, \gamma_u\}

也就是把權重範數夾在上下界之間,避免剛初始化、範數很小或很大的層拿到離譜的比例。論文沒有交代 γl\gamma_l、γu\gamma_u 實際設成多少。

若 ϕ(z)=z\phi(z) = z,整體學習率等於乘上 ∥xt(i)∥/∥gt(i)∥\|x_t^{(i)}\|/\|g_t^{(i)}\|,正是 LARS 的 trust ratio。作者另外把這個比值解讀成該層梯度 Lipschitz 常數倒數的粗略估計,曲率大的層自動走小步。

LAMB

把基底換成 Adam,就是 LAMB(Layer-wise Adaptive Moments optimizer for Batch training)。每一步先照 Adam 算一階、二階動差並做偏差修正:

mt=β1mt−1+(1−β1) gt,m^t=mt/(1−β1t)vt=β2vt−1+(1−β2) gt2,v^t=vt/(1−β2t)\begin{aligned} m_t &= \beta_1 m_{t-1} + (1-\beta_1)\, g_t, & \hat m_t &= m_t/(1-\beta_1^t) \\ v_t &= \beta_2 v_{t-1} + (1-\beta_2)\, g_t^2, & \hat v_t &= v_t/(1-\beta_2^t) \end{aligned} rt=m^tv^t+ϵr_t = \frac{\hat m_t}{\sqrt{\hat v_t} + \epsilon}

接著把解耦的權重衰減加進去,再對整層做 trust ratio 的縮放:

xt+1(i)=xt(i)−ηt ϕ(∥xt(i)∥)∥rt(i)+λxt(i)∥(rt(i)+λxt(i))x_{t+1}^{(i)} = x_t^{(i)} - \eta_t \, \frac{\phi(\|x_t^{(i)}\|)}{\|r_t^{(i)} + \lambda x_t^{(i)}\|} \left(r_t^{(i)} + \lambda x_t^{(i)}\right)

這裡有兩層自適應。v^t\sqrt{\hat v_t} 在層內逐元素調整步伐,trust ratio 在層與層之間拉齊更新相對於權重的比例。權重衰減放在範數裡面,是作者刻意的選擇,衰減項和 Adam 的更新一起決定這層要走多遠。預設值是 β1=0.9\beta_1=0.9、β2=0.999\beta_2=0.999、ϵ=10−6\epsilon=10^{-6}、λ=0.01\lambda=0.01,學習率用 BERT 原本的線性衰減 η0(1−t/T)\eta_0(1-t/T)。作者還指出,β1=β2=0\beta_1=\beta_2=0 時 LAMB 退化成 signSGD,學習率乘上該層維度的平方根。

原論文 Figure 12:ImageNet 上用 LAMB 訓練 ResNet-50 第 50 次迭代時,52 層各自的 trust ratio 長條圖。第 0 層約 0.10,最高;其餘層多半落在 0.006 到 0.065 之間,越往後層整體越低,同一個殘差區塊內的幾層呈現高低交替的規律。
原論文 Figure 12(You 等人),取自 PDF 第 21 頁,arXiv 授權,學術引用。

這張附錄圖記錄 ResNet-50 訓練到第 50 次迭代時每一層的 trust ratio。橫軸是層的編號,縱軸是比例。第一層最高,約 0.10;後段最低的幾層只有 0.006 左右,相差十幾倍,同一個殘差區塊裡的幾層還會高低交替。作者把這解讀為 trust ratio 在幫「學得慢的層」加速。

收斂分析

這是 LARS 當年被要求補的部分。作者在非凸、帶 L2L_2 正則化的隨機最佳化下,假設損失對第 ii 層是 LiL_i-smooth,定義 L∞=max⁡iLiL_\infty = \max_i L_i(最陡的那一層)與 Lavg=∑iLi/hL_{avg} = \sum_i L_i / h(hh 層的平均)。

對照組是 SGD。batch 大小 bb 等於總步數 TT、學習率選得恰當時,SGD 的界取決於 L∞L_\infty。直覺和 LARS 那張各層比值表一樣,全網路共用一個學習率,就只能遷就最陡的那一層。

LARS(Theorem 2)與 LAMB(Theorem 3)的界則換成 LavgL_{avg},前提包括:

  • b=Tb = T,也就是 batch 大到和總步數同階;
  • 分析只做 β1=0\beta_1 = 0、權重衰減 λ=0\lambda = 0 的情況;
  • ϕ\phi 有正的上下界 αl≤ϕ≤αu\alpha_l \le \phi \le \alpha_u;
  • LAMB 依賴 LavgL_{avg} 的那個界,還要求 β2=0\beta_2 = 0、每層參數一樣多;β2>0\beta_2 > 0 時作者只得到一個較差的界,並說相信 β2>0\beta_2 > 0 時的實際表現應該比 β2=0\beta_2 = 0 更好,留待未來研究。

兩邊的收斂準則也不同,SGD 量的是梯度範數的平方,LARS 量的是各層梯度範數加總後的平方。作者在附錄說明,只有梯度比曲率和雜訊「更稠密」時,LARS 的界才勝過 SGD,否則 SGD 的上界比較好。換句話說,這兩條定理說明了逐層縮放在某些條件下有好處,而實驗用的 β1=0.9\beta_1 = 0.9、β2=0.999\beta_2 = 0.999 不在定理的範圍內。

討論

3 天到 76 分鐘

BERT 的實驗沿用官方的資料(Wikipedia 25 億字加 BooksCorpus 8 億字)與 SQuAD v1.1 的微調流程,微調設定一律不改。LAMB 只調一個學習率,batch 加大時連這個也不重調,按平方根規則縮放,batch 512 用 6.25×10−46.25\times10^{-4},每加倍乘上 2\sqrt 2,到 32K 是 5×10−35\times10^{-3};暖身比例則從總步數的 1/320 一路加到 1/5。epoch 數固定,batch 越大步數越少。

batch步數TPUv3時間F1
512(官方)1000k1681.4 h90.395
5121000k1682.8 h91.752
4K125k128693.6 m91.137
16K31,250512200.0 m91.345
32K15,6251024101.2 m91.475
64K/32K8,599102476.19 m90.584

整理自原論文 Table 1,節錄部分列。

32K 是一整個 TPUv3 Pod(1,024 顆晶片)在序列長度 512 時塞得下的上限。15,625 步裡,長度 128 跑 14,063 步、長度 512 跑 1,562 步,約 100 分鐘,用 64 倍的資源換到 49.1 倍的加速。

要再快,作者讓兩段用不同的 batch。第一段序列短,batch 可以開到 131,072,但從 65,536 再往上已經沒有加速,於是第一段用 65,536、第二段回到 32,768。batch 由大變小時訓練會亂掉,作者的處理是在第二段開頭把學習率從 0 重新暖身一次,再照常衰減。這樣總共 8,599 步,76 分鐘。

原論文 Figure 8:不同 TPU 數量下的加速倍數,黑色是理想的線性加速,藍色是實際結果。16 到 128 顆時兩者接近;512 顆約 25 倍對 32 倍;1024 顆約 49 倍對 64 倍;最右邊 1024-mixed 的藍色長條約 65 倍,略高於理想的 64 倍。
原論文 Figure 8(You 等人),取自 PDF 第 20 頁,arXiv 授權,學術引用。

黑色長條是理想的線性加速,藍色是實測。1,024 顆晶片、batch 32K 時只拿到 49 倍;作者把差距歸因於梯度同步的通訊量,BERT 有 3 億個參數,ResNet-50 只有 2,500 萬。最右邊的混合 batch 量到 65.2 倍,超過理想值並不奇怪,它的步數比固定 32K 時少了將近一半。

76 分鐘這個數字要配著 F1 一起讀。混合 batch 的 90.584 高於官方 BERT 的 90.395,卻是 LAMB 自己所有設定裡最低的一個,其他設定都在 91.1 到 91.9 之間。

ImageNet

ResNet-50 這邊,作者想證明 LAMB 這種自適應方法也能達到動量 SGD 的水準。batch 16K、90 個 epoch,AdaGrad、Adam、AdamW 充分調參後只有 55.38%、66.04%、67.27%;套上 Goyal 等人的暖身與分段衰減,也只到 72.01%、73.48%、73.07%。Goyal 等人回報的動量 SGD 是 75.20%,LAMB 是 76.66%。batch 從 512 到 32K、完全不重調時,LAMB 的 top-1 都在 76.42% 到 77.11% 之間,32K 最低;和 LARS 相比,32K 是 76.4% 對 76.3%。

Reality Check

兩年後,Google 的 Nado 等人在〈A Large Batch Optimizer Reality Check〉裡重做了 BERT 的實驗,結論直接寫在副標題上,傳統的通用優化器在各種 batch size 都夠用。

他們沿用同一套兩段式設定與相同的步數,只把 LAMB 換回 Adam,認真重調:

batch步數LAMBAdam
32K15,62591.4891.58
64K/32K8,59990.5891.04
64K7,818–90.46

整理自 Nado 等人 Table 3,SQuAD v1.1 開發集 F1;LAMB 的數字取自 LAMB 論文。

batch 32K 時,Adam 的預訓練損失也比較低,1.277 對 1.342。全程用 64K,Adam 在 7,818 步就達到 90.46,比 LAMB 的混合 batch 還少了七百多步。

雙方的條件差在哪裡?Nado 等人點出兩個實作細節,可能讓 LAMB 論文裡的 Adam 吃了虧。一是 BERT 開源碼裡的 Adam 沒有偏差修正,而偏差修正本身就有暖身的效果;二是 BERT 的學習率排程在衰減起點有一個斷崖,衰減在暖身期間就被錯誤地套用了,這段程式碼存在於 GitHub 上三千多份 BERT 訓練程式的副本裡。調參的力道也不一樣。Nado 等人對兩段預訓練分別搜尋學習率、β1\beta_1、β2\beta_2、暖身曲線的次方與權重衰減,每段約 30 次試驗,64K 的第二段用了 130 次,ϵ\epsilon 固定為 10−1110^{-11}。反過來說,他們沒有重跑 LAMB,比較的是步數而非實測的牆鐘時間;他們的論點是 Adam 計算比較簡單,同樣的步數在優化過的系統上不會比較慢。

他們也在 ResNet-50 上(batch 32,768、6,000 步)把 LAMB 原封不動地套到所有參數,結果只有 27.3%;BatchNorm 參數和偏差項改用 Adam 之後回到 76.3%。逐層正規化對某些參數確實可能有害,而 LAMB 論文沒有說明這些參數怎麼處理。他們在討論裡寫道,LARS 和 LAMB 的更新規則和「大 batch」的關係,並不比動量或 Adam 更深;收斂界依賴的假設(沒有動量、β2=0\beta_2 = 0)離實務很遠,Adam 也能證出類似的界。

另一個角度來自 MoCo v3。Chen、Xie 與 He 在 2021 年用自監督方法訓練 ViT 時也試了 LAMB,在 ViT-B/16、batch 4096 的設定下,LAMB 在學習率 5×10−45\times10^{-4} 時拿到 72.5%,略勝 AdamW;學習率調到 6×10−46\times10^{-4} 和 8×10−48\times10^{-4},準確率就掉了 1.6 和 6.0 個百分點。作者認為它對學習率太敏感,不方便拿來做消融比較。

結論

從 81 小時到 76 分鐘,LAMB 靠的是把 LARS 的逐層信任比例搬到 Adam 上,再加上 1,024 顆 TPUv3、混合 batch 與第二段的重新暖身;它也補上了 LARS 缺的收斂定理。後來的檢驗顯示,只要 Adam 的實作沒有缺陷、每一段都認真調過,同樣的 batch 與步數下它不輸 LAMB;定理成立的條件也和實際訓練差得很遠。

換用 LAMB 之前,先看清楚函式庫實作的是哪一版,偏差修正、ϕ\phi、梯度預先正規化各有沒有,LayerNorm 和偏差項是否排除在 trust ratio 之外。然後用同樣的步數,認真調一組有偏差修正的 Adam 當對照。

76 分鐘的紀錄,最後是被 LAMB 想取代的 Adam 用更少的步數追平的。