Large Batch Optimization for Deep Learning: Training BERT in 76 minutes
- 發表版本
- ICLR 2020會議
- arXiv 首次提交
- arXiv:1904.00962
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{optimizerslamb2019,
title = {{Large Batch Optimization for Deep Learning: Training BERT in 76 minutes}},
author = {Yang You and Jing Li and Sashank Reddi and Jonathan Hseu and Sanjiv Kumar and Srinadh Bhojanapalli and Xiaodan Song and James Demmel and Kurt Keutzer and Cho-Jui Hsieh},
year = {2019},
eprint = {1904.00962},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1904.00962}
}
LARS 投稿 ICLR 2018 時被拒了。審稿結論寫得很具體,指出它只在 ImageNet 一個任務上驗證、多了超參數,逐層縮放學習率也沒有理論依據。
一年後,LARS 的第一作者 Yang You 到 Google Brain 當學生研究員,帶回一篇把這幾條意見都回應了的論文。新的任務是 BERT,新的優化器是 LAMB,另外還有兩條收斂定理。題目也不客氣,直接寫上「76 分鐘」。
定義問題
BERT-Large 的預訓練分兩段,先用長度 128 的序列跑 90 萬步,最後 10 萬步改用長度 512,batch 都是 512。在 16 顆 TPUv3 上大約要 3 天(論文量到 81.4 小時)。
想縮短時間,最直接的辦法是加機器、加大 batch,但兩條現成的路都走不通。一條是 LARS,它在 ResNet-50 上把 ImageNet 訓練壓到幾分鐘,換到 BERT 卻不靈:
| batch | 512 | 4K | 8K | 16K | 32K |
|---|---|---|---|---|---|
| LARS | 90.72 | 90.54 | 90.55 | 89.59 | 發散 |
| LAMB | 91.75 | 91.14 | 91.26 | 91.35 | 91.48 |
整理自原論文 Table 2,SQuAD v1.1 開發集 F1,節錄部分欄;官方 BERT-Large 的 F1 為 90.395。
另一條是 BERT 本來就在用的 AdamW。作者試了三種調法,分別是照 BERT 預設、照搬 LAMB 的超參數,以及自己重調。到 16K 時 F1 只有 88.1,達不到 90.4 的目標;附錄的調參表裡,暖身短一點的設定全部發散。到了第一段 64K、第二段 32K 的混合 batch,「調了很久也得不到合理的結果」。
能不能保留 Adam 逐元素自適應的好處,再加上 LARS 那種逐層的信任比例,讓 BERT 撐過 32K?這是這篇要回答的問題。
解決問題
兩步改造
作者先把 LARS 抽象成一個套在任何基底優化器上的通用策略。假設基底演算法(SGD 或 Adam)每層的更新是 ,改成:
- 每一層的更新先正規化成單位長度:。
- 學習率逐層乘上 , 是權重範數的某個函數。
以 SGD 為基底,第 層的更新就是
第一步只留下方向,丟掉梯度的大小。這會讓更新有偏,但作者認為 batch 很大時梯度的方向大致可靠,偏差不大;好處是梯度忽然變得極大或極小都不會直接放大成更新。第二步讓更新的量級跟著權重走。實務上作者用
也就是把權重範數夾在上下界之間,避免剛初始化、範數很小或很大的層拿到離譜的比例。論文沒有交代 、 實際設成多少。
若 ,整體學習率等於乘上 ,正是 LARS 的 trust ratio。作者另外把這個比值解讀成該層梯度 Lipschitz 常數倒數的粗略估計,曲率大的層自動走小步。
LAMB
把基底換成 Adam,就是 LAMB(Layer-wise Adaptive Moments optimizer for Batch training)。每一步先照 Adam 算一階、二階動差並做偏差修正:
接著把解耦的權重衰減加進去,再對整層做 trust ratio 的縮放:
這裡有兩層自適應。 在層內逐元素調整步伐,trust ratio 在層與層之間拉齊更新相對於權重的比例。權重衰減放在範數裡面,是作者刻意的選擇,衰減項和 Adam 的更新一起決定這層要走多遠。預設值是 、、、,學習率用 BERT 原本的線性衰減 。作者還指出, 時 LAMB 退化成 signSGD,學習率乘上該層維度的平方根。

這張附錄圖記錄 ResNet-50 訓練到第 50 次迭代時每一層的 trust ratio。橫軸是層的編號,縱軸是比例。第一層最高,約 0.10;後段最低的幾層只有 0.006 左右,相差十幾倍,同一個殘差區塊裡的幾層還會高低交替。作者把這解讀為 trust ratio 在幫「學得慢的層」加速。
收斂分析
這是 LARS 當年被要求補的部分。作者在非凸、帶 正則化的隨機最佳化下,假設損失對第 層是 -smooth,定義 (最陡的那一層)與 ( 層的平均)。
對照組是 SGD。batch 大小 等於總步數 、學習率選得恰當時,SGD 的界取決於 。直覺和 LARS 那張各層比值表一樣,全網路共用一個學習率,就只能遷就最陡的那一層。
LARS(Theorem 2)與 LAMB(Theorem 3)的界則換成 ,前提包括:
- ,也就是 batch 大到和總步數同階;
- 分析只做 、權重衰減 的情況;
- 有正的上下界 ;
- LAMB 依賴 的那個界,還要求 、每層參數一樣多; 時作者只得到一個較差的界,並說相信 時的實際表現應該比 更好,留待未來研究。
兩邊的收斂準則也不同,SGD 量的是梯度範數的平方,LARS 量的是各層梯度範數加總後的平方。作者在附錄說明,只有梯度比曲率和雜訊「更稠密」時,LARS 的界才勝過 SGD,否則 SGD 的上界比較好。換句話說,這兩條定理說明了逐層縮放在某些條件下有好處,而實驗用的 、 不在定理的範圍內。
討論
3 天到 76 分鐘
BERT 的實驗沿用官方的資料(Wikipedia 25 億字加 BooksCorpus 8 億字)與 SQuAD v1.1 的微調流程,微調設定一律不改。LAMB 只調一個學習率,batch 加大時連這個也不重調,按平方根規則縮放,batch 512 用 ,每加倍乘上 ,到 32K 是 ;暖身比例則從總步數的 1/320 一路加到 1/5。epoch 數固定,batch 越大步數越少。
| batch | 步數 | TPUv3 | 時間 | F1 |
|---|---|---|---|---|
| 512(官方) | 1000k | 16 | 81.4 h | 90.395 |
| 512 | 1000k | 16 | 82.8 h | 91.752 |
| 4K | 125k | 128 | 693.6 m | 91.137 |
| 16K | 31,250 | 512 | 200.0 m | 91.345 |
| 32K | 15,625 | 1024 | 101.2 m | 91.475 |
| 64K/32K | 8,599 | 1024 | 76.19 m | 90.584 |
整理自原論文 Table 1,節錄部分列。
32K 是一整個 TPUv3 Pod(1,024 顆晶片)在序列長度 512 時塞得下的上限。15,625 步裡,長度 128 跑 14,063 步、長度 512 跑 1,562 步,約 100 分鐘,用 64 倍的資源換到 49.1 倍的加速。
要再快,作者讓兩段用不同的 batch。第一段序列短,batch 可以開到 131,072,但從 65,536 再往上已經沒有加速,於是第一段用 65,536、第二段回到 32,768。batch 由大變小時訓練會亂掉,作者的處理是在第二段開頭把學習率從 0 重新暖身一次,再照常衰減。這樣總共 8,599 步,76 分鐘。

黑色長條是理想的線性加速,藍色是實測。1,024 顆晶片、batch 32K 時只拿到 49 倍;作者把差距歸因於梯度同步的通訊量,BERT 有 3 億個參數,ResNet-50 只有 2,500 萬。最右邊的混合 batch 量到 65.2 倍,超過理想值並不奇怪,它的步數比固定 32K 時少了將近一半。
76 分鐘這個數字要配著 F1 一起讀。混合 batch 的 90.584 高於官方 BERT 的 90.395,卻是 LAMB 自己所有設定裡最低的一個,其他設定都在 91.1 到 91.9 之間。
ImageNet
ResNet-50 這邊,作者想證明 LAMB 這種自適應方法也能達到動量 SGD 的水準。batch 16K、90 個 epoch,AdaGrad、Adam、AdamW 充分調參後只有 55.38%、66.04%、67.27%;套上 Goyal 等人的暖身與分段衰減,也只到 72.01%、73.48%、73.07%。Goyal 等人回報的動量 SGD 是 75.20%,LAMB 是 76.66%。batch 從 512 到 32K、完全不重調時,LAMB 的 top-1 都在 76.42% 到 77.11% 之間,32K 最低;和 LARS 相比,32K 是 76.4% 對 76.3%。
Reality Check
兩年後,Google 的 Nado 等人在〈A Large Batch Optimizer Reality Check〉裡重做了 BERT 的實驗,結論直接寫在副標題上,傳統的通用優化器在各種 batch size 都夠用。
他們沿用同一套兩段式設定與相同的步數,只把 LAMB 換回 Adam,認真重調:
| batch | 步數 | LAMB | Adam |
|---|---|---|---|
| 32K | 15,625 | 91.48 | 91.58 |
| 64K/32K | 8,599 | 90.58 | 91.04 |
| 64K | 7,818 | – | 90.46 |
整理自 Nado 等人 Table 3,SQuAD v1.1 開發集 F1;LAMB 的數字取自 LAMB 論文。
batch 32K 時,Adam 的預訓練損失也比較低,1.277 對 1.342。全程用 64K,Adam 在 7,818 步就達到 90.46,比 LAMB 的混合 batch 還少了七百多步。
雙方的條件差在哪裡?Nado 等人點出兩個實作細節,可能讓 LAMB 論文裡的 Adam 吃了虧。一是 BERT 開源碼裡的 Adam 沒有偏差修正,而偏差修正本身就有暖身的效果;二是 BERT 的學習率排程在衰減起點有一個斷崖,衰減在暖身期間就被錯誤地套用了,這段程式碼存在於 GitHub 上三千多份 BERT 訓練程式的副本裡。調參的力道也不一樣。Nado 等人對兩段預訓練分別搜尋學習率、、、暖身曲線的次方與權重衰減,每段約 30 次試驗,64K 的第二段用了 130 次, 固定為 。反過來說,他們沒有重跑 LAMB,比較的是步數而非實測的牆鐘時間;他們的論點是 Adam 計算比較簡單,同樣的步數在優化過的系統上不會比較慢。
他們也在 ResNet-50 上(batch 32,768、6,000 步)把 LAMB 原封不動地套到所有參數,結果只有 27.3%;BatchNorm 參數和偏差項改用 Adam 之後回到 76.3%。逐層正規化對某些參數確實可能有害,而 LAMB 論文沒有說明這些參數怎麼處理。他們在討論裡寫道,LARS 和 LAMB 的更新規則和「大 batch」的關係,並不比動量或 Adam 更深;收斂界依賴的假設(沒有動量、)離實務很遠,Adam 也能證出類似的界。
另一個角度來自 MoCo v3。Chen、Xie 與 He 在 2021 年用自監督方法訓練 ViT 時也試了 LAMB,在 ViT-B/16、batch 4096 的設定下,LAMB 在學習率 時拿到 72.5%,略勝 AdamW;學習率調到 和 ,準確率就掉了 1.6 和 6.0 個百分點。作者認為它對學習率太敏感,不方便拿來做消融比較。
結論
從 81 小時到 76 分鐘,LAMB 靠的是把 LARS 的逐層信任比例搬到 Adam 上,再加上 1,024 顆 TPUv3、混合 batch 與第二段的重新暖身;它也補上了 LARS 缺的收斂定理。後來的檢驗顯示,只要 Adam 的實作沒有缺陷、每一段都認真調過,同樣的 batch 與步數下它不輸 LAMB;定理成立的條件也和實際訓練差得很遠。
換用 LAMB 之前,先看清楚函式庫實作的是哪一版,偏差修正、、梯度預先正規化各有沒有,LayerNorm 和偏差項是否排除在 trust ratio 之外。然後用同樣的步數,認真調一組有偏差修正的 Adam 當對照。
76 分鐘的紀錄,最後是被 LAMB 想取代的 Adam 用更少的步數追平的。