返回論文筆記資料庫
arXiv 2018ICML 2018優化器論文筆記

Adafactor

記憶體斷捨離

原始論文

Adafactor: Adaptive Learning Rates with Sublinear Memory Cost

論文作者

Noam Shazeer · Mitchell Stern

發表版本
ICML 2018會議
arXiv 首次提交
arXiv:1804.04235
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{optimizersadafactor2018,
  title = {{Adafactor: Adaptive Learning Rates with Sublinear Memory Cost}},
  author = {Noam Shazeer and Mitchell Stern},
  year = {2018},
  eprint = {1804.04235},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1804.04235}
}
本頁內容

翻開 T5 論文的訓練設定,優化器那一行寫著「For optimization, we use AdaFactor」。之後 FLAN、Flan-T5 的微調,PaLM 的 5,400 億參數預訓練,用的也是它。

回到源頭,Adafactor 的論文只做了一個實驗任務,一個英翻德的 Transformer,每次訓練在一顆 TPU v2 上不到兩小時。Noam Shazeer 和 Mitchell Stern 想解決的問題寫在第一頁,Adam 太吃記憶體了。

定義問題

Adam 為每個參數多存兩個數,一階動差 mm 和二階動差 vv。論文說這讓記憶體變成三倍,權重一份、mm 一份、vv 一份。拿一個 1024×40961024 \times 4096 的前饋層權重來算,它有 4,194,304 個參數,Adam 就得再存 8,388,608 個數。

2018 年時,作者觀察到運算能力的成長遠快於記憶體容量,記憶體已經是模型大小的上限之一。只算權重與優化器狀態的話,Adam 多出來的那兩份,讓同樣的記憶體只放得下三分之一大的模型。

作者想做到四件事:

  1. 把二階動差從 nmnm 個數壓到 n+mn+m 個;
  2. 拿掉一階動差,β1=0\beta_1 = 0;
  3. 處理拿掉動量之後冒出來的不穩定;
  4. 把步長改成相對於參數大小的比例。

前兩件是省記憶體,第三件是省出來的麻煩,第四件則是作者順手的改進。

解決問題

只記列和與行和

假設某一層權重是 n×mn \times m 的矩陣,Adam 會為它維護同樣大小的平方梯度指數平均 VV。如果只存兩個小矩陣 R∈Rn×kR \in \mathbb{R}^{n\times k}、S∈Rk×mS \in \mathbb{R}^{k\times m},讓 V≈RSV \approx RS,記憶體就會小很多。問題是要用什麼方法分解。

最常見的低秩近似是截斷 SVD,在 Frobenius 範數下最優,但它有兩個問題。一是前 kk 個奇異向量不能拆開相加,兩個矩陣相加之後的奇異向量,和各自的奇異向量沒有簡單的關係,接不上指數平均;二是近似出來的元素可能是負的,而 Adam 要對 VV 開根號再取倒數。

作者改用非負矩陣分解常用的 generalized KL divergence,又叫 I-divergence:

d(p,q)=plog⁡pq−p+qd(p, q) = p \log \frac{p}{q} - p + q

它永遠不小於 0,只在 p=qp = q 時等於 0。目標是在 RR、SS 都非負的條件下,讓 ∑i,jd(Vij,[RS]ij)\sum_{i,j} d(V_{ij}, [RS]_{ij}) 最小。一般的秩 kk 需要交替最佳化;秩 1 的情況有解析解(論文 Lemma 1):

V^=(V1m)(1n⊤V)1n⊤V1m\hat V = \frac{(V 1_m)(1_n^\top V)}{1_n^\top V 1_m}

V1mV 1_m 是每一列(row)的和,1n⊤V1_n^\top V 是每一行(column)的和,分母是全部元素的總和。換成白話,第 ii 列、第 jj 行的估計值,等於「第 ii 列的和 × 第 jj 行的和 ÷ 總和」。

我們拿一個 2×32 \times 3 的例子算算看:

V=[936312]⇒列和=(18, 6),    行和=(12, 4, 8),    總和=24V = \begin{bmatrix} 9 & 3 & 6 \\ 3 & 1 & 2 \end{bmatrix} \quad\Rightarrow\quad \text{列和}=(18,\,6),\;\; \text{行和}=(12,\,4,\,8),\;\; \text{總和}=24

左上角是 18×12/24=918 \times 12 / 24 = 9,右下角是 6×8/24=26 \times 8 / 24 = 2,整個矩陣原封不動地還原了,因為第二列剛好是第一列的三分之一,VV 本身就是秩 1。把右下角的 2 改成 8,列和變成 (18,12)(18, 12),行和變成 (12,4,14)(12, 4, 14),總和 30,右下角的估計只剩 12×14/30=5.612 \times 14 / 30 = 5.6。分解記得住每一列、每一行的整體大小,記不住某一格自己特別突出。

這個解只用到列和與行和,兩者都是 VV 的線性函數,所以「平均之後再加總」等於「加總之後再平均」。實作上直接對列和、行和各做指數平均就行,不必先還原出完整的 VV。1024×40961024 \times 4096 的那層權重,二階動差從 4,194,304 個數變成 5,120 個。

作者把 β1=0\beta_1 = 0 的版本寫成 Algorithm 2:

Rt=β2Rt−1+(1−β2) (Gt2) 1mCt=β2Ct−1+(1−β2) 1n⊤(Gt2)V^t=RtCt/1n⊤Rt1−β2t\begin{aligned} R_t &= \beta_2 R_{t-1} + (1-\beta_2)\,(G_t^2)\,1_m \\ C_t &= \beta_2 C_{t-1} + (1-\beta_2)\,1_n^\top (G_t^2) \\ \hat V_t &= \frac{R_t C_t / 1_n^\top R_t}{1 - \beta_2^t} \end{aligned}

再照 Adam 的方式用 Gt/(V^t+ϵ)G_t / (\sqrt{\hat V_t} + \epsilon) 更新。偏差和向量形式的參數維持原本的逐元素 VV,它們本來就不大。

拿掉動量,然後出事

第二步更簡單,β1=0\beta_1 = 0,連 mm 都不存了。

實驗都在 WMT'14 英翻德的 Transformer 上做,100,000 步,每個 batch 約 4,096 個來源 token 加 4,096 個目標 token,大約是原始 Transformer 論文的八分之一。每種設定都跑兩次,一次有暖身,學習率 0.1⋅min⁡(10−6t, 1/t)0.1 \cdot \min(10^{-6} t,\, 1/\sqrt t);一次沒有,開頭直接用 0.1⋅min⁡(10−2, 1/t)0.1 \cdot \min(10^{-2},\, 1/\sqrt t)。指標是 newstest2013 開發集的 BLEU。

設定有暖身無暖身
(A) Adam,β1=0\beta_1=025.60.1
(B) Adam,β1=0.9\beta_1=0.925.423.1
(C) 分解二階動差,β1=0\beta_1=025.40.2
(D) 只用列平均25.20.3
(E) 只用行平均0.30.5

整理自原論文 Table 2,所有設定 β2=0.999\beta_2 = 0.999。

有暖身時,拿掉動量(A 對 B)、再分解二階動差(C),BLEU 只差零點幾。(D)、(E) 是兩個更省的對照,只存列平均或只存行平均。列平均和基準差不多,行平均直接壞掉。作者的解釋是這個模型的詞嵌入和輸出 softmax 共用同一個權重矩陣,每一列對應一個 token;高頻 token 那一列的梯度遠大於低頻 token,只存行平均就把所有 token 混成同一個尺度。

麻煩在右邊那一欄。沒有暖身時,有動量的 (B) 還有 23.1,拿掉動量的 (A) 直接掉到 0.1。

過時的二階動差

作者懷疑問題出在 β2\beta_2。β2\beta_2 小,二階動差衰減快,Reddi 等人已經指出這會造成收斂問題;β2\beta_2 大,估計值來自很久以前的梯度,模型變化快的時候就跟不上。

兩種情況都看得到。β2=0.999\beta_2 = 0.999 時有暖身 25.6、無暖身 0.1;β2=0.9\beta_2 = 0.9 時兩邊是 18.4 和 15.6,穩定但學不好。

為了檢查「跟不上」,作者定義了一個量:

RMS(Ut)=Mean⁡x∈X ⁣(gxt2v^xt)\mathrm{RMS}(U_t) = \sqrt{\operatorname{Mean}_{x \in X}\!\left(\frac{g_{xt}^2}{\hat v_{xt}}\right)}

Ut=−gt/v^tU_t = -g_t / \sqrt{\hat v_t} 是還沒乘學習率的更新。如果 v^\hat v 估得準,每個參數的 g2/v^g^2 / \hat v 都應該在 1 附近,整個矩陣的 RMS 也接近 1。

原論文 Figure 1:一個 Transformer 權重矩陣在前 3,000 步的 RMS(U_t)。β2=0.9 的紅線一直在 1 附近起伏;β2=0.999 的藍線前 300 步掉到約 0.33,約第 800 步衝到約 2.24,之後慢慢回落,2,000 步後回到 1 附近。
原論文 Figure 1(Shazeer 與 Stern),取自 PDF 第 5 頁,arXiv 授權,學術引用。

紅線是 β2=0.9\beta_2 = 0.9,一直在 1 附近。藍線是 β2=0.999\beta_2 = 0.999,前 300 步先掉到 0.33 左右,更新比預期小;接著在第 800 步左右衝到 2.24,更新比預期大了一倍多。這兩次訓練都有暖身,最後都沒有發散,所以不是「訓練崩了才導致更新變大」;作者認為是過大的更新造成不穩定,並坦承這張圖只是支持,還不是證明。

Update clipping

既然問題是更新過大,就直接限制更新:

U^t=Utmax⁡(1,  RMS(Ut)/d)\hat U_t = \frac{U_t}{\max\left(1,\; \mathrm{RMS}(U_t) / d\right)}

RMS 超過門檻 dd,就把整個矩陣的更新等比例縮回 dd。這和常見的梯度裁剪不同。梯度裁剪限制的是梯度,但 Adam 這類方法還會逐參數除以 v^\sqrt{\hat v},v^\hat v 一旦過時,裁剪過的梯度照樣能被放大成很大的更新;update clipping 直接限制最後真正用上的那一步。

d=1d = 1 時,沒有暖身的 0.1 救回到 21.5;d=2d = 2 門檻太鬆,仍然只有 0.2。有暖身時,加不加裁剪沒有明顯差別。

讓 β2\beta_2 隨步數上升

另一條路是讓 β2\beta_2 一開始小、後來大。作者先指出,Adam 的偏差修正本身就等價於一個遞增的 β2\beta_2:

β^2t=β2 1−β2t−11−β2t\hat\beta_{2t} = \beta_2 \,\frac{1 - \beta_2^{t-1}}{1 - \beta_2^{t}}

它在 t=1t = 1 時是 0,之後漸漸逼近 β2\beta_2。作者提出另一個排程:

β^2t=1−t−c\hat\beta_{2t} = 1 - t^{-c}

以論文採用的 c=0.8c = 0.8 為例,第 10 步是 0.84,第 100 步 0.975,第 1,000 步 0.996,大約第 5,600 步越過 0.999,第 10,000 步是 0.9994。訓練初期像快衰減,穩定;後期像慢衰減,估計更準。

這個排程還有兩個好處。β^21=0\hat\beta_{21} = 0,所以所有歷史梯度的權重總和恰好是 1,不需要偏差修正。另外,作者用無窮乘積的收斂條件證明,c≤1c \le 1 才能讓每一筆舊梯度的權重最後都趨近 0;c>1c > 1 時 β2\beta_2 升得太快,早期的梯度會一直留著不小的份量。c=1c = 1 正好是所有平方梯度的算術平均。

設定有暖身無暖身
(G) β2=0.9\beta_2 = 0.918.415.6
(H) β2=0.999\beta_2 = 0.999,裁剪 d=1d=125.421.5
(I) β2=0.999\beta_2 = 0.999,裁剪 d=2d=225.70.2
(J) 分解,β2=0.999\beta_2 = 0.999,裁剪 d=1d=125.622.4
(K) β^2t=1−t−0.5\hat\beta_{2t} = 1-t^{-0.5}25.621.1
(L) β^2t=1−t−0.8\hat\beta_{2t} = 1-t^{-0.8}25.60.1
(N) β^2t=1−t−0.8\hat\beta_{2t} = 1-t^{-0.8},裁剪 d=1d=125.922.4

整理自原論文 Table 2,皆為 β1=0\beta_1 = 0。

c=0.5c = 0.5 單獨使用就撐住了無暖身的情況;c=0.8c = 0.8 單獨使用還不夠,要配上裁剪。(N) 拿到全表有暖身時最高的 25.9,(J) 則顯示分解二階動差加上裁剪,也能做到和有動量的 Adam 差不多的穩定。

相對步長

最後一個零件和記憶體無關。Adam 的學習率是絕對步長,作者認為參數的相對變化比較重要,於是讓步長乘上參數本身的大小:

αt=max⁡(ϵ2,  RMS(Xt−1)) ρt,ρt=min⁡ ⁣(10−2,  1t)\alpha_t = \max\bigl(\epsilon_2,\; \mathrm{RMS}(X_{t-1})\bigr)\,\rho_t, \qquad \rho_t = \min\!\left(10^{-2},\; \frac{1}{\sqrt t}\right)

RMS(Xt−1)\mathrm{RMS}(X_{t-1}) 是這個參數矩陣目前的均方根,ϵ2=10−3\epsilon_2 = 10^{-3} 是下限,讓初始化為 0 的參數也能離開原點。論文的致謝特別提到 Geoffrey Hinton 的看法,每次更新的大小大約是參數大小的 10−210^{-2} 到 10−310^{-3} 倍時,訓練會很順。

作者用三種詞嵌入初始化測試(50,000 步,batch 16,384 個 token,詞嵌入不和 softmax 共用)。原始 Transformer 的做法是用標準差 1/dmodel1/\sqrt{d_{model}} 初始化、計算時再乘 dmodel\sqrt{d_{model}},這樣同一個絕對學習率對詞嵌入和其他權重都合適,Adam 26.4、Adafactor 26.6。換成較天真的初始化,Adam 掉到 25.8 和 24.2,Adafactor 還有 26.4 和 25.4。參數尺度設得不好時,相對步長受的影響比較小。

組起來

原論文 Algorithm 4:Adafactor 處理權重矩陣的完整流程,依序計算相對步長 α_t、梯度 G_t、列和 R_t 與行和 C_t 的指數平均、分解後的二階動差估計、未縮放更新 U_t、update clipping,最後更新參數。
原論文 Algorithm 4(Shazeer 與 Stern),取自 PDF 第 8 頁,arXiv 授權,學術引用。

把五個零件串起來就是 Algorithm 4。第 3 行是相對步長,第 5、6 行是加了 ϵ1\epsilon_1 的列和、行和平均,第 7 行還原二階動差,第 9 行是 update clipping。論文建議的超參數是 ϵ1=10−30\epsilon_1 = 10^{-30}、ϵ2=10−3\epsilon_2 = 10^{-3}、d=1d = 1、ρt=min⁡(10−2,1/t)\rho_t = \min(10^{-2}, 1/\sqrt t)、β^2t=1−t−0.8\hat\beta_{2t} = 1 - t^{-0.8},沒有動量。整個優化器對一個 n×mn \times m 矩陣只多存 n+mn + m 個數。

討論

完整版的成績

設定有暖身無暖身
(A) Adam,β1=0\beta_1=025.60.1
(B) Adam,β1=0.9\beta_1=0.925.423.1
(O) Adafactor25.025.5
(P) Adafactor 加回動量24.925.3
(Q) SGD,最佳學習率24.39.1

整理自原論文 Table 2;(O)、(P) 使用相對步長 ρt\rho_t,(Q) 有暖身時 lr=200⋅stlr = 200 \cdot s_t、無暖身時 lr=10⋅stlr = 10 \cdot s_t,更大的學習率在無暖身時全部發散。

完整的 Adafactor 在沒有暖身時拿到全表最高的 25.5,有暖身時是 25.0,比沒有動量的 (A) 低了 0.6,比有動量的 (B) 低 0.4。作者自己也說,相對步長的步長和其他列不能直接比,無法斷定穩定性是不是相對步長帶來的。SGD 同樣不額外佔記憶體,但最好也只有 24.3,而且對學習率很敏感。

這些結果只來自一個翻譯任務、一種模型、10 萬步,以及比原始設定小八倍的 batch。論文最後說省下的記憶體「應該」能訓練大得多的模型,但沒有任何大模型實驗,也沒有實測記憶體或速度。

後來的 Adafactor

真正的大規模測試,是別人做的。

T5 直接採用 Adafactor,預訓練的學習率「前一萬步固定 0.01,之後按平方根倒數衰減」,其實就是這篇的 ρt=min⁡(10−2,1/t)\rho_t = \min(10^{-2}, 1/\sqrt t)。T5 公開的訓練設定檔也沿用論文的 β1=0\beta_1 = 0、update clipping 門檻 1.0、分解二階動差與參數縮放。

DeepMind 訓練 Gopher 時試過另一個方向。在 14 億參數時 Adafactor 穩定好用,到了 71 億參數就開始出現小幅的損失發散;Adam 的最大學習率是 1.2×10−41.2\times10^{-4},Adafactor 降到 6×10−56\times10^{-5} 還是不穩。他們最後仍用 Adafactor 微調 Gopher,因為硬體需求低很多。

Google 訓練 20 億參數的 ViT-G 時,說 Adafactor「不能直接用」,改了三處,加回半精度的一階動差、停用相對於權重範數的步長縮放,並把 β2\beta_2 的上限截在 0.999。改完後和 Adam 表現相當或略好。

PaLM 的做法更直接。論文寫明用的是「不做分解」的 Adafactor,效果近似帶參數縮放的 Adam;動量 β1=0.9\beta_1 = 0.9,二階動差用 β2=1−k−0.8\beta_2 = 1 - k^{-0.8},學習率前一萬步 10−210^{-2} 再按 1/k1/\sqrt k 衰減。他們特別說明,這個 β2\beta_2 排程比固定 0.99 穩定,因為罕見 token 的詞嵌入在短時間窗內估不準二階動差。

update clipping 也被單獨帶走了。Wortsman 等人在 2023 年發現大型 CLIP 訓練的 loss spike,總在二階動差低估平方梯度後的 1 到 8 步出現,於是提出 StableAdamW,也就是「加上 Adafactor update clipping 的 AdamW」。他們也寫道,大規模訓練已經不太用原始形式的 Adafactor,推測原因是分解二階動差或沒有動量。

在套件這邊,Hugging Face Transformers 很早就有 Adafactor,PyTorch 則到 2.5 版才加入 torch.optim.Adafactor。兩者預設都用相對步長(Hugging Face 可以關掉);PyTorch 的版本把 lr 當作 ρt\rho_t 的上限,並說明 ϵ1\epsilon_1 的位置刻意偏離了論文。

結論

Adafactor 用列和與行和的秩 1 分解,把二階動差從 nmnm 壓到 n+mn+m,再拿掉動量。拿掉之後的不穩定,作者追到過時的二階動差,用 update clipping 和 1−t−0.81-t^{-0.8} 的 β2\beta_2 排程處理掉。這些在一個翻譯任務上成立,後來在 T5 的規模也撐住了;到了數十億參數,Gopher 回報它不穩,PaLM 和 ViT-G 則把動量加了回來。

在 Hugging Face 裡用 Adafactor 又想自己控制學習率的話,記得設 relative_step=False 和 scale_parameter=False。不然優化器會改用內建的 ρt\rho_t,或把你的學習率再乘上參數的 RMS,寫好的學習率排程就不會照原樣生效。

PaLM 用的那個 Adafactor,最後連 factor 都拿掉了。