返回论文笔记资料库
arXiv 2018ICML 2018优化器论文笔记

Adafactor

显存断舍离

原始论文

Adafactor: Adaptive Learning Rates with Sublinear Memory Cost

论文作者

Noam Shazeer · Mitchell Stern

发表版本
ICML 2018会议
arXiv 首次提交
arXiv:1804.04235
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{optimizersadafactor2018,
  title = {{Adafactor: Adaptive Learning Rates with Sublinear Memory Cost}},
  author = {Noam Shazeer and Mitchell Stern},
  year = {2018},
  eprint = {1804.04235},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1804.04235}
}
本页内容

翻开 T5 论文的训练设置,优化器那一行写着「For optimization, we use AdaFactor」。之后 FLAN、Flan-T5 的微调,PaLM 的 5,400 亿参数预训练,用的也是它。

回到源头,Adafactor 的论文只做了一个实验任务,一个英译德的 Transformer,每次训练在一块 TPU v2 上不到两小时。Noam Shazeer 和 Mitchell Stern 想解决的问题写在第一页,Adam 太吃显存了。

定义问题

Adam 为每个参数多存两个数,一阶矩 mm 和二阶矩 vv。论文说这让显存占用变成三倍,权重一份、mm 一份、vv 一份。拿一个 1024×40961024 \times 4096 的前馈层权重来算,它有 4,194,304 个参数,Adam 就得再存 8,388,608 个数。

2018 年时,作者观察到算力的增长远快于显存容量,显存已经是模型大小的上限之一。只算权重与优化器状态的话,Adam 多出来的那两份,让同样的显存只放得下三分之一大的模型。

作者想做到四件事:

  1. 把二阶矩从 nmnm 个数压到 n+mn+m 个;
  2. 拿掉一阶矩,β1=0\beta_1 = 0;
  3. 处理拿掉动量之后冒出来的不稳定;
  4. 把步长改成相对于参数大小的比例。

前两件是省显存,第三件是省出来的麻烦,第四件则是作者顺手的改进。

解决问题

只记行和与列和

假设某一层权重是 n×mn \times m 的矩阵,Adam 会为它维护同样大小的平方梯度指数平均 VV。如果只存两个小矩阵 R∈Rn×kR \in \mathbb{R}^{n\times k}、S∈Rk×mS \in \mathbb{R}^{k\times m},让 V≈RSV \approx RS,显存就会小很多。问题是要用什么方法分解。

最常见的低秩近似是截断 SVD,在 Frobenius 范数下最优,但它有两个问题。一是前 kk 个奇异向量不能拆开相加,两个矩阵相加之后的奇异向量,和各自的奇异向量没有简单的关系,接不上指数平均;二是近似出来的元素可能是负的,而 Adam 要对 VV 开根号再取倒数。

作者改用非负矩阵分解常用的 generalized KL divergence,又叫 I-divergence:

d(p,q)=plog⁡pq−p+qd(p, q) = p \log \frac{p}{q} - p + q

它永远不小于 0,只在 p=qp = q 时等于 0。目标是在 RR、SS 都非负的条件下,让 ∑i,jd(Vij,[RS]ij)\sum_{i,j} d(V_{ij}, [RS]_{ij}) 最小。一般的秩 kk 需要交替优化;秩 1 的情况有解析解(论文 Lemma 1):

V^=(V1m)(1n⊤V)1n⊤V1m\hat V = \frac{(V 1_m)(1_n^\top V)}{1_n^\top V 1_m}

V1mV 1_m 是每一行(row)的和,1n⊤V1_n^\top V 是每一列(column)的和,分母是全部元素的总和。换成白话,第 ii 行、第 jj 列的估计值,等于「第 ii 行的和 × 第 jj 列的和 ÷ 总和」。

我们拿一个 2×32 \times 3 的例子算算看:

V=[936312]⇒行和=(18, 6),    列和=(12, 4, 8),    总和=24V = \begin{bmatrix} 9 & 3 & 6 \\ 3 & 1 & 2 \end{bmatrix} \quad\Rightarrow\quad \text{行和}=(18,\,6),\;\; \text{列和}=(12,\,4,\,8),\;\; \text{总和}=24

左上角是 18×12/24=918 \times 12 / 24 = 9,右下角是 6×8/24=26 \times 8 / 24 = 2,整个矩阵原封不动地还原了,因为第二行刚好是第一行的三分之一,VV 本身就是秩 1。把右下角的 2 改成 8,行和变成 (18,12)(18, 12),列和变成 (12,4,14)(12, 4, 14),总和 30,右下角的估计只剩 12×14/30=5.612 \times 14 / 30 = 5.6。分解记得住每一行、每一列的整体大小,记不住某一格自己特别突出。

这个解只用到行和与列和,两者都是 VV 的线性函数,所以「平均之后再加总」等于「加总之后再平均」。实现上直接对行和、列和各做指数平均就行,不必先还原出完整的 VV。1024×40961024 \times 4096 的那层权重,二阶矩从 4,194,304 个数变成 5,120 个。

作者把 β1=0\beta_1 = 0 的版本写成 Algorithm 2:

Rt=β2Rt−1+(1−β2) (Gt2) 1mCt=β2Ct−1+(1−β2) 1n⊤(Gt2)V^t=RtCt/1n⊤Rt1−β2t\begin{aligned} R_t &= \beta_2 R_{t-1} + (1-\beta_2)\,(G_t^2)\,1_m \\ C_t &= \beta_2 C_{t-1} + (1-\beta_2)\,1_n^\top (G_t^2) \\ \hat V_t &= \frac{R_t C_t / 1_n^\top R_t}{1 - \beta_2^t} \end{aligned}

再照 Adam 的方式用 Gt/(V^t+ϵ)G_t / (\sqrt{\hat V_t} + \epsilon) 更新。偏置和向量形式的参数维持原本的逐元素 VV,它们本来就不大。

拿掉动量,然后出事

第二步更简单,β1=0\beta_1 = 0,连 mm 都不存了。

实验都在 WMT'14 英译德的 Transformer 上做,100,000 步,每个 batch 约 4,096 个源端 token 加 4,096 个目标端 token,大约是原始 Transformer 论文的八分之一。每种设置都跑两次,一次有预热,学习率 0.1⋅min⁡(10−6t, 1/t)0.1 \cdot \min(10^{-6} t,\, 1/\sqrt t);一次没有,开头直接用 0.1⋅min⁡(10−2, 1/t)0.1 \cdot \min(10^{-2},\, 1/\sqrt t)。指标是 newstest2013 开发集的 BLEU。

设置有预热无预热
(A) Adam,β1=0\beta_1=025.60.1
(B) Adam,β1=0.9\beta_1=0.925.423.1
(C) 分解二阶矩,β1=0\beta_1=025.40.2
(D) 只用行平均25.20.3
(E) 只用列平均0.30.5

整理自原论文 Table 2,所有设置 β2=0.999\beta_2 = 0.999。

有预热时,拿掉动量(A 对 B)、再分解二阶矩(C),BLEU 只差零点几。(D)、(E) 是两个更省的对照,只存行平均或只存列平均。行平均和基线差不多,列平均直接坏掉。作者的解释是这个模型的词嵌入和输出 softmax 共用同一个权重矩阵,每一行对应一个 token;高频 token 那一行的梯度远大于低频 token,只存列平均就把所有 token 混成同一个尺度。

麻烦在右边那一列。没有预热时,有动量的 (B) 还有 23.1,拿掉动量的 (A) 直接掉到 0.1。

过时的二阶矩

作者怀疑问题出在 β2\beta_2。β2\beta_2 小,二阶矩衰减快,Reddi 等人已经指出这会造成收敛问题;β2\beta_2 大,估计值来自很久以前的梯度,模型变化快的时候就跟不上。

两种情况都看得到。β2=0.999\beta_2 = 0.999 时有预热 25.6、无预热 0.1;β2=0.9\beta_2 = 0.9 时两边是 18.4 和 15.6,稳定但学不好。

为了检查「跟不上」,作者定义了一个量:

RMS(Ut)=Mean⁡x∈X ⁣(gxt2v^xt)\mathrm{RMS}(U_t) = \sqrt{\operatorname{Mean}_{x \in X}\!\left(\frac{g_{xt}^2}{\hat v_{xt}}\right)}

Ut=−gt/v^tU_t = -g_t / \sqrt{\hat v_t} 是还没乘学习率的更新。如果 v^\hat v 估得准,每个参数的 g2/v^g^2 / \hat v 都应该在 1 附近,整个矩阵的 RMS 也接近 1。

原论文 Figure 1:一个 Transformer 权重矩阵在前 3,000 步的 RMS(U_t)。β2=0.9 的红线一直在 1 附近起伏;β2=0.999 的蓝线前 300 步掉到约 0.33,约第 800 步冲到约 2.24,之后慢慢回落,2,000 步后回到 1 附近。
原论文 Figure 1(Shazeer 与 Stern),取自 PDF 第 5 页,arXiv 许可,学术引用。

红线是 β2=0.9\beta_2 = 0.9,一直在 1 附近。蓝线是 β2=0.999\beta_2 = 0.999,前 300 步先掉到 0.33 左右,更新比预期小;接着在第 800 步左右冲到 2.24,更新比预期大了一倍多。这两次训练都有预热,最后都没有发散,所以不是「训练崩了才导致更新变大」;作者认为是过大的更新造成不稳定,并坦承这张图只是支持,还不是证明。

Update clipping

既然问题是更新过大,就直接限制更新:

U^t=Utmax⁡(1,  RMS(Ut)/d)\hat U_t = \frac{U_t}{\max\left(1,\; \mathrm{RMS}(U_t) / d\right)}

RMS 超过阈值 dd,就把整个矩阵的更新等比例缩回 dd。这和常见的梯度裁剪不同。梯度裁剪限制的是梯度,但 Adam 这类方法还会逐参数除以 v^\sqrt{\hat v},v^\hat v 一旦过时,裁剪过的梯度照样能被放大成很大的更新;update clipping 直接限制最后真正用上的那一步。

d=1d = 1 时,没有预热的 0.1 救回到 21.5;d=2d = 2 阈值太松,仍然只有 0.2。有预热时,加不加裁剪没有明显差别。

让 β2\beta_2 随步数上升

另一条路是让 β2\beta_2 一开始小、后来大。作者先指出,Adam 的偏差修正本身就等价于一个递增的 β2\beta_2:

β^2t=β2 1−β2t−11−β2t\hat\beta_{2t} = \beta_2 \,\frac{1 - \beta_2^{t-1}}{1 - \beta_2^{t}}

它在 t=1t = 1 时是 0,之后渐渐逼近 β2\beta_2。作者提出另一个调度:

β^2t=1−t−c\hat\beta_{2t} = 1 - t^{-c}

以论文采用的 c=0.8c = 0.8 为例,第 10 步是 0.84,第 100 步 0.975,第 1,000 步 0.996,大约第 5,600 步越过 0.999,第 10,000 步是 0.9994。训练初期像快衰减,稳定;后期像慢衰减,估计更准。

这个调度还有两个好处。β^21=0\hat\beta_{21} = 0,所以所有历史梯度的权重总和恰好是 1,不需要偏差修正。另外,作者用无穷乘积的收敛条件证明,c≤1c \le 1 才能让每一个旧梯度的权重最后都趋近 0;c>1c > 1 时 β2\beta_2 升得太快,早期的梯度会一直留着不小的比重。c=1c = 1 正好是所有平方梯度的算术平均。

设置有预热无预热
(G) β2=0.9\beta_2 = 0.918.415.6
(H) β2=0.999\beta_2 = 0.999,裁剪 d=1d=125.421.5
(I) β2=0.999\beta_2 = 0.999,裁剪 d=2d=225.70.2
(J) 分解,β2=0.999\beta_2 = 0.999,裁剪 d=1d=125.622.4
(K) β^2t=1−t−0.5\hat\beta_{2t} = 1-t^{-0.5}25.621.1
(L) β^2t=1−t−0.8\hat\beta_{2t} = 1-t^{-0.8}25.60.1
(N) β^2t=1−t−0.8\hat\beta_{2t} = 1-t^{-0.8},裁剪 d=1d=125.922.4

整理自原论文 Table 2,皆为 β1=0\beta_1 = 0。

c=0.5c = 0.5 单独使用就撑住了无预热的情况;c=0.8c = 0.8 单独使用还不够,要配上裁剪。(N) 拿到全表有预热时最高的 25.9,(J) 则显示分解二阶矩加上裁剪,也能做到和有动量的 Adam 差不多的稳定。

相对步长

最后一个零件和显存无关。Adam 的学习率是绝对步长,作者认为参数的相对变化比较重要,于是让步长乘上参数本身的大小:

αt=max⁡(ϵ2,  RMS(Xt−1)) ρt,ρt=min⁡ ⁣(10−2,  1t)\alpha_t = \max\bigl(\epsilon_2,\; \mathrm{RMS}(X_{t-1})\bigr)\,\rho_t, \qquad \rho_t = \min\!\left(10^{-2},\; \frac{1}{\sqrt t}\right)

RMS(Xt−1)\mathrm{RMS}(X_{t-1}) 是这个参数矩阵目前的均方根,ϵ2=10−3\epsilon_2 = 10^{-3} 是下限,让初始化为 0 的参数也能离开原点。论文的致谢特别提到 Geoffrey Hinton 的看法,每次更新的大小大约是参数大小的 10−210^{-2} 到 10−310^{-3} 倍时,训练会很顺。

作者用三种词嵌入初始化测试(50,000 步,batch 16,384 个 token,词嵌入不和 softmax 共用)。原始 Transformer 的做法是用标准差 1/dmodel1/\sqrt{d_{model}} 初始化、计算时再乘 dmodel\sqrt{d_{model}},这样同一个绝对学习率对词嵌入和其他权重都合适,Adam 26.4、Adafactor 26.6。换成较天真的初始化,Adam 掉到 25.8 和 24.2,Adafactor 还有 26.4 和 25.4。参数尺度设得不好时,相对步长受的影响比较小。

组起来

原论文 Algorithm 4:Adafactor 处理权重矩阵的完整流程,依次计算相对步长 α_t、梯度 G_t、行和 R_t 与列和 C_t 的指数平均、分解后的二阶矩估计、未缩放更新 U_t、update clipping,最后更新参数。
原论文 Algorithm 4(Shazeer 与 Stern),取自 PDF 第 8 页,arXiv 许可,学术引用。

把五个零件串起来就是 Algorithm 4。第 3 行是相对步长,第 5、6 行是加了 ϵ1\epsilon_1 的行和、列和平均,第 7 行还原二阶矩,第 9 行是 update clipping。论文建议的超参数是 ϵ1=10−30\epsilon_1 = 10^{-30}、ϵ2=10−3\epsilon_2 = 10^{-3}、d=1d = 1、ρt=min⁡(10−2,1/t)\rho_t = \min(10^{-2}, 1/\sqrt t)、β^2t=1−t−0.8\hat\beta_{2t} = 1 - t^{-0.8},没有动量。整个优化器对一个 n×mn \times m 矩阵只多存 n+mn + m 个数。

讨论

完整版的成绩

设置有预热无预热
(A) Adam,β1=0\beta_1=025.60.1
(B) Adam,β1=0.9\beta_1=0.925.423.1
(O) Adafactor25.025.5
(P) Adafactor 加回动量24.925.3
(Q) SGD,最佳学习率24.39.1

整理自原论文 Table 2;(O)、(P) 使用相对步长 ρt\rho_t,(Q) 有预热时 lr=200⋅stlr = 200 \cdot s_t、无预热时 lr=10⋅stlr = 10 \cdot s_t,更大的学习率在无预热时全部发散。

完整的 Adafactor 在没有预热时拿到全表最高的 25.5,有预热时是 25.0,比没有动量的 (A) 低了 0.6,比有动量的 (B) 低 0.4。作者自己也说,相对步长那几行的步长和其他行不能直接比,无法断定稳定性是不是相对步长带来的。SGD 同样不额外占显存,但最好也只有 24.3,而且对学习率很敏感。

这些结果只来自一个翻译任务、一种模型、10 万步,以及比原始设置小八倍的 batch。论文最后说省下的显存「应该」能训练大得多的模型,但没有任何大模型实验,也没有实测显存或速度。

后来的 Adafactor

真正的大规模测试,是别人做的。

T5 直接采用 Adafactor,预训练的学习率「前一万步固定 0.01,之后按平方根倒数衰减」,其实就是这篇的 ρt=min⁡(10−2,1/t)\rho_t = \min(10^{-2}, 1/\sqrt t)。T5 公开的训练配置文件也沿用论文的 β1=0\beta_1 = 0、update clipping 阈值 1.0、分解二阶矩与参数缩放。

DeepMind 训练 Gopher 时试过另一个方向。在 14 亿参数时 Adafactor 稳定好用,到了 71 亿参数就开始出现小幅的损失发散;Adam 的最大学习率是 1.2×10−41.2\times10^{-4},Adafactor 降到 6×10−56\times10^{-5} 还是不稳。他们最后仍用 Adafactor 微调 Gopher,因为硬件需求低很多。

Google 训练 20 亿参数的 ViT-G 时,说 Adafactor「不能直接用」,改了三处,加回半精度的一阶矩、停用相对于权重范数的步长缩放,并把 β2\beta_2 的上限截在 0.999。改完后和 Adam 表现相当或略好。

PaLM 的做法更直接。论文写明用的是「不做分解」的 Adafactor,效果近似带参数缩放的 Adam;动量 β1=0.9\beta_1 = 0.9,二阶矩用 β2=1−k−0.8\beta_2 = 1 - k^{-0.8},学习率前一万步 10−210^{-2} 再按 1/k1/\sqrt k 衰减。他们特别说明,这个 β2\beta_2 调度比固定 0.99 稳定,因为罕见 token 的词嵌入在短时间窗口内估不准二阶矩。

update clipping 也被单独带走了。Wortsman 等人在 2023 年发现大型 CLIP 训练的 loss spike,总在二阶矩低估平方梯度后的 1 到 8 步出现,于是提出 StableAdamW,也就是「加上 Adafactor update clipping 的 AdamW」。他们也写道,大规模训练已经不太用原始形式的 Adafactor,推测原因是分解二阶矩或没有动量。

在库这一边,Hugging Face Transformers 很早就有 Adafactor,PyTorch 则到 2.5 版才加入 torch.optim.Adafactor。两者默认都用相对步长(Hugging Face 可以关掉);PyTorch 的版本把 lr 当作 ρt\rho_t 的上限,并说明 ϵ1\epsilon_1 的位置刻意偏离了论文。

结论

Adafactor 用行和与列和的秩 1 分解,把二阶矩从 nmnm 压到 n+mn+m,再拿掉动量。拿掉之后的不稳定,作者追到过时的二阶矩,用 update clipping 和 1−t−0.81-t^{-0.8} 的 β2\beta_2 调度处理掉。这些在一个翻译任务上成立,后来在 T5 的规模也撑住了;到了数十亿参数,Gopher 报告它不稳,PaLM 和 ViT-G 则把动量加了回来。

在 Hugging Face 里用 Adafactor 又想自己控制学习率的话,记得设 relative_step=False 和 scale_parameter=False。不然优化器会改用内置的 ρt\rho_t,或把你的学习率再乘上参数的 RMS,写好的学习率调度就不会照原样生效。

PaLM 用的那个 Adafactor,最后连 factor 都拿掉了。