返回论文笔记资料库
arXiv 2019ICLR 2020优化器论文笔记

RAdam

加装整流器

原始论文

On the Variance of the Adaptive Learning Rate and Beyond

论文作者

Liyuan Liu · Haoming Jiang · Pengcheng He …

查看全部 7 位作者

Liyuan Liu · Haoming Jiang · Pengcheng He · Weizhu Chen · Xiaodong Liu · Jianfeng Gao · Jiawei Han

发表版本
ICLR 2020会议
arXiv 首次提交
arXiv:1908.03265
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{optimizersradam2019,
  title = {{On the Variance of the Adaptive Learning Rate and Beyond}},
  author = {Liyuan Liu and Haoming Jiang and Pengcheng He and Weizhu Chen and Xiaodong Liu and Jianfeng Gao and Jiawei Han},
  year = {2019},
  eprint = {1908.03265},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1908.03265}
}
本页内容

If warmup is the answer, what is the question?

这是 RAdam 在 GitHub 上的开场白。预热(warmup)在当时已经是训练 Transformer 的标配,前几千步把学习率从接近 0 慢慢拉上去,Adam 才训练得起来;至于为什么非这样不可,当时缺少理论上的解释,预热要多长,各家大多靠试错。

2019 年 8 月,伊利诺伊大学与微软的 Liyuan Liu 等人发布了这篇论文,说原因出在 Adam 的自适应学习率,训练初期见过的梯度太少,它的方差大到失控。他们顺手提出了一个修正版,叫 Rectified Adam,简称 RAdam。

论文放上 arXiv 大约一周后,Less Wright 在 fast.ai 论坛和 Medium 上把它介绍成「新的 SOTA 优化器」,论坛上很快就有人拿去测试。又过了两个月,Jerry Ma 与 Denis Yarats 发表了一篇反驳,说 RAdam 拆开来看,就是 Adam 加上一段固定的预热。

这篇笔记把两边都看一遍。

定义问题

Adam 的自适应学习率

作者先把各种自适应优化器写成同一个框架(Algorithm 1)。每一步算出动量 mt=ϕ(g1,…,gt)m_t = \phi(g_1, \dots, g_t) 与自适应学习率 lt=ψ(g1,…,gt)l_t = \psi(g_1, \dots, g_t),再更新 θt=θt−1−αtmtlt\theta_t = \theta_{t-1} - \alpha_t m_t l_t。所有运算都是逐元素的。Adam 的 ψ\psi 是:

ψ(g1,…,gt)=1−β2t(1−β2)∑i=1tβ2t−igi2\psi(g_1, \dots, g_t) = \sqrt{\frac{1 - \beta_2^t}{(1 - \beta_2)\sum_{i=1}^{t}\beta_2^{t-i} g_i^2}}

也就是二阶矩估计开根号后取倒数,分子的 1−β2t1-\beta_2^t 是偏差修正。梯度一直很大的参数,步子就缩小;梯度一直很小的参数,步子就放大。

不预热会怎样

原论文 Figure 1,Transformer 在 IWSLT'14 德译英数据集上的训练损失,横轴是 0 到 7 万次迭代,纵轴是 0 到 9。Adam-vanilla(不预热)的蓝线一直停在 9 以上;Adam-eps 的黑线降到约 3.6;Adam-2k、RAdam 与 Adam-warmup 三条线几乎重叠,降到约 3,图上标注 Overlapped。
原论文 Figure 1(Liu 等人),取自 PDF 第 1 页,arXiv 许可,学术引用。

先看蓝线 Adam-vanilla 和最下面的 Adam-warmup。同一个 Transformer、同一份 IWSLT'14 德译英数据,不预热的训练损失停在 10 附近,预热之后降到 3 以下。其他三条线是作者的对照实验,等一下会讲到。

作者把每一步梯度绝对值的分布画出来,发现不预热时,前 10 步之内分布就被扭曲,重心挤到很小的值。他们的解读是,Adam 在最初几步做了有害的更新,把模型带进一个不好的区域,预热的作用是降低这些更新的影响。

那么,最初几步的更新为什么有害?

解决问题

第一步只有一个样本

先看最极端的 t=1t = 1。这时 ψ(g1)=1/g12=1/∣g1∣\psi(g_1) = \sqrt{1/g_1^2} = 1/|g_1|,整个自适应学习率只靠一个梯度估出来。

假设梯度服从 N(0,σ2)\mathcal{N}(0, \sigma^2),那么 1/g121/g_1^2 服从自由度为 1 的缩放逆卡方分布,1/g12\sqrt{1/g_1^2} 的方差是发散的。直觉上也不难理解,g1g_1 只要刚好很接近 0,1/∣g1∣1/|g_1| 就会非常大。

小的学习率可以压住这个方差,因为 Var[αx]=α2Var[x]\mathrm{Var}[\alpha x] = \alpha^2 \mathrm{Var}[x]。这就是作者对预热的解释,训练初期自适应学习率的方差太大,预热用小的 α\alpha 把它压下来。

两个对照实验

如果问题真的出在方差,那么换个方式降低方差,应该也能解决。作者设计了两个 Adam 的变体。

  • Adam-2k:前 2,000 次迭代只更新 ψ\psi,动量和参数都冻结,相当于先多看 2,000 个样本把二阶矩估准,再开始训练。
  • Adam-eps:把分母的 ϵ\epsilon 从 10−810^{-8} 加大到 10−410^{-4},直接限制 ψ\psi 的上限。

前面那张图里,Adam-2k 没有预热,却和 Adam-warmup 叠在一起;梯度分布也不再被扭曲。Adam-eps 同样避开了卡在 10 的问题,但最后停在 3.6 左右,比预热差。作者推测,太大的 ϵ\epsilon 在自适应学习率里引入了偏差,拖慢了优化,所以需要一个更有原则的方法。

方差随样本数下降

接下来要把方差算出来。Adam 用的是指数移动平均(EMA),不好分析,作者把它近似成简单移动平均(SMA),并假设 ψ2\psi^2 服从自由度为 ρ\rho 的缩放逆卡方分布。这里的 ρ\rho 可以理解成「估计二阶矩时,等效用了几个样本」。

Theorem 1 说,在这个假设下,ψ\psi 的方差随 ρ\rho 增加而单调递减,并在 ρ>4\rho > 4 时给出闭式表达式(式 (2))。换句话说,样本越少,自适应学习率越不可靠;ρ≤4\rho \le 4 时,论文把这一段的方差当成无法处理(intractable)。

EMA 等效于几个样本

那么第 tt 步的 EMA,相当于多长的 SMA?作者要求两者的「重心」相同,也就是各样本的时间位置按权重平均起来要一样,解出:

ρt=21−β2−1−2tβ2t1−β2t,ρ∞=21−β2−1\rho_t = \frac{2}{1-\beta_2} - 1 - \frac{2t\beta_2^t}{1-\beta_2^t}, \qquad \rho_\infty = \frac{2}{1-\beta_2} - 1

ρ∞\rho_\infty 是 t→∞t \to \infty 的极限。用默认的 β2=0.999\beta_2 = 0.999 代进去,ρ∞=1999\rho_\infty = 1999。前几步的 ρt\rho_t 算出来是:

tt12345
ρt\rho_t1.0001.9992.9993.9974.996

依原论文的 ρt\rho_t 定义计算,β2=0.999\beta_2 = 0.999。

训练初期 ρt\rho_t 几乎就等于 tt,很符合直觉,看过几个梯度,就等效用了几个样本。β2\beta_2 越接近 1,EMA 的记忆越长,ρt\rho_t 要越久才会接近上限。

整流项 rtr_t

有了 ρt\rho_t,作者把目标定为让自适应学习率的方差在每一步都一样,等于 ρ∞\rho_\infty 时的最小值 CvarC_{var}。做法是乘上一个缩放因子 rt=Cvar/Var[ψ]r_t = \sqrt{C_{var}/\mathrm{Var}[\psi]}。

式 (2) 的闭式表达式在数值上不稳定,作者改用一阶近似,得到式 (5):

Var[ψ]≈ρt2(ρt−2)(ρt−4)σ2\mathrm{Var}[\psi] \approx \frac{\rho_t}{2(\rho_t - 2)(\rho_t - 4)\sigma^2}

把 ρt\rho_t 和 ρ∞\rho_\infty 各代一次再相除,σ\sigma 就消掉了:

rt=(ρt−4)(ρt−2)ρ∞(ρ∞−4)(ρ∞−2)ρtr_t = \sqrt{\frac{(\rho_t - 4)(\rho_t - 2)\rho_\infty}{(\rho_\infty - 4)(\rho_\infty - 2)\rho_t}}

这就是 RAdam 名字里的 rectification(整流)。我们算几个点,看看它长什么样:

步数 tt5101001,0002,0005,000
rtr_t0.0170.0490.2150.6450.8280.983

依原论文 4.2 节的 rtr_t 计算,β2=0.999\beta_2 = 0.999。

一开始非常小,一千步时约 0.65,到五千步才接近 1。这条曲线乘在学习率前面,看起来就是一段预热。

完整的算法

整理成 Algorithm 2,每一步做的事情是:

  1. 算梯度 gtg_t,更新二阶矩 vt=β2vt−1+(1−β2)gt2v_t = \beta_2 v_{t-1} + (1-\beta_2) g_t^2 与一阶矩 mt=β1mt−1+(1−β1)gtm_t = \beta_1 m_{t-1} + (1-\beta_1) g_t。
  2. 对一阶矩做偏差修正,m^t=mt/(1−β1t)\hat m_t = m_t / (1 - \beta_1^t)。
  3. 计算 ρt\rho_t。
  4. 如果 ρt>4\rho_t > 4,计算 lt=(1−β2t)/vtl_t = \sqrt{(1-\beta_2^t)/v_t} 与 rtr_t,更新 θt=θt−1−αtrtm^tlt\theta_t = \theta_{t-1} - \alpha_t r_t \hat m_t l_t。
  5. 否则,不用自适应学习率,直接 θt=θt−1−αtm^t\theta_t = \theta_{t-1} - \alpha_t \hat m_t。

第 5 步就是 RAdam 退化成动量 SGD 的情况。照前面 ρt\rho_t 的表,β2=0.999\beta_2 = 0.999 时 ρt≤4\rho_t \le 4 的只有 t=1t = 1 到 4,所以前 4 步是带偏差修正的动量 SGD,第 5 步起才进入整流后的 Adam。后来 Ma 与 Yarats 证明,只要 0.8≤β2<10.8 \le \beta_2 < 1,ρt≤4\rho_t \le 4 恰好等价于 t≤4t \le 4。论文另外提到,若 β2≤0.6\beta_2 \le 0.6,ρ∞≤4\rho_\infty \le 4,RAdam 就整个退化成动量 SGD。

和预热的关系

作者在 4.3 节直接拿 rtr_t 和线性预热比较。线性预热相当于把学习率乘上 min⁡(t,Tw)/Tw\min(t, T_w)/T_w,形式上和 rtr_t 很像,所以他们认为这验证了「预热是一种降低方差的技巧」。差别在于 RAdam 不需要预热长度 TwT_w 这个超参数,而且会随着 β2\beta_2 自动调整。

他们也强调,这个修正和梯度裁剪、调大 ϵ\epsilon、初始化、归一化层等稳定训练的技巧相互独立,可以一起用。

讨论

实验设置

实验分三类,Adam 类方法的权重衰减都采用 AdamW 的解耦写法。

  • 语言模型:One Billion Word,两层 LSTM、2,048 个隐藏单元,学习率 0.001,批量大小 128。
  • 图像分类:CIFAR-10 用 ResNet-20(186 个 epoch),ImageNet 用 ResNet-18(90 个 epoch),学习率阶梯式下降,权重衰减 10−410^{-4}。
  • 机器翻译:fairseq 的 Transformer,IWSLT'14 德英互译与 WMT'16 英译德;Adam 用 4,000 步线性预热。

语言模型与图像实验中,Adam 与 RAdam 的 (β1,β2)(\beta_1, \beta_2) 都是 (0.9,0.999)(0.9, 0.999)。

和原版 Adam 比

不预热的情况下,RAdam 在三个数据集上都胜过原版 Adam。One Billion Word 的测试困惑度从 36.92 降到 35.70;RAdam 在最初几个 epoch 比 Adam 慢,之后收敛得比较快。图像分类的测试准确率如下:

数据集SGDAdamRAdam
CIFAR-1091.5190.5491.38
ImageNet69.8666.5467.62

整理自原论文 Table 1(%)。

RAdam 比 Adam 好,但两个数据集上都没有赢过 SGD。作者另外报告了 ImageNet 的训练准确率,SGD、Adam、RAdam 分别是 69.57、69.12、70.30,RAdam 最高。训练得比 SGD 好、测试却比较差,差距看起来出在泛化,不过这是从训练准确率倒推的判断,论文本身没有这样分析。

对学习率不敏感

原论文 Figure 6,CIFAR-10 上 ResNet-20 的训练过程,三列分别是 RAdam、Adam、SGD,上排是测试准确率、下排是训练损失,横轴是 epoch,四种颜色代表学习率 0.1、0.03、0.01、0.003。RAdam 那一列的四条线几乎完全重叠,最后准确率都在 91% 附近;Adam 那一列中学习率 0.1 的粉红线明显较差,约 86%;SGD 那一列的四条线散开,学习率越小越差。
原论文 Figure 6(Liu 等人),取自 PDF 第 7 页,arXiv 许可,学术引用。

学习率在 0.1 到 0.003 之间变动时,RAdam 的四条测试准确率曲线几乎叠在一起;Adam 在学习率 0.1 时掉到约 86%,SGD 则四条线各走各的。作者把这解读为整流让 RAdam 能适应更大范围的学习率。不过 README 的常见问题也老实写着,RAdam 的稳健性不是无限的,学习率还是要调。

和预热比

翻译是最离不开预热的场景,所以这里的对手换成调好的 Adam 加预热:

任务Adam + 预热RAdam
IWSLT'14 德→英34.6634.76
IWSLT'14 英→德28.5628.48
WMT'16 英→德27.0327.27

整理自原论文 Table 2;BLEU,IWSLT 为 5 个随机种子的平均。

两者打平,作者的结论也是「达到和预热相近的效果」。这里有一个附录里才看得到的设置。翻译实验的 β2\beta_2 设成 0.9995,附录写的理由是让 ν=4000\nu = 4000。代进 ρ∞=2/(1−β2)−1\rho_\infty = 2/(1-\beta_2) - 1,正好是 3,999,和 Adam 那组的 4,000 步预热对齐。也就是说,在这组比较里,RAdam 的「自动预热」长度是通过 β2\beta_2 对齐过的。

CIFAR-10 上,Adam 加预热的最佳准确率是 91.29%,和 RAdam 的 91.38% 相当;但预热长度有 100、200、500、1,000 步可选,学习率 0.1 配 100 步预热时只有 90.13%,同一个学习率下 RAdam 是 91.06%。所以更准确地说,作者的主张是 RAdam 少了一个要调的超参数,最好的成绩本身差不多。

前几步的动量 SGD

退化成动量 SGD 的那几步重要吗?附录 C 在 CIFAR-10、学习率 0.1 下做了替换实验(5 次平均)。全程 RAdam 的测试准确率是 91.08%;把前 4 步换成普通 Adam,掉到 89.98%;前 4 步用 SGD、第 5 到 8 步换成未整流的 Adam,则是 90.29%。作者认为这符合理论,越早的更新伤害越大,但也说明这部分只是算法里次要的设计,重点在预热的机制与整流项的推导。

Ma 与 Yarats 的反驳

2019 年 10 月,Jerry Ma(芝加哥大学)与 Denis Yarats(纽约大学、Facebook AI Research)在 arXiv 上发布了〈On the Adequacy of Untuned Warmup for Adaptive Optimization〉(AAAI 2021)。摘要开门见山,说他们要反驳这份分析。论点有三层。

第一,RAdam 是一段固定的预热。 rtr_t 只跟 tt 和 β2\beta_2 有关,和梯度实际长什么样完全无关。前面已经提到,ρt≤4\rho_t \le 4 恰好是前 4 步,所以 RAdam 可以用一句话描述,先做 4 步动量 SGD,之后是套上固定预热调度的 Adam。他们也试过把前 4 步换成什么都不做、或用很小学习率的 Adam,差别都可以忽略。

第二,方差的论证有漏洞。 RAdam 假设梯度均值为 0,但训练初期模型离极小值很远,梯度的均值通常比标准差还大;他们在 EMNIST 上测到,大约要到第 50 步,多数参数的变异系数才稳定超过 1。更关键的是,Adam 实际的更新量是 m^t/v^t\hat m_t / \sqrt{\hat v_t},而 ∣mt∣|m_t| 和 vt\sqrt{v_t} 高度相关。第 1 步时两者甚至完全相等,每个参数的更新量都恰好是 ±α\pm\alpha(ϵ=0\epsilon = 0 时)。换句话说,自适应学习率的方差「发散」的那一步,实际更新量的方差是 0。

第三,该看的是更新量的大小。 他们做了一个模拟,让梯度在一个极小值附近纯粹是零均值的噪声,跑 Adam 看更新量。结果更新量从 1⋅α1\cdot\alpha 开始,大约 40 步后才稳定在 0.15α0.15\alpha 左右。也就是说,即使模型已经停在极小值上,Adam 刚开始的几十步也会迈出偏大的步子;SGD 在同样的情况下不需要预热,这可以部分解释为什么 Adam 比 SGD 更需要预热。

在这些分析之上,他们提出两条不用调的经验法则:

ωtexpo=1−exp⁡(−(1−β2) t),ωtlinear=min⁡(1,1−β22 t)\omega^{\text{expo}}_t = 1 - \exp\big(-(1-\beta_2)\,t\big), \qquad \omega^{\text{linear}}_t = \min\left(1, \frac{1-\beta_2}{2}\,t\right)

前者的时间常数 1/(1−β2)1/(1-\beta_2) 是仿照 Adam 二阶矩的偏差修正项 1−β2t≈1−e−(1−β2)t1-\beta_2^t \approx 1 - e^{-(1-\beta_2)t} 选的,作者自己也说这个直觉纯属推测;后者是 2/(1−β2)2/(1-\beta_2) 步的线性预热,β2=0.999\beta_2 = 0.999 时就是 2,000 步。

本站自绘的曲线图,β2 = 0.999,横轴是训练步数 0 到 6,000,纵轴是乘在学习率前面的系数 0 到 1。蓝色实线是 RAdam 的整流项 r_t,一开始上升最快,1,000 步时约 0.65,之后慢慢逼近 1;橙色虚线是 2,000 步的线性预热,在第 2,000 步到达 1;绿色点线是指数预热,形状和 r_t 接近,前 1,100 步左右略低、之后略高。图上注明 t ≤ 4 时 ρ_t ≤ 4,RAdam 不用自适应学习率。
本文整理,依据原论文 Algorithm 2 与 Ma & Yarats 式 (13)(14) 计算绘制。

三条曲线的形状不完全一样,RAdam 在前几百步上升得最快,过了 1,500 步左右反而落在最后。Ma 与 Yarats 用「有效预热长度」∑t(1−ωt)\sum_t (1-\omega_t) 来比较,也就是预热总共压掉了多少步的学习率;β2=0.999\beta_2 = 0.999 时,三者都在 1,000 步左右(按公式算,RAdam 约 1,033 步),而且在各种 β2\beta_2 下都几乎一样。

实验也支持这个说法。他们在 ImageNet 的 ResNet-50、WikiText-103 的 Transformer 语言模型、WMT16 英译德的 Transformer 上,各扫 9 到 12 组学习率与 β2\beta_2,三种方法的差距大多只有零点几。以 ImageNet 的 top-1 误差为例(5 个随机种子):

学习率β2\beta_2指数线性RAdam
10−310^{-3}0.9927.928.028.4
10−310^{-3}0.99727.927.928.3
10−310^{-3}0.99928.228.328.4

整理自 Ma & Yarats Table 1,节选学习率 10−310^{-3} 的三行(%)。

这三行里 RAdam 反而略差一点。整张表差得最多的一组是学习率 10−210^{-2}、β2=0.999\beta_2 = 0.999,RAdam 的误差比两条经验法则高了约 1 个百分点。他们的建议是,用 Adam 时就做 2/(1−β2)2/(1-\beta_2) 步的线性预热。

谁比较对?

两篇论文都同意 Adam 在最初几千步需要比较小的学习率,分歧在于为什么。

RAdam 这边的证据,是 Adam-2k 这类对照实验,以及在翻译与图像上和调好的预热打平。Ma 与 Yarats 那边,则指出 rtr_t 只是一个由 β2\beta_2 决定的固定调度,并用更新量的分析与跨三个任务的实验说明,不用调参的线性预热就能做到一样的事。RAdam 论文的正式版没有回应这篇反驳;README 的常见问题倒是承认,当梯度均值远大于方差时,方差的问题可能不大,并把这当成某些模型更需要预热的一种可能解释。

零均值这个假设,RAdam 论文自己在 5.3 节用模拟检查过。梯度改从 N(μ,1)\mathcal{N}(\mu, 1) 采样,μ\mu 取 0、0.001、0.01、0.1、1、10 六种,β2=0.999\beta_2 = 0.999,各跑 5,000 条、每条 6,000 步的轨迹;六种情况下,原始自适应学习率的方差都在初期偏大,整流后大致维持一致。同一节也确认式 (5) 的一阶近似和式 (2) 的闭式表达式几乎重叠。这组模拟测的仍是自适应学习率本身的方差,没有涉及 Ma 与 Yarats 指出的 mtm_t 与 vtv_t 的相关性。

Ma 与 Yarats 也没有把问题完全解决。他们的模拟显示更新量大约 40 步就稳定,照这个逻辑,预热几百步应该就够;可是不论 RAdam 还是他们的经验法则,有效预热都在 1,000 步左右,有些手调的预热甚至拉到一万步。他们在讨论里自己写道,Adam 为什么需要这么长的预热,仍是一个未解的问题。

站在工程的角度,双方在实践上的结论一致,RAdam 等价于一段长度约 2/(1−β2)2/(1-\beta_2) 步的预热。这也带出一个容易忽略的后果。后来的大语言模型常把 β2\beta_2 设成 0.95,例如 GPT-3 和 LLaMA;这时 ρ∞=39\rho_\infty = 39,按公式算,RAdam 内置的有效预热只有约 24 步,而 LLaMA 实际用的是 2,000 步预热。

整流项本身倒是被保留了下来。PyTorch 内置了 torch.optim.RAdam;Schedule-Free 的官方库在 2024 年底也收进一个社区贡献的 RAdam 版本,说明里写着连预热都可以省掉。

结论

RAdam 从 Adam 的自适应学习率出发,用 SMA 近似估出第 tt 步等效的样本数 ρt\rho_t,再用整流项 rtr_t 把方差拉到一致;ρt≤4\rho_t \le 4 的前几步则直接退化成动量 SGD。在翻译与图像分类上,它不必另外设置预热长度(翻译实验的 β2\beta_2 特别对齐过),就能追上调好的 Adam 加预热。Ma 与 Yarats 随后指出,rtr_t 只是一段由 β2\beta_2 决定的固定预热,简单的线性预热就能取得几乎相同的结果。

如果你手上已经有调好的预热,换成 RAdam 多半不会多得到什么;如果没有,RAdam 和「线性预热 2/(1−β2)2/(1-\beta_2) 步」是两个差不多可靠的起点。只是要记得,用 RAdam 时改 β2\beta_2,等于同时改了预热长度。

README 开头问,如果预热是答案,问题是什么。Ma 与 Yarats 给的答案是 Adam 初期的更新量太大;至于为什么要预热这么久,他们自己也承认还不知道。