返回论文笔记资料库
arXiv 2014ICLR 2015优化器论文笔记

Adam

亚当的第一步

原始论文

Adam: A Method for Stochastic Optimization

论文作者

Diederik P. Kingma · Jimmy Ba

发表版本
ICLR 2015会议
arXiv 首次提交
arXiv:1412.6980
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{optimizersadam2014,
  title = {{Adam: A Method for Stochastic Optimization}},
  author = {Diederik P. Kingma and Jimmy Ba},
  year = {2014},
  eprint = {1412.6980},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1412.6980}
}
本页内容

这篇论文第一页的脚注写着,两位作者贡献相同,作者顺序是在 Google Hangout 上抛硬币决定的。

抛完硬币之后,Diederik Kingma 排在前面,Jimmy Ba 排在后面,论文在 2014 年 12 月发布到 arXiv。Algorithm 1 的说明文字里有一句「Good default settings for the tested machine learning problems」,后面跟着四个数字,α=0.001\alpha=0.001、β1=0.9\beta_1=0.9、β2=0.999\beta_2=0.999、ϵ=10−8\epsilon=10^{-8}。

十年后打开 PyTorch,torch.optim.Adam 的默认值还是这四个数字。

这篇笔记要把 Algorithm 1 的每一行拆开来看。两个移动平均各在估计什么?为什么要除以 1−βt1-\beta^t?一步到底走多远?论文的实验证明了哪些事,又有哪一段后来被推翻?

定义问题

训练神经网络时,我们手上只有小批量算出来的梯度,每一步都带着噪声;dropout 之类的正则化又额外加了一层随机性。参数动辄上百万,二阶方法太贵,论文一开始就把范围限定在一阶方法。

最基本的 SGD 对所有参数用同一个学习率。问题是不同参数的梯度大小可以差好几个数量级,同一个学习率,对某些参数太大,对另一些又太小。

当时已经有两条路在处理这件事。

  • AdaGrad 为每个参数记下历史梯度平方的总和,用它的平方根去除梯度,θt+1=θt−α gt/∑i=1tgi2\theta_{t+1}=\theta_t-\alpha\, g_t\big/\sqrt{\sum_{i=1}^{t} g_i^2}。很少出现的特征,梯度平方和小,步伐就大,在稀疏数据上特别有效。代价是总和只增不减,学习率会一路变小。
  • RMSProp 把总和换成指数移动平均,只看最近一段时间的梯度。学习率不会一路变小,也比较能应对目标函数随时间改变的情况。

Adam 想要两边的好处。论文第 5 节还指出,RMSProp 没有偏差修正。当 β2\beta_2 接近 1(稀疏梯度正需要这种设置),没有修正的 RMSProp 一开始的步伐会非常大,常常直接发散。

所以这篇要回答的是,能不能做出一个只用一阶梯度、内存只多占两份参数大小的优化器,同时处理稀疏梯度与会变动的目标,而且在训练一开始就走得稳。

解决问题

Algorithm 1

先把整个算法写出来。所有运算都是逐元素的,gt2g_t^2 指 gt⊙gtg_t\odot g_t,βt\beta^t 是 β\beta 的 tt 次方:

gt←∇θft(θt−1)mt←β1 mt−1+(1−β1) gtvt←β2 vt−1+(1−β2) gt2m^t←mt / (1−β1t)v^t←vt / (1−β2t)θt←θt−1−α m^t / (v^t+ϵ)\begin{aligned} g_t &\leftarrow \nabla_\theta f_t(\theta_{t-1}) \\ m_t &\leftarrow \beta_1\, m_{t-1} + (1-\beta_1)\, g_t \\ v_t &\leftarrow \beta_2\, v_{t-1} + (1-\beta_2)\, g_t^2 \\ \hat m_t &\leftarrow m_t \,/\, (1-\beta_1^t) \\ \hat v_t &\leftarrow v_t \,/\, (1-\beta_2^t) \\ \theta_t &\leftarrow \theta_{t-1} - \alpha\, \hat m_t \,/\, \big(\sqrt{\hat v_t}+\epsilon\big) \end{aligned}

一开始 m0=v0=0m_0=v_0=0、t=0t=0,每一轮先把 tt 加一。

mtm_t 是梯度的指数移动平均,论文称为一阶矩的估计,也就是梯度的均值;vtv_t 是梯度平方的指数移动平均,是二阶矩(未减去均值的方差)的估计。Adam 这个名字取自 adaptive moment estimation(致谢里说,是 Ivo Danihelka 和 Tom Schaul 想出来的)。

更新量是 m^t/v^t\hat m_t/\sqrt{\hat v_t}。分子决定方向,而且因为是移动平均,带有动量的效果;分母为每个参数换算出一个自己的尺度。这相当于每个参数有自己的学习率 α/v^t\alpha/\sqrt{\hat v_t},只是这个学习率每一步都会根据最近的梯度重新估计。

论文还给了一个计算量更小的写法,把两次修正合并成一个系数:

αt=α⋅1−β2t1−β1t,θt←θt−1−αt mt / (vt+ϵ^)\alpha_t=\alpha\cdot\frac{\sqrt{1-\beta_2^t}}{1-\beta_1^t},\qquad \theta_t\leftarrow\theta_{t-1}-\alpha_t\, m_t\,/\,\big(\sqrt{v_t}+\hat\epsilon\big)

两种写法只差在 ϵ\epsilon 加的位置,这里的 ϵ^\hat\epsilon 和 Algorithm 1 的 ϵ\epsilon 是不同的量。这个小差异后来留在了各家框架里,讨论时再回来看。

偏差修正

中间那两行除法,是这篇论文和 RMSProp 最大的区别,也是第 3 节专门推导的内容。

把 vtv_t 的递推式展开,它是过去所有梯度平方的加权和:

vt=(1−β2)∑i=1tβ2 t−i gi2v_t=(1-\beta_2)\sum_{i=1}^{t}\beta_2^{\,t-i}\, g_i^2

两边取期望。假设梯度平方的期望不随时间改变,就可以把 E[gt2]\mathbb E[g_t^2] 提出来,剩下的是一个等比数列求和:

E[vt]=E[gt2]⋅(1−β2)∑i=1tβ2 t−i+ζ=E[gt2]⋅(1−β2t)+ζ\mathbb E[v_t]=\mathbb E[g_t^2]\cdot(1-\beta_2)\sum_{i=1}^{t}\beta_2^{\,t-i}+\zeta =\mathbb E[g_t^2]\cdot(1-\beta_2^t)+\zeta

如果二阶矩真的不随时间改变,ζ=0\zeta=0;就算会变,只要 β2\beta_2 让太久以前的梯度权重足够小,ζ\zeta 也不会太大。剩下的 1−β2t1-\beta_2^t 完全是从 v0=0v_0=0 起步造成的,除掉它,估计就回到正确的尺度。mtm_t 的推导一模一样。

用默认值算一下第一步。t=1t=1 时:

  • m1=0.1 g1m_1=0.1\,g_1,只有真实值的十分之一;
  • v1=0.001 g12v_1=0.001\,g_1^2,开根号后是 0.0316 ∣g1∣0.0316\,|g_1|,只有真实尺度的三十分之一左右。

两个都偏小,但 vv 偏得更多。如果不修正,第一步的大小是 α⋅0.1/0.0316≈3.16 α\alpha\cdot 0.1/0.0316\approx 3.16\,\alpha。修正之后,m^1=g1\hat m_1=g_1、v^1=g12\hat v_1=g_1^2,每个参数的第一步刚好是 α⋅sign⁡(g1)\alpha\cdot\operatorname{sign}(g_1)。

这就是 Adam 的第一步。不管梯度是 10−610^{-6} 还是 10310^{3},每个参数都只走 α\alpha。

那不修正的话,偏大的步伐会持续多久?假设每一步的梯度都一样,没有修正时的步长就是 α (1−β1t)/1−β2t\alpha\,(1-\beta_1^t)/\sqrt{1-\beta_2^t}。我们把它画出来。

折线图,横轴是步数 t(对数刻度,从 1 到 2 万),纵轴是没有偏差修正时的步长,以 α 为单位,β1 固定为 0.9。β2 = 0.99 的蓝线最高约 2.1α,在第 13 步,两百步左右回到 α 附近;β2 = 0.999 的橙色虚线最高约 6.6α,在第 12 步,到第 1,000 步还有约 1.26α;β2 = 0.9999 的绿色点线最高约 20.7α,在第 12 步,到第 1,000 步还有约 3.2α,要一万多步才回到 α。有偏差修正时,三条线都是固定的 α。
本文整理,依原论文 Algorithm 1 计算。假设每一步的梯度相同。

三条线都在第 12、13 步左右到达最高点。这时 mtm_t 已经累积到真实值的七成左右;vtv_t 在 β2=0.999\beta_2=0.999 时却只累积了约 1%,开根号后也只有一成多。分子追上来了,分母还没有。β2=0.999\beta_2=0.999 时最高是 6.6 α6.6\,\alpha,要到一千七百多步才回到 1.1 α1.1\,\alpha 以内;β2=0.9999\beta_2=0.9999 时最高是 20.7 α20.7\,\alpha,要一万七千多步。

如果再把动量去掉(β1=0\beta_1=0),没有修正的第一步就是 α/1−β2\alpha/\sqrt{1-\beta_2},β2=0.9999\beta_2=0.9999 时是 100 α100\,\alpha。学习率明明设成 10−310^{-3},第一步却相当于用了 10−110^{-1}。

这正是论文说的情况。稀疏梯度需要很大的 β2\beta_2 才能平均到足够多的样本,而 β2\beta_2 越接近 1,没有修正的初始偏差就越严重。

一步走多远

第 2.1 节接着分析更新量本身。先令 ϵ=0\epsilon=0,每一步的有效步长是 Δt=α m^t/v^t\Delta_t=\alpha\,\hat m_t/\sqrt{\hat v_t}。

m^t/v^t\hat m_t/\sqrt{\hat v_t} 是「梯度的均值」除以「梯度平方均值的平方根」。因为 ∣E[g]∣≤E[g2]|\mathbb E[g]|\le\sqrt{\mathbb E[g^2]},这个比值的绝对值通常不超过 1,所以 ∣Δt∣|\Delta_t| 大致被 α\alpha 限制住。

有一个例外。如果某个参数的梯度一直是 0,只有这一步突然有值,m^t\hat m_t 大约是 (1−β1)gt(1-\beta_1)g_t,v^t\hat v_t 大约是 (1−β2)gt2(1-\beta_2)g_t^2,比值变成 (1−β1)/1−β2(1-\beta_1)/\sqrt{1-\beta_2}。论文给的上界因此分两种情况:

∣Δt∣≤{α⋅(1−β1)/1−β2,若 1−β1>1−β2α,其他情况|\Delta_t|\le \begin{cases} \alpha\cdot(1-\beta_1)/\sqrt{1-\beta_2}, & \text{若 } 1-\beta_1>\sqrt{1-\beta_2}\\[2pt] \alpha, & \text{其他情况} \end{cases}

用默认值代进去,1−β1=0.11-\beta_1=0.1 大于 0.001≈0.0316\sqrt{0.001}\approx0.0316,所以默认设置落在第一种情况,最坏是 3.16 α3.16\,\alpha。这只会发生在极端稀疏的参数上;论文说,稀疏程度没那么极端时,有效步长会比这个小。

这个性质带来三个实用的结果。

  1. α\alpha 就是步伐的大小。 它大致就是每一步在参数空间里走的距离,论文把它比作在当前参数周围画出一个信赖域。如果我们大概知道好的解离初始值有多远,就能估出 α\alpha 的数量级。
  2. 和梯度的尺度无关。 把梯度乘上 cc,m^t\hat m_t 变成 cc 倍,v^t\hat v_t 变成 c2c^2 倍,比值不变。把损失函数乘上 1000,SGD 的步伐跟着放大 1000 倍,Adam 完全不受影响。
  3. 自动退火。 论文借用「信噪比」这个词来称呼 m^t/v^t\hat m_t/\sqrt{\hat v_t}。靠近最优解时,梯度方向常常来回变号,均值接近 0,平方的均值却还在,比值变小,步伐也跟着变小。

和 AdaGrad、RMSProp 的关系

第 5 节把 Adam 放回原来的家族里比较。

和 RMSProp 比,有两个区别。带动量的 RMSProp 是先把梯度除以尺度,再对除完的结果做动量;Adam 是分别估计梯度的一阶矩与二阶矩,再相除。另一个区别就是偏差修正。

和 AdaGrad 比,关系更有意思。令 β1=0\beta_1=0、让 1−β21-\beta_2 趋近 0,并把学习率换成 αt=α/t\alpha_t=\alpha/\sqrt t,有偏差修正的 v^t\hat v_t 会变成 1t∑i=1tgi2\frac1t\sum_{i=1}^t g_i^2,代回更新式刚好就是 AdaGrad。这个对应只有在保留偏差修正时才成立;去掉修正,β2\beta_2 趋近 1 会让 1−β2t1-\beta_2^t 趋近 0,更新量变成无穷大。

论文也提到,v^t\hat v_t 可以看成 Fisher 信息矩阵对角线的近似,Adam 相当于用它的平方根的倒数做预条件(preconditioning)。比起自然梯度直接用 Fisher 矩阵的逆,这个做法保守一些。

AdaMax

第 7.1 节是一个延伸。Adam 用梯度的 L2L^2 范数缩放,作者把它推广到 LpL^p:

vt=β2p vt−1+(1−β2p) ∣gt∣pv_t=\beta_2^p\, v_{t-1}+(1-\beta_2^p)\,|g_t|^p

pp 大的时候数值不稳定,但让 p→∞p\to\infty,令 ut=lim⁡p→∞vt1/pu_t=\lim_{p\to\infty}v_t^{1/p},加权总和里只剩最大的那一项,得到一个很简单的递推式:

ut=max⁡(β2 ut−1, ∣gt∣),θt←θt−1−α1−β1t⋅mtutu_t=\max\big(\beta_2\, u_{t-1},\ |g_t|\big),\qquad \theta_t\leftarrow\theta_{t-1}-\frac{\alpha}{1-\beta_1^t}\cdot\frac{m_t}{u_t}

utu_t 是「打过折的历史最大梯度」。某一步出现 ∣g∣=10|g|=10,uu 就变成 10,之后每步乘上 0.999,一千步后还剩约 3.7。它不需要偏差修正,因为 utu_t 至少等于当前的 ∣gt∣|g_t|,不会从 0 慢慢爬上来。步长的上界也更简单,∣Δt∣≤α|\Delta_t|\le\alpha。论文建议的默认值是 α=0.002\alpha=0.002,β1\beta_1、β2\beta_2 和 Adam 相同。

另外,第 7.2 节提了参数的指数移动平均 θˉt←β2θˉt−1+(1−β2)θt\bar\theta_t\leftarrow\beta_2\bar\theta_{t-1}+(1-\beta_2)\theta_t,同样用 1−β2t1-\beta_2^t 修正初始偏差。

收敛证明

第 4 节用在线凸优化的框架分析 Adam。每一步面对一个事先未知的凸函数 ftf_t,衡量标准是遗憾(regret),也就是累积损失和事后看来最好的固定参数相比多了多少:

R(T)=∑t=1T[ft(θt)−ft(θ∗)]R(T)=\sum_{t=1}^{T}\big[f_t(\theta_t)-f_t(\theta^*)\big]

Theorem 4.1 的条件很多。梯度有界、迭代点之间的距离有界、β12/β2<1\beta_1^2/\sqrt{\beta_2}<1,学习率用 αt=α/t\alpha_t=\alpha/\sqrt t 递减,β1\beta_1 也要随时间以 β1,t=β1λt−1\beta_{1,t}=\beta_1\lambda^{t-1} 衰减。在这些条件下,论文得到 O(T)O(\sqrt T) 的遗憾,平均遗憾 R(T)/TR(T)/T 趋近 0。

实际训练很少照这组条件跑 Adam,学习率常常固定或用其他调度,β1\beta_1 也固定在 0.9。论文自己在第 6.2 节也承认,这个分析不适用于神经网络这类非凸问题。

这个定理后来被证明有误。2018 年 Reddi、Kale 与 Kumar 指出,附录的证明在某一步把 v^t/αt−v^t−1/αt−1\sqrt{\hat v_t}/\alpha_t-\sqrt{\hat v_{t-1}}/\alpha_{t-1} 当成不会是负数来处理。这个量是「有效学习率的倒数」随时间的变化,Adam 的 vtv_t 是移动平均,会随着梯度变小而变小,所以它可以是负的。他们同时指出引理 10.3、10.4 也有问题,并构造了一个满足定理条件的一维凸问题,Adam 在上面收敛到最差的那个点。

讨论

逻辑回归、多层感知机与卷积网络三组实验都用批量大小 128,比较不同优化器时使用相同的初始参数;学习率、动量等超参数在一个密集的网格上搜索,报告最好的那组。论文只画了损失曲线,前三组明确写的是训练损失,没有测试准确率。读图时要记住这一点,这些实验比的是「谁把训练损失降得快」。

逻辑回归

两张折线图。左图是 MNIST 逻辑回归,横轴是 epoch(0 到 45),纵轴是训练损失:Adam(红)和带 Nesterov 动量的 SGD(绿)都很快降到约 0.26 到 0.27,AdaGrad(蓝)到第 45 个 epoch 还在 0.46 左右。右图是 IMDB 词袋特征的逻辑回归,四种方法都加了 dropout:Adagrad、RMSProp、Adam 三条线都降到约 0.25,SGD Nesterov(红)剧烈震荡,停在 0.35 附近。
原论文 Figure 1(Kingma 与 Ba),取自 PDF 第 6 页,arXiv 许可,学术引用。

逻辑回归是凸问题,不必担心局部极小值,适合单纯比较优化器。这组实验的学习率照第 4 节的理论用 α/t\alpha/\sqrt t 递减。

左图是 MNIST,直接拿 784 维的像素向量分类。Adam 和 SGD 动量差不多,两者都比 AdaGrad 快很多。

右图才是 Adam 想证明的事。作者把 IMDB 影评转成前 10,000 个常用词的词袋向量,每一篇影评只用到其中很少的词,是很稀疏的特征;为了防止过拟合,特征上加了 50% 的 dropout。在这里 AdaGrad 大幅领先 SGD,Adam 和 AdaGrad 一样快。稀疏特征上的优势,Adam 继承了下来。

多层感知机

接着是两层、每层 1000 个 ReLU 单元的全连接网络,同样用 MNIST。加了 dropout 的版本,Adam 的训练损失低于 AdaGrad、RMSProp、SGD 动量与 AdaDelta。

不加 dropout、改用 L2 权重衰减的版本,作者另外和 SFO 做了比较。SFO 是一种以小批量运行的拟牛顿法,每一步要更新曲率信息,速度比 Adam 慢 5 到 10 倍,内存还要随小批量的数量线性增加。不论按迭代次数还是按实际耗时计算,Adam 都比它快;而 SFO 假设每个子函数是确定性的,遇到 dropout 就不收敛。

卷积网络

两张 CIFAR-10 卷积网络的训练损失曲线。左图只看前 3 个 epoch:Adam(品红)和 Adam 加 dropout(黄)降得最快,到第 3 个 epoch 约 0.6 到 0.7;AdaGrad(蓝)约 1.2。右图是 45 个 epoch、纵轴取对数:Adam 和 SGD Nesterov(红)在第 15 个 epoch 左右急降,最后约 4 到 6 乘 10 的负 4 次方;AdaGrad 和 AdaGrad 加 dropout 停在 0.6 到 0.8;加 dropout 的 Adam 与 SGD 约 0.02 到 0.04。
原论文 Figure 3(Kingma 与 Ba),取自 PDF 第 7 页,arXiv 许可,学术引用。

网络是三段 5×55\times5 卷积加步长为 2 的 3×33\times3 最大池化,通道数 64、64、128,最后接 1000 个 ReLU 的全连接层;输入先做白化,输入层与全连接层加 dropout。

左图的前 3 个 epoch,Adam 和 AdaGrad 都下降得很快。但右图拉长到 45 个 epoch,AdaGrad 很早就停住了,Adam 和 SGD 动量一路降到 10−310^{-3} 以下。

作者对这个结果的解释很具体。他们观察到,训练几个 epoch 之后,v^t\hat v_t 小到几乎是 0,分母被 ϵ\epsilon 主导,二阶矩已经无法描述这个问题的几何形状;在卷积网络上起作用的主要是一阶矩,它把小批量的噪声平均掉。照这个解释推下去,分母被 ϵ\epsilon 主导时,Adam 的行为更像带动量的 SGD,这也和两者曲线很接近的情况相符。作者也很坦率地写道,Adam 相对 SGD 动量只是小幅改善,好处在于它会自动为不同层调整学习率的尺度,不需要手动为卷积层挑一个比较小的学习率。

ϵ\epsilon 被写成「避免除以零的小常数」,但只要 v^t\sqrt{\hat v_t} 小到和它同一个数量级,它就实际参与了更新。

偏差修正的实验

两组各 2 行 3 列的小图,训练变分自编码器。左组是训练 10 个 epoch 后,右组是 100 个 epoch 后;每一行是 β1 = 0 或 0.9,每一列是 β2 = 0.99、0.999、0.9999。每张小图的横轴是 log10(α),从 −5 到 −1,纵轴是损失,范围 95 到 140。红线是有偏差修正,绿线是没有。β2 = 0.99 时两条线几乎重叠;β2 越接近 1,绿线越早冲出图外。10 个 epoch、β1 = 0 时,β2 = 0.999 与 0.9999 的绿线几乎整条都在图外,红线最低约 110。100 个 epoch 后,红线在六张图里的最低点都在 100 左右。
原论文 Figure 4(Kingma 与 Ba),取自 PDF 第 8 页,arXiv 许可,学术引用。

这是整篇论文最直接检验设计的一张图。作者训练一个变分自编码器(VAE,单一隐藏层、500 个 softplus 单元、50 维的高斯潜变量),扫过 β1∈{0,0.9}\beta_1\in\{0,0.9\}、β2∈{0.99,0.999,0.9999}\beta_2\in\{0.99,0.999,0.9999\},以及 α\alpha 从 10−510^{-5} 到 10−110^{-1}。去掉偏差修正之后的 Adam,论文视为一种带动量的 RMSProp。

每张小图的横轴是学习率,纵轴是损失,红线是有修正,绿线是没有。

  • β2=0.99\beta_2=0.99 那一列,红绿两条线大致重叠,只有 β1=0\beta_1=0 那一行的绿线在最大的学习率先冲出图外。这个设置下,没有修正造成的偏差大约一两百步就消失,对整个训练的影响不大。
  • 往右看到 β2=0.9999\beta_2=0.9999,绿线在比较大的学习率就冲出图外。最严重的是左组第一行 β1=0\beta_1=0,β2=0.999\beta_2=0.999 和 0.99990.9999 的绿线几乎整条都在图外;这两格没有修正时第一步分别是 31.6 α31.6\,\alpha 和 100 α100\,\alpha。
  • 右组训练到 100 个 epoch,红线在六张图里的最低点都在 100 附近;在 β2=0.9999\beta_2=0.9999 那一列,红线的最低点落在 α=10−3\alpha=10^{-3},同一个学习率下,绿线在 β1=0\beta_1=0 时已冲出图外,在 β1=0.9\beta_1=0.9 时升到 110 左右,红线能用的学习率范围宽得多。

作者的结论是,β2\beta_2 接近 1 时,没有偏差修正会让训练不稳定,尤其是最初的几个 epoch;最好的结果出现在 1−β21-\beta_2 很小、又有偏差修正的设置。在他们扫过的所有超参数上,Adam 都不比 RMSProp 差。

作者还补了一个观察。训练后期隐藏单元各自专门化,梯度变得更稀疏,大 β2\beta_2 的好处在这时更明显。也就是说,接近 1 的 β2\beta_2 本来就是想要的设置,偏差修正让我们能放心用它。

ϵ\epsilon 加在哪里

回到前面两种写法的差异。Algorithm 1 把 ϵ\epsilon 加在修正后的 v^t\sqrt{\hat v_t} 上,省计算的写法则把 ϵ^\hat\epsilon 加在未修正的 vt\sqrt{v_t} 上。两者换算下来,ϵ^=ϵ1−β2t\hat\epsilon=\epsilon\sqrt{1-\beta_2^t},在训练初期差得最多。

各家框架选了不同的写法。PyTorch 照 Algorithm 1,默认 eps=1e-8;Keras 的文档写明它的 epsilon 是论文里的 ϵ^\hat\epsilon,默认值则是 1e-7。在两个框架之间搬超参数时,同样叫 epsilon,其实是两个量。

这个看似无关紧要的常数,在大模型训练里也会被拿出来调。OLMo 2 就把 AdamW 的 ϵ\epsilon 从 10−510^{-5} 降到 10−810^{-8},报告称训练初期的梯度范数因此更低,也更稳定。

偏差修正被去掉的那几年

第 3 节的推导听起来像细节,但它有一段真实的后续。

BERT 官方代码里的优化器 BERTAdam,把偏差修正那两行去掉了;这个写法跟着被复制进 Hugging Face Transformers(2019 年 7 月才改回标准的 Adam)、AllenNLP 等常用库。2020 年 Zhang 等人的〈Revisiting Few-sample BERT Fine-tuning〉追查 BERT 在小数据集上微调不稳定的原因,发现这正是主因之一。

他们在 RTE、MRPC、STS-B、CoLA 四个小数据集上,各用 50 个随机种子微调。没有偏差修正时,很多次微调根本没训练起来;以 RTE 为例,48% 的运行准确率低于 55%,接近瞎猜。加回偏差修正,结果的波动大幅缩小。

原因和前面那张步长图是同一件事。这些小数据集的微调通常不到一千步,整个过程都还处在偏差最大的那一段。换成训练步数多的 MNLI,有没有修正的差距落在误差范围内(验证集准确率,没有修正 86.0、有修正 85.9)。

后来的三个问题

Adam 很快成了默认的优化器,接下来几年,针对它的质疑大致分成三条线:

  1. 收敛。 也就是前面提到的证明错误。Reddi 等人用一个每三步出现一次大梯度的例子,说明 vtv_t 会「忘记」罕见的大梯度,提出保留历史最大值的 AMSGrad。
  2. 泛化。 2017 年 Wilson 等人在几个视觉与语言任务上发现,Adam 的训练损失降得快,测试成绩却常输给调好的 SGD。
  3. 正则化。 Loshchilov 与 Hutter 指出,在 Adam 里把 L2 正则化写进梯度,和直接做权重衰减并不等价,提出 AdamW。

结论

Adam 用两个指数移动平均分别估计梯度的均值与平方的均值,相除后得到每个参数自己的步长;再用 1−βt1-\beta^t 修正从 0 起步的偏差,让第一步就落在 α\alpha 的尺度上。论文最有说服力的证据是 VAE 那组实验,β2\beta_2 越接近 1,偏差修正越重要;其他实验只比了训练损失,卷积网络上它和 SGD 动量的差距也很小。收敛定理则在三年后被指出有误。

如果你要自己实现 Adam,或是沿用别人的训练代码,先看偏差修正那两行还在不在,再看 ϵ\epsilon 加在偏差修正之前还是之后、值是多少。训练步数越少,这两个细节对结果的影响越大;在框架之间搬超参数时,也记得两边的 epsilon 可能不是同一个量。

2025 年,这篇论文拿下了 ICLR 的时间检验奖,距离它的收敛证明被指出有问题,已经过了七年。至于作者顺序,到现在还是那枚硬币决定的。