返回论文笔记资料库
ICLR 2018arXiv 2019优化器论文笔记

AMSGrad

好了伤疤忘了疼

原始论文

On the Convergence of Adam and Beyond

论文作者

Sashank J. Reddi · Satyen Kale · Sanjiv Kumar

发表版本
ICLR 2018会议
arXiv 首次提交
arXiv:1904.09237
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{optimizersamsgrad2019,
  title = {{On the Convergence of Adam and Beyond}},
  author = {Sashank J. Reddi and Satyen Kale and Sanjiv Kumar},
  year = {2019},
  eprint = {1904.09237},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1904.09237}
}
本页内容

先玩一个小游戏。

参数 xx 只能待在 −1-1 到 11 之间。每三步为一轮,第一步的损失是 3x3x,第二步和第三步的损失都是 −x-x。一轮加起来是 3x−x−x=x3x-x-x=x,所以 xx 越小越好,答案是 x=−1x=-1。

梯度很好算,第一步是 +3+3,后两步是 −1-1。SGD 每一轮往负方向净走一步,最后停在 −1-1。

Adam 会停在 x=+1x=+1,整个区间里最差的那一点。

这个例子出自 Google 的 Sashank Reddi、Satyen Kale 与 Sanjiv Kumar。他们用它证明 Adam 原始论文的收敛定理是错的,再从出错的地方推出一个只改一行的修正版,AMSGrad。

定义问题

Adam 宣称的收敛

Adam 论文用在线凸优化的框架分析收敛。每一步,算法先选一个参数 xtx_t,接着才看到这一步的凸损失函数 ftf_t。衡量标准是遗憾(regret),也就是累积损失比「事后看来最好的固定参数」多出多少:

RT=∑t=1Tft(xt)−min⁡x∈F∑t=1Tft(x)R_T=\sum_{t=1}^{T}f_t(x_t)-\min_{x\in\mathcal F}\sum_{t=1}^{T}f_t(x)

如果平均遗憾 RT/TR_T/T 趋近 0,平均来说算法就追上了最好的固定解。Adam 论文的 Theorem 4.1 宣称,在梯度有界、β12/β2<1\beta_1^2/\sqrt{\beta_2}<1、学习率 αt=α/t\alpha_t=\alpha/\sqrt t 等条件下,Adam 的遗憾是 O(T)O(\sqrt T),平均遗憾趋近 0。

开头那个游戏正是在线凸优化。每个 ftf_t 都是线性函数,可行域是 [−1,1][-1,1]。Adam 停在 +1+1,每一轮都比 x=−1x=-1 多付出固定的损失,平均遗憾永远不会趋近 0。

有效学习率会不会变大

Reddi 等人把问题指向一个量。把各种自适应方法写进同一个框架,每一步的更新是 xt+1=xt−αtmt/Vtx_{t+1}=x_t-\alpha_t m_t/\sqrt{V_t},αt/Vt\alpha_t/\sqrt{V_t} 就是每个参数实际的学习率。看它的倒数怎么随时间变化:

Γt+1=Vt+1αt+1−Vtαt\Gamma_{t+1}=\frac{\sqrt{V_{t+1}}}{\alpha_{t+1}}-\frac{\sqrt{V_t}}{\alpha_t}

SGD 的 VtV_t 固定、αt\alpha_t 递减;AdaGrad 的 VtV_t 是历史梯度平方的平均,配上 α/t\alpha/\sqrt t,分母里实际是梯度平方的总和,只增不减。两者的 Γt\Gamma_t 都不会是负的,学习率只会变小。

Adam 和 RMSProp 用的是指数移动平均。最近的梯度一变小,vtv_t 就跟着变小,学习率反而变大,Γt\Gamma_t 可以是负的。

论文开头描述了实际训练中看到的情况。在输出空间很大的问题里,有些小批量会带来很大、信息量很高的梯度,但很少出现;指数移动平均让它们的影响很快消失,训练就收敛得很差。这篇要做的,是把这个直觉变成可以证明的反例。

解决问题

反例:每三步一次大梯度

论文的 Theorem 1 就是开头那个游戏的一般版本。损失函数依次是

ft(x)={Cx,t mod 3=1−x,其他x∈[−1,1], C>2f_t(x)= \begin{cases} Cx, & t \bmod 3 = 1\\ -x, & \text{其他} \end{cases} \qquad x\in[-1,1],\ C>2

一轮的梯度总和是 C−2>0C-2>0,最优解是 x=−1x=-1。Adam 的设置是 β1=0\beta_1=0、β2=1/(1+C2)\beta_2=1/(1+C^2)、αt=α/t\alpha_t=\alpha/\sqrt t,而且 α<1−β2\alpha<\sqrt{1-\beta_2};这组参数满足 Adam 论文要求的 β12/β2<1\beta_1^2/\sqrt{\beta_2}<1。论文附录用归纳法证明,从 x1=1x_1=1 出发,每一轮结束时 xx 都会回到 11。

为什么?我们取 C=3C=3,这时 β2=0.1\beta_2=0.1,直接算一轮。vtv_t 经过几轮后会进入固定的循环,下表是循环中的一轮。表中最后两列是 gt/vtg_t/\sqrt{v_t},正数代表把 xx 往 −1-1 推,负数代表往 +1+1 推;实际的更新量还要再乘上 αt\alpha_t,同一轮里三步的 αt\alpha_t 差不多,先忽略:

步gtg_tvtv_tAdamAMSGrad
1+3+38.21+1.05+1.05+1.05+1.05
2−1-11.72−0.76-0.76−0.35-0.35
3−1-11.07−0.97-0.97−0.35-0.35
一轮+1+1−0.68-0.68+0.35+0.35

本文计算,C=3C=3、β1=0\beta_1=0、β2=0.1\beta_2=0.1,Theorem 1 的设置。AMSGrad 的分母用历史最大的 vv,即 8.21。

先看 Adam 那一列。第一步的梯度是 +3+3,但 vtv_t 同时被它撑大到 8.21,3/8.21≈1.053/\sqrt{8.21}\approx1.05,大梯度被缩小了将近 3 倍。论文说大梯度 CC 会被缩小「将近 CC 倍」,指的就是这件事。接下来两步梯度只有 −1-1,vtv_t 以每步只保留一成的速度掉回 1.72、1.07,学习率在两步内放大到将近三倍,两个小梯度合起来推了 1.731.73。一轮下来,净效果是往错误的方向走了 0.680.68。

这就是 Γt<0\Gamma_t<0 的具体样子。大梯度带来的教训,两步之后就忘得差不多了。

照这组设置、取 α=0.5\alpha=0.5 实际迭代三十万步,Adam 停在 x=1x=1,平均遗憾 0.6670.667,正好是论文给的下界 (2C−4)/3(2C-4)/3;同样条件下 AMSGrad 走到 −0.999-0.999。

论文还补了几点。这个例子在固定步长 αt=α\alpha_t=\alpha 时同样成立;在分母加上 ϵ\epsilon 也救不回来,附录的 Theorem 6 对任何 ϵ>0\epsilon>0 都能构造出类似的反例。SGD 和 AdaGrad 在同一个问题上,平均遗憾都会趋近 0。

换成实际会用的 β\beta

β2=0.1\beta_2=0.1 太刻意了,实际训练中 β2\beta_2 都接近 1。论文接着证明了两个更强的结果。

Theorem 2 说,只要 β1<β2\beta_1<\sqrt{\beta_2}(实际设置几乎都满足),就存在一个在线凸问题让 Adam 的平均遗憾不趋近 0。构造方式相同,只是周期从 3 拉长成 CC:每 CC 步出现一次梯度 CC,其余都是 −1-1。CC 要够大,大到 β2\beta_2 的记忆撑不过一个周期。

够大是多大?附录列了三个条件,其中一个是 β2(C−2)/2C2≤1\beta_2^{(C-2)/2}C^2\le1。我们代入数字算,β2=0.99\beta_2=0.99 时 CC 至少 3,218(附录 B 还要求 CC 是偶数;只看这个不等式是 3,217),β2=0.999\beta_2=0.999 时至少 42,622。也就是每四万多步出现一次、比平常大四万多倍的梯度。

Theorem 3 把场景换成随机优化。每一步独立采样,以概率 p=(1+δ)/(C+1)p=(1+\delta)/(C+1) 看到 CxCx,否则看到 −x-x。期望的损失是 δx\delta x,最优解还是 −1-1;但 CC 够大时,Adam 每一步位移的期望值是正的,参数会往远离最优解的方向漂。

作者的结论是,若想避免这种行为,ϵ\epsilon、β1\beta_1、β2\beta_2 都得依问题而定;高维问题甚至需要每个维度各自一组,这又违背了自适应方法不用调参的初衷。他们也承认例子是刻意构造的,但认为实际情况里类似的现象至少会拖慢收敛。

证明错在哪

有了反例,就知道 Adam 原本的证明一定有一步不成立。论文在第 4 节与附录 D 指出,Adam 的证明假设 Γt\Gamma_t 是半正定的,也就是学习率不会变大;这个假设在 Adam 上不成立。此外,Adam 证明中的引理 10.3 和 10.4 也有问题。

SGD 与 AdaGrad 的学习率本来就单调不增,所以不会碰到这个问题。这个观察直接指向了修正的方法。

AMSGrad

既然问题出在 vtv_t 会变小,那就让分母记住历史最大值:

mt=β1t mt−1+(1−β1t) gtvt=β2 vt−1+(1−β2) gt2v^t=max⁡(v^t−1, vt)xt+1=ΠF,V^t(xt−αt mt/v^t)\begin{aligned} m_t &= \beta_{1t}\, m_{t-1} + (1-\beta_{1t})\, g_t\\ v_t &= \beta_2\, v_{t-1} + (1-\beta_2)\, g_t^2\\ \hat v_t &= \max(\hat v_{t-1},\, v_t)\\ x_{t+1} &= \Pi_{\mathcal F,\sqrt{\hat V_t}}\big(x_t-\alpha_t\, m_t/\sqrt{\hat v_t}\big) \end{aligned}

和 Adam 唯一的区别是第三行。vtv_t 照样用指数移动平均更新,所以它对梯度尺度的估计仍然只看最近一段时间;但实际拿去当分母的 v^t\hat v_t 只增不减,学习率 αt/v^t\alpha_t/\sqrt{\hat v_t} 因此单调不增,Γt\Gamma_t 保证是半正定的。多出来的成本只是一个和参数同样大小的向量。

回到上面那张表的 AMSGrad 列。分母一直停在 8.21,两个 −1-1 各只推 0.350.35,一轮的净效果变成往正确方向走 0.350.35。

作者拿它和 Adam、AdaGrad 比较了一个情境。假设某一步 vt−1>gt2>0v_{t-1}>g_t^2>0,也就是这一步的梯度比最近的平均小:

  • Adam 会积极地把学习率调大,前面的反例就是被这一点拖垮的;
  • AdaGrad 会把学习率稍微调小,长期累积下来,学习率可能小到几乎不动;
  • AMSGrad 既不调大也不调小。

AMSGrad 的收敛保证(Theorem 4)沿用 Adam 论文的分析框架,并修掉了上面的问题。条件是 αt=α/t\alpha_t=\alpha/\sqrt t、β1t≤β1\beta_{1t}\le\beta_1、β1/β2<1\beta_1/\sqrt{\beta_2}<1,可行域直径与梯度有界,遗憾的上界多了一个 1+log⁡T\sqrt{1+\log T};论文写道,取 β1t=β1λt−1\beta_{1t}=\beta_1\lambda^{t-1},或较温和的 β1/t\beta_1/t,都能保证 O(T)O(\sqrt T) 的遗憾。

有两个细节要留意。证明需要 β1\beta_1 随时间递减,但作者也写明实践中通常固定 β1\beta_1。另外,论文里的 Adam 去掉了偏差修正,脚注说这是为了简化,反例的论证对有修正的版本同样适用;AMSGrad 的 Algorithm 2 也没有偏差修正。

论文也提了另一条路 AdamNC,结构不变,改让 β2\beta_2 随时间增加。取 β2t=1−1/t\beta_{2t}=1-1/t 时,vtv_t 刚好是所有历史梯度平方的平均,相当于一个带动量的 AdaGrad。

讨论

合成实验

三张折线图,横轴都是迭代次数(数百万步)。左图是在线设置的平均遗憾:Adam(蓝色虚线)停在约 0.21,AMSGrad(绿色实线)一路降到接近 0。中图是在线设置的参数 x:Adam 很快升到 1 并停在那里,AMSGrad 停在 −1。右图是随机设置的参数 x:Adam 停在 1 附近,AMSGrad 从 1 一路往下,到约一千万步时在 −0.85 附近。
原论文 Figure 1(Reddi 等人),取自 PDF 第 6 页,arXiv 许可,学术引用。

实验用的是反例的放大版。每 101 步出现一次损失 1010x1010x,其余 100 步是 −10x-10x,一个周期的梯度总和是 +10+10,最优解仍是 −1-1。这次用的是常见的 β1=0.9\beta_1=0.9、β2=0.99\beta_2=0.99,两个方法参数相同。

左图是平均遗憾。Adam 的蓝色虚线在 0.21 附近变平,不再下降;AMSGrad 的绿线降到接近 0。中图是参数本身,Adam 停在 +1+1,AMSGrad 停在 −1-1。

右图是随机版本,每一步以 1% 的概率看到 1010x1010x,否则是 −10x-10x。Adam 一样停在 +1+1。AMSGrad 往下走得很慢,到一千万步时大约在 −0.85-0.85,还没到 −1-1。

真实数据

上排三张图都在 MNIST 上,横轴 0 到 5000 次迭代:逻辑回归的训练损失与测试损失,AMSGrad(绿)都略低于 Adam(蓝色虚线),最后约 0.25 与 0.27;单隐藏层网络的训练损失,AMSGrad 也略低。下排两张是 CIFARNET 在 CIFAR-10 上,横轴到约 200 万次迭代:训练损失 AMSGrad 约 0.3、Adam 约 0.4;测试损失两者都在 0.6 附近震荡,AMSGrad 略低。
原论文 Figure 2(Reddi 等人),取自 PDF 第 7 页,arXiv 许可,学术引用。

真实数据的实验有三组,批量大小都是 128,β1=0.9\beta_1=0.9,β2\beta_2 从 {0.99,0.999}\{0.99,0.999\} 中挑:

  1. MNIST 逻辑回归(上排左、中)。凸问题,学习率照理论用 α/t\alpha/\sqrt t 递减,α\alpha 与 β2\beta_2 用网格搜索。AMSGrad 的训练与测试损失都略低,作者也提到它对参数变动比较不敏感。
  2. MNIST 单隐藏层网络(上排右)。100 个 ReLU,学习率固定。AMSGrad 的训练损失一路略低于 Adam。
  3. CIFAR-10 的 CIFARNET(下排)。两层 64 通道、6×66\times6 卷积,接 384 与 192 的全连接层,中间有最大池化、局部响应归一化与 dropout。训练损失的差距最明显,大约 0.3 对 0.4;测试损失两者都在 0.6 附近,AMSGrad 略低。

读这组结果要清楚它的范围。图上只有损失,没有准确率(正文说 AMSGrad 的准确率也比较好,但没有给数字);每条曲线看起来是单次运行,没有误差范围;模型也都很小。作者在贡献清单里自己称它为初步的实验。

实际使用中的反馈

AMSGrad 很快被各大框架收了进去,PyTorch 和 Keras 的 Adam 都有 amsgrad 参数,默认关闭。

用的人实际试过之后,反馈并不热烈。fast.ai 的 Sylvain Gugger 与 Jeremy Howard 在 2018 年 7 月的文章里,用 CIFAR-10 的 Wide ResNet、Stanford Cars 上微调 ResNet-50、WikiText-2 上的 AWD-LSTM 与 QRNN 语言模型做比较,写道 amsgrad 一直没有在准确率或其他指标上带来任何好处,形容它「非常令人失望」。

AMSGrad 自己的证明后来也被挑出问题。Phuong 与 Phong 在 2019 年指出,它的证明在处理 β1t\beta_{1t} 和 β1\beta_1 时把两者当成相等,Adam 原本的证明也有同样的疏漏;他们给出了新的证明,也提出另一个变体 AdamX。

Adam 其实会收敛?

反例成立,Adam 在实践中又确实好用,两者要怎么放在一起看?后续几篇工作给出的答案,差在它们先固定了什么:

工作先固定什么结论
Reddi 等人 2018先选 β\beta,再造问题Adam 可以不收敛
Zhang 等人 2022先给问题,再选 β\betaβ2\beta_2 够大就收敛
ADOPT 2024改算法任何 β2\beta_2 都收敛

Zhang 等人 2022 点出了顺序的问题。Reddi 等人是先选定 (β1,β2)(\beta_1,\beta_2),再针对它构造一个坏问题,前面算过,β2=0.999\beta_2=0.999 需要四万多步的周期;实践中却是问题先摆在那里,我们再去调超参数。他们证明,对固定的问题,只要 β2\beta_2 够大(门槛依问题而定)且 β1<β2\beta_1<\sqrt{\beta_2},不改任何更新规则的 Adam 会收敛到临界点附近,范围大小和随机梯度的方差成正比;在更强的条件下会收敛到临界点本身。这个分析针对非凸的有限和问题,每个 epoch 随机打乱样本顺序,不需要梯度有界的假设,也涵盖了默认的 β1=0.9\beta_1=0.9。反过来,β2\beta_2 太小时存在一大片会发散的 (β1,β2)(\beta_1,\beta_2)。

同一时期,Défossez 等人在光滑非凸、梯度有界的条件下给了一个简短的收敛证明,也指出默认参数的 Adam 严格来说不收敛,行为比较像固定步长的 SGD。

ADOPT 2024 回头检查 AMSGrad。它指出 AMSGrad 在非凸问题上的收敛证明,都假设随机梯度一致有界;变分自编码器、扩散模型这类在梯度里注入高斯噪声的模型,并不满足这个条件。问题出在取最大值这一步,期望值很难控制。ADOPT 换了一个做法,用上一步的 vt−1v_{t-1} 去归一化这一步的梯度,让分母不含当前的梯度,并且先归一化、再累积动量。在梯度二阶矩有限的条件下,它对任何 β2\beta_2 都达到 O(1/T)O(1/\sqrt T) 的收敛速率。

最后还有一个注脚。2026 年 7 月的一篇预印本〈On the Convergence of Adam, Revisited〉宣称,在 Reddi 等人同样的在线设置里,连 β1<β2\beta_1<\sqrt{\beta_2} 这个条件都不需要,任何 β1,β2\beta_1,\beta_2 都找得到让 Adam 平均遗憾不归零的例子,用的还是斜率 c,−1,−1c,-1,-1 的三步循环,而且可以推广到 AdamW、Muon 等变体。这和 Zhang 等人的正面结果并不冲突,两边回答的是不同顺序的问题。

结论

这篇论文用一个三步一轮的线性函数,证明了 Adam 原始的收敛定理有误,并把问题定位在指数移动平均让学习率可以变大。AMSGrad 用历史最大值当分母,让学习率单调不增,恢复了凸问题上的收敛保证。真实数据上的改善很小,实验也只到初步的程度,后来独立的测试多半没有看到好处;这篇留给后续研究的,是 Γt\Gamma_t 这个分析角度,以及「先固定哪一边」这个问题。

实际使用时,amsgrad=True 只是一个开关,怀疑数据里有罕见但重要的大梯度时,可以和调大 β2\beta_2 一起列入比较;前者只多一份和参数同样大小的状态,后者不增加任何成本。Zhang 等人证明 β2\beta_2 太小时有一大片会发散的区域;照这个结果推,如果为了反应快把它调低,训练出现不稳定时,先把它调回接近 1 再说。

三步一轮的小游戏倒是一直没退休。八年后还是同样的 c,−1,−1c,-1,-1,这次连 β1<β2\beta_1<\sqrt{\beta_2} 都不用假设,顺手把 AdamW 和 Muon 也拉了进来。