返回论文笔记资料库
arXiv 2017NeurIPS 2017优化器论文笔记

Marginal Value

练得快,考得差

原始论文

The Marginal Value of Adaptive Gradient Methods in Machine Learning

论文作者

Ashia C. Wilson · Rebecca Roelofs · Mitchell Stern · Nathan Srebro · Benjamin Recht

发表版本
NeurIPS 2017会议
arXiv 首次提交
arXiv:1705.08292
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{optimizersmarginalvalue2017,
  title = {{The Marginal Value of Adaptive Gradient Methods in Machine Learning}},
  author = {Ashia C. Wilson and Rebecca Roelofs and Mitchell Stern and Nathan Srebro and Benjamin Recht},
  year = {2017},
  eprint = {1705.08292},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1705.08292}
}
本页内容

「These results suggest that practitioners should reconsider the use of adaptive methods to train neural networks.」

这是这篇论文摘要的最后一句,建议大家重新考虑要不要用自适应方法训练神经网络。

2017 年 5 月,Adam 才发表两年多,论文自己的引言就写道,它已经是许多深度学习框架里的默认算法。当时流传着两个说法,一是 AdaGrad、RMSProp、Adam 这类自适应方法收敛得快,二是它们几乎不用调参。伯克利的 Ashia Wilson、Rebecca Roelofs、Mitchell Stern、Benjamin Recht 与 TTIC 的 Nathan Srebro 把这两个说法都拿出来检验。

他们先构造了一个简单的分类问题,SGD 在上面的测试错误率是 0,自适应方法却接近一半;接着在图像分类、字符级语言模型与两种句法分析上做实验,结论都是调好的 SGD 赢。

这篇笔记会先拆解那个构造的例子,再看实验和他们的调参方式,最后看两年后另一组人怎么用同一份代码,把差距调到看不见。

定义问题

深度网络的参数量通常远大于训练样本数,能让训练损失降到 0 的解不只一个,而是一大片。优化器最后停在哪一个,取决于它走的路线;不同的解在训练集上一样好,在新数据上却可能差很多。

这篇要问的是,自适应方法和 SGD 在这种情况下会不会挑到不同的解,而挑到的解泛化能力有没有差别。

为了比较,论文先把各种方法写进同一个框架。SGD 直接沿梯度走;自适应方法则在梯度前面乘上一个对角矩阵的逆,

wk+1=wk−αkHk−1∇~f(wk),Hk=diag⁡((∑i=1kηi gi∘gi)1/2)w_{k+1}=w_k-\alpha_k H_k^{-1}\tilde\nabla f(w_k),\qquad H_k=\operatorname{diag}\Big(\big(\textstyle\sum_{i=1}^{k}\eta_i\, g_i\circ g_i\big)^{1/2}\Big)

ηi\eta_i 的选法决定了它是 AdaGrad、RMSProp 还是 Adam,动量项另外加上。SGD 相当于 Hk=IH_k=I,用的是参数空间原本的 ℓ2\ell_2 几何;自适应方法则依照历史梯度,为每个坐标换一把尺子。

解决问题

SGD 会找到最小范数解

先看最简单的情况,用最小二乘法做二分类:

min⁡w 12∥Xw−y∥22,X∈Rn×d, y∈{−1,1}n\min_w\ \tfrac12\|Xw-y\|_2^2,\qquad X\in\mathbb R^{n\times d},\ y\in\{-1,1\}^n

当 d>nd>n,只要有一个解让损失为 0,就有无穷多个。

SGD 的每一个梯度都是 X⊤(⋯ )X^\top(\cdots) 的形式,落在 XX 的行空间里。从 w=0w=0 出发,只用梯度和过去迭代点的线性组合,就永远离不开这个空间。行空间里满足 Xw=yXw=y 的解只有一个,wSGD=X⊤(XX⊤)−1yw_{\text{SGD}}=X^\top(XX^\top)^{-1}y,刚好是所有解里 ℓ2\ell_2 范数最小的那个,也是间隔(margin)最大的那个。

所以 SGD、动量、小批量 SGD、Nesterov,乃至共轭梯度法,最后都会到达同一个点。论文说,梯度下降自然地找到最大间隔解,是一个令人愉快的意外。

自适应方法会找到符号解

自适应方法的分母每个坐标都不一样,就没有行空间这个限制了。一般情况下很难算出它会收敛到哪里,论文挑了一个能算的特例(Lemma 3.1):

若存在标量 cc 使得 Xsign⁡(X⊤y)=cyX\operatorname{sign}(X^\top y)=cy,则从 w0=0w_0=0 出发,AdaGrad、Adam 与 RMSProp 都收敛到唯一的解 w∝sign⁡(X⊤y)w\propto\operatorname{sign}(X^\top y)。

证明的想法很直接。在 ww 与 sign⁡(X⊤y)\operatorname{sign}(X^\top y) 成正比的时候,梯度会和 X⊤yX^\top y 成正比,分母 HkH_k 会和 diag⁡(∣X⊤y∣)\operatorname{diag}(|X^\top y|) 成正比;两者一除,每个坐标的更新量大小都一样,只差在正负号。所以每一步之后,ww 仍然和 sign⁡(X⊤y)\operatorname{sign}(X^\top y) 成正比,归纳下去就得到结论。

换句话说,在这个特例里,自适应方法把每个特征都当成一样重要,每个权重的绝对值都相同。论文的说法是,它们会收敛到 ℓ∞\ell_\infty 范数小的解,SGD 则收敛到 ℓ2\ell_2 范数小的解。

构造一组会让它出错的数据

接着论文设计了一组数据,让这个差别变成测试错误率。

每个样本的标签 yiy_i 以概率 p>1/2p>1/2 是 +1+1,否则是 −1-1。特征向量很长,前三维和后面分开看:

  • 第 1 维就是标签本身,xi1=yix_{i1}=y_i;
  • 第 2、3 维永远是 1;
  • 后面每个样本各有一段只属于自己的特征,正例有 1 个、负例有 5 个,值都是 1。

真正有用的只有第 1 维;第 2、3 维是常数,后面那些特征各自只在一个样本身上出现。它们在训练集上看起来很有区分力,每一个都能「认出」某个样本,但对新样本毫无用处。

这组数据刚好满足 Lemma 3.1 的条件,c=4c=4。我们取 10 个训练样本(6 正、4 负)实际算一遍,从 w=0w=0 出发,梯度下降和 Adam 都把训练损失降到 0,学到的权重如下:

特征SGDAdam
第 1 维(标签)0.7560.25
第 2、3 维(常数)0.0870.25
正例的专属特征0.0700.25
负例的专属特征−0.084−0.25

本文计算。SGD 列是最小范数解,梯度下降迭代到收敛的结果与解析解一致;Adam 列用默认的 β\beta、学习率 10−310^{-3} 迭代两万步,AdaGrad 得到相同的权重。

SGD 把大部分的权重放在第 1 维。Adam 给每个特征一样大的权重,正负号跟着该特征在训练集上和标签的关系走。

现在来一个新样本。它的专属特征是全新的,训练时从没出现过,和 ww 重叠的只有前三维:

  • SGD:分数是 0.756 y+2×0.0870.756\,y+2\times0.087。正例得 0.930.93,负例得 −0.58-0.58,两个都分对。
  • Adam:分数是 0.25 (y+2)0.25\,(y+2)。正例得 0.750.75,负例得 0.250.25,两个都判成正例。

在这组数据上,自适应方法会把每一个没见过的样本都标成正例,测试错误率就是负例的比例 1−p1-p。pp 越接近 1/21/2,错误率越接近一半;SGD 的错误率则是 0。附录还把它写成从固定分布采样的版本,结论相同。

这个例子的维度不必真的无限大,论文说取 6n6n 维就够了,而深度网络的参数量常常是样本数的 25 倍以上。作者的解读是,真实数据里也常有少数几个频繁出现、真正有用的特征,加上大量稀疏的特征;在有限的训练集上,稀疏特征看起来很能区分样本,其实只是过拟合。

照 Lemma 3.1 的机制来看(这是本文的解释),自适应方法的分母来自各坐标自己的历史梯度,很少出现的稀疏特征分母小,相对步伐就大,最后被推到和真正有用的特征一样大的权重,正好放大了这个问题。

这个构造有它的前提。它要求从 w=0w=0 出发、数据满足 Xsign⁡(X⊤y)=cyX\operatorname{sign}(X^\top y)=cy 这种特殊结构,分析时也把分母里的 ϵ\epsilon 去掉了。它证明了「自适应方法可以泛化得很差」,至于神经网络上会不会发生,要看实验。

讨论

实验设置

论文比较两个非自适应方法(SGD、动量固定为 0.9 的 heavy-ball,下称 HB)和三个自适应方法(AdaGrad、RMSProp、Adam),另外加一条完全用默认值的 Adam。四个任务都用网上能找到的代码,尽量不改架构和预处理:

任务模型数据
图像分类VGG+BN+DropoutCIFAR-10
字符级语言模型2 层 LSTM《战争与和平》
判别式句法分析2 层 LSTM+前馈Penn Treebank
生成式句法分析3 层 LSTMPenn Treebank

整理自原论文 Table 2。四套代码用了 Torch、DyNet、TensorFlow 三种框架,前两个任务都是 Torch。

句法分析是把句子拆成由子句、短语与词组成的嵌套树状结构。判别式的做法把建树转成一连串动作的序列预测,用 F1 衡量;生成式的做法把树写成深度优先遍历的序列,当成语言模型来打分,用困惑度衡量。

每个设置从随机初始化跑 5 次。训练的 epoch 数事先固定,有验证集的任务,挑在预算内验证成绩最好的设置;CIFAR-10 没有另外切分验证集,改挑训练损失最低的设置。

调参方式

作者发现影响最大的两个超参数是初始学习率和衰减方式,就只调这两个,其他维持各框架的默认值。

学习率在对数尺度上取 5 个点。如果最好的点落在边界,就往外再加点,直到最好的值在中间;例如试过 2、1、0.5、0.25、0.125 而 2 最好,就再试 4,4 更好就试 8。衰减方式有两种:

  • dev-decay:记录当前最好的验证成绩,某个 epoch 没有刷新,就把学习率乘上 δ\delta;
  • fixed-decay:每 kk 个 epoch 乘一次 δ\delta。

作者建议有验证集时用 dev-decay,它的超参数比较少,结果也不比 fixed-decay 差。附录列了每个方法试过的学习率。以 CIFAR-10 为例,SGD 最好的是 0.5,Adam 最好的是 0.0003,比默认的 0.001 小三倍多。

CIFAR-10

两张 CIFAR-10 的曲线图,横轴是 epoch(0 到 250)。左图是训练错误率:SGD(黑)与 HB(红)呈阶梯状下降,最后约 0.3%;RMSProp 与 Adam 约 1.4%;AdaGrad(蓝)约 4%;默认的 Adam(青)停在 12.5% 左右。右图是测试错误率,标出各方法的最佳值:SGD 7.65±0.14、HB 7.74±0.25、RMSProp 9.60±0.19、Adam 9.78±0.25、AdaGrad 11.34±0.46、默认 Adam 12.02±0.16。
原论文 Figure 1(Wilson 等人),取自 PDF 第 7 页,arXiv 许可,学术引用。

模型是 Torch 博客上的 VGG+BN+Dropout,原本的测试错误率是 7.55%。右图标出每个方法最好的测试错误率,SGD 是 7.65±0.14%7.65\pm0.14\%,自适应方法里最好的 RMSProp 是 9.60±0.19%9.60\pm0.19\%,调过的 Adam 是 9.78±0.25%9.78\pm0.25\%,默认 Adam 是 12.02±0.16%12.02\pm0.16\%。

顺着时间看更有意思。前 50 个 epoch,自适应方法的训练错误率明显领先,测试错误率则和 SGD、HB 不相上下。大约从第 50 个 epoch 开始,自适应方法的训练错误率还比较低,SGD 和 HB 的测试错误率却已经开始领先;到第 100 个 epoch,SGD 和 HB 在训练与测试上都赢了。左图 SGD 和 HB 每 25 个 epoch 往下跳一阶,那是学习率衰减;两年后重跑这组实验的 Choi 等人记下的设置,是每 25 个 epoch 把学习率乘以 0.5。自适应方法的曲线在同样的位置平缓得多。

作者也试过给自适应方法加大学习率。前 50 个 epoch 确实会进步,但后面停滞得更严重,换什么衰减方式都救不回来。

三个语言任务

六张曲线图,左列是训练集、右列是验证或测试集。第一行是《战争与和平》字符级语言模型,200 个 epoch,测试损失最佳值:SGD 1.212、RMSProp 1.214、HB 1.218、Adam 1.229、AdaGrad 1.233、默认 Adam 1.269。第二行是判别式句法分析,50 个 epoch,验证 F1 最佳值:SGD 91.24、HB 91.16、Adam 91.11(第 6 个 epoch 就达到)、默认 Adam 90.79、AdaGrad 90.18;默认 Adam 的训练 F1 最高。第三行是生成式句法分析,100 个 epoch,验证困惑度最佳值:SGD 5.09、HB 5.13、AdaGrad 5.24、RMSProp 5.28、Adam 5.35、默认 Adam 5.47;Adam 的训练困惑度属于最低的一组。
原论文 Figure 2(Wilson 等人),取自 PDF 第 9 页,arXiv 许可,学术引用。

每一行左边是训练集,右边是验证或测试集,标注的是每个方法的最佳值。

  1. 字符级语言模型(第一行)。用 torch-rnn 在《战争与和平》全文上训练 200 个 epoch。SGD 的测试损失最低,1.212±0.0011.212\pm0.001;RMSProp 以 1.214±0.0051.214\pm0.005 紧随其后,作者特别说明,这证明了自适应方法并非不可能找到泛化好的解。fixed-decay 的搜索还有一个发现,除了 AdaGrad,所有方法最好的设置都是在训练进行到 60% 或 80% 时才一次把学习率除以 10。
  2. 判别式句法分析(第二行)。Cross 与 Huang 的分析器,在 Penn Treebank 上训练 50 个 epoch,dev-decay 的 δ=0.9\delta=0.9;当时的 DyNet 没有 RMSProp。SGD 的验证 F1 最好,91.24,HB 与 Adam 紧追在后。Adam 只花 6 个 epoch 就达到它的最佳值 91.11,SGD 要 18 个 epoch 才追上这个数字,31 个 epoch 才到 91.24。之后 Adam 在训练集上继续进步,验证成绩却往下掉。
  3. 生成式句法分析(第三行)。Choe 与 Charniak 的模型,为了节省计算,把 LSTM 的隐藏维度从 1500 降到 500,dropout 从 0.7 降到 0.5,训练 100 个 epoch。SGD 的验证困惑度最好,5.09;Adam 的训练曲线属于最好的一组,验证困惑度却是调过的方法里最差的,5.35。

四个任务归纳起来是四点:

  1. 自适应方法找到的解,泛化比非自适应方法差。
  2. 就算训练损失一样低甚至更低,自适应方法的验证或测试成绩还是比较差。
  3. 自适应方法一开始在训练集上进步得快,但验证成绩很快就停住。
  4. 调学习率和衰减,对 Adam 的改善在每个任务上都很明显。默认值的 Adam 在四张图上都垫底或接近垫底,「Adam 不用调」的说法站不住。

作者在结论里说,他们不太确定 Adam 为什么还这么受欢迎。和其他研究者聊过之后的猜测是,Adam 在 GAN 与搭配函数近似的 Q-learning 上特别流行,而这两者严格来说都不是在解优化问题,Adam 的动态也许刚好适合它们。

调好 ϵ\epsilon 再比一次

两年后,多伦多大学与 Google Brain 的 Dami Choi、Christopher Shallue、George Dahl 等人在〈On Empirical Comparisons of Optimizers for Deep Learning〉里回应了这篇论文。

他们的出发点是优化器之间的包含关系。动量设成 0 就是 SGD,所以调到最好的动量不可能输给调到最好的 SGD。Adam 也能模仿动量。把 β2\beta_2 设成 0、ϵ\epsilon 调得很大,分母 v^t+ϵ\sqrt{\hat v_t}+\epsilon 几乎就是常数 ϵ\epsilon,再配合学习率的调度抵消偏差修正,Adam 的更新就变成带动量的 SGD。所以只要所有超参数都调,Adam 不该比动量差。

Wilson 等人只调了学习率和衰减,ϵ\epsilon 维持各框架的默认值;构造的例子在分析时也把 ϵ\epsilon 去掉了。Choi 等人拿 Wilson 等人公开的 CIFAR-10 代码重跑:

  • 照原本的做法只扫学习率,重现了 RMSProp 和 Adam 比较差的结果;
  • 用随机搜索多调动量相关参数和 ϵ\epsilon,SGD、动量、RMSProp、Adam 四者的测试错误率几乎一样;
  • 换成他们自己的代码并搜索学习率调度,四者也落在误差范围内。

他们也注意到 Wilson 等人在 CIFAR-10 上是用训练损失挑设置,改成用验证集挑,结论不变。ϵ\epsilon 这个参数的影响比想象中大,他们在四个任务上找到的最佳 ϵ\epsilon 横跨 10 个数量级。

两篇论文的结论怎么放在一起看,Choi 等人自己给了说法。如果把「默认 ϵ\epsilon 的 Adam」和「调过 ϵ\epsilon 的 Adam」看成两个不同的优化器,结论就没有矛盾。这里要多想一步,ϵ\epsilon 调大的 Adam,分母的自适应效果也被冲淡了,越来越接近动量 SGD。Choi 等人在 Wilson 的代码上为 Adam 调 ϵ\epsilon,最后的搜索范围落在 10610^{6} 到 101010^{10},比梯度的尺度大了好几个数量级,分母几乎就是常数。所以两篇合起来可以这样读,默认设置下的自适应更新确实可能泛化较差,而把 Adam 调到不输 SGD 的那组超参数,有一部分正是让它变得没那么自适应。

其他的回应

同一时期还有几条路线,从不同角度处理这个差距。

  • 把权重衰减写对。 2017 年 11 月,Loshchilov 与 Hutter 引用这篇论文,认为 Adam 泛化差的一大原因是 L2 正则化在 Adam 里没有发挥作用,提出了 AdamW。
  • 后段换成 SGD。 Keskar 与 Socher 的 SWATS 先用 Adam 训练,在某个条件触发时切换到 SGD;AdaBound 则让 Adam 每个参数的学习率被一个逐步收窄的上下界夹住,从 Adam 平滑过渡到 SGD。
  • 大规模重新比较。 Schmidt 等人用超过五万次训练比较 15 种优化器,没有一种在所有任务上明显胜出,Adam 仍然是很强的选择。

另一个反方向的发展是 Transformer。Choi 等人在 LM1B 的 Transformer 语言模型上就看到明显的排名,Adam 达到目标错误率所需的步数只有动量的 60%,达到同样的最终结果只需 SGD 的 25%。Zhang 等人 2019 年认为,注意力模型的梯度噪声呈重尾分布,是 SGD 表现差的原因之一;Kunstner 等人 2023 年则把批量一路加大到整个数据集,发现噪声减少时 Adam 进步得比 SGD 多,差距并没有因此缩小。这篇论文的实验停在 2017 年的 CNN 与 LSTM,它的结论不能直接外推到这类模型。

结论

这篇论文用一个构造的例子证明,在过度参数化的问题上,自适应方法和 SGD 会走到不同的解;在特定的数据结构下,自适应方法学到的解可以把新数据错判一半,SGD 则完全正确。四个实验里,只调学习率与衰减时,SGD 和 HB 的测试成绩都比较好,默认值的 Adam 更是明显落后。两年后 Choi 等人重跑同一份代码,把 ϵ\epsilon 等超参数一起调,CIFAR-10 上的差距就消失了。

读优化器比较的论文时,先找调参的那一段,看调了哪些超参数、各调了几组、用什么挑设置。自己做比较也一样,Adam 至少要调学习率、学习率调度和 ϵ\epsilon,并像这篇的附录那样,把每个方法实际试过的网格写出来。

Choi 等人在 ImageNet 上训练 ResNet-50,最好的那组 NAdam,ϵ\epsilon 是 9475。这个原本只用来避免除以零的常数,在 Wilson 等人的网格里根本没有位置。