返回论文笔记资料库
arXiv 2017优化器论文笔记

Large Minibatch SGD

一小时速成班

原始论文

Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour

论文作者

Priya Goyal · Piotr Dollár · Ross Girshick …

查看全部 9 位作者

Priya Goyal · Piotr Dollár · Ross Girshick · Pieter Noordhuis · Lukasz Wesolowski · Aapo Kyrola · Andrew Tulloch · Yangqing Jia · Kaiming He

发表版本
正式发表信息尚未核实
arXiv 首次提交
arXiv:1706.02677
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{optimizerslargeminibatchsgd2017,
  title = {{Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour}},
  author = {Priya Goyal and Piotr Dollár and Ross Girshick and Pieter Noordhuis and Lukasz Wesolowski and Aapo Kyrola and Andrew Tulloch and Yangqing Jia and Kaiming He},
  year = {2017},
  eprint = {1706.02677},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1706.02677}
}
本页内容

用 8 张 Tesla P100 训练 ResNet-50,批量大小(batch size)256,跑完 ImageNet 的 90 个 epoch 要 29 个小时。

2017 年 6 月,Facebook 的团队把同一个模型搬到 256 张 GPU 上,批量大小调成 8,192,一个小时就训练完,验证集 top-1 误差和原本只差 0.14 个百分点。作者名单里有 Ross Girshick、Piotr Dollár、何恺明,也有 Caffe 的作者贾扬清。

GPU 多了 32 倍,时间短了 29 倍,看起来像是硬件堆出来的成绩。这篇技术报告花最多篇幅交代的,是硬件以外的部分,包括批量变成 32 倍时学习率要怎么调、训练一开始为什么会出事、BatchNorm 要怎么算,以及几个写错了也照样能跑、只是结果会变差的实现细节。

定义问题

同步的分布式 SGD 里,kk 个 worker(这篇就是 kk 张 GPU)各拿 nn 条数据算梯度,把梯度加总之后,大家用同一个结果更新参数。每一步看到的数据就是 knkn 条。

要让每张卡都有事做,nn 不能太小,于是 GPU 越多,总批量就越大。同样跑 90 个 epoch,批量大 32 倍,更新次数就少了 32 倍。

当时大批量的名声不太好。Krizhevsky 在 2014 年用过学习率随批量线性放大的做法,但批量从 128 加到 1,024 时,误差多了 1 个百分点。Keskar 等人(2017)则主张大批量会收敛到尖锐的极小值,泛化变差。也有人在 5,120 的批量上没有损失准确率,但没有给出不用搜索超参数的调整规则。

这篇想回答的是,批量从 256 一路放大,能不能只靠一条简单的规则、不重新调任何超参数,就保住小批量的准确率?如果不行,问题出在哪里?

解决问题

线性缩放规则

作者的规则只有一句,批量乘上 kk,学习率也乘上 kk。权重衰减等其他超参数一律不动。

为什么是乘 kk?我们拿 k=2k = 2 走一遍。小批量的 SGD 一步是:

wt+1=wt−η1n∑x∈B∇l(x,wt)w_{t+1} = w_t - \eta \frac{1}{n}\sum_{x \in \mathcal{B}} \nabla l(x, w_t)

用两个小批量 B0\mathcal{B}_0、B1\mathcal{B}_1 连走两步,第二步的梯度是在 wt+1w_{t+1} 上算的:

wt+2=wt−η1n[∑x∈B0∇l(x,wt)+∑x∈B1∇l(x,wt+1)]w_{t+2} = w_t - \eta \frac{1}{n}\left[\sum_{x \in \mathcal{B}_0} \nabla l(x, w_t) + \sum_{x \in \mathcal{B}_1} \nabla l(x, w_{t+1})\right]

把两个小批量合成一个大小为 2n2n 的大批量,只走一步,学习率是 η^\hat\eta:

w^t+1=wt−η^12n[∑x∈B0∇l(x,wt)+∑x∈B1∇l(x,wt)]\hat w_{t+1} = w_t - \hat\eta \frac{1}{2n}\left[\sum_{x \in \mathcal{B}_0} \nabla l(x, w_t) + \sum_{x \in \mathcal{B}_1} \nabla l(x, w_t)\right]

两式只差在两个地方,一是第二个小批量的梯度算在 wt+1w_{t+1} 还是 wtw_t,二是前面的系数。如果参数走一步之后梯度变化不大,也就是 ∇l(x,wt+1)≈∇l(x,wt)\nabla l(x, w_{t+1}) \approx \nabla l(x, w_t),两式要相等,就得让 η^/2n=η/n\hat\eta / 2n = \eta / n,也就是 η^=2η\hat\eta = 2\eta。推广到 kk 个小批量,就是论文的式 (3)(4) 与 η^=kη\hat\eta = k\eta。

作者自己也说这是很强的假设,并指出至少有两种情况它显然不成立。第一是训练刚开始,网络变化很快,相邻几步的梯度差很多。第二是批量不能无限放大;结果在很大的范围内都稳定,但过了某个点,准确率会迅速变差,在 ImageNet 上这个点大约是 8k。

第一种情况,就交给预热处理。

预热

先前的 ResNet 论文用过常数预热,前几个 epoch 先用一个小的固定学习率。作者试着在 8k 的批量上照做,前 5 个 epoch 用 η=0.1\eta = 0.1,之后直接跳到 3.23.2,结果发现不够用,从低学习率切出来的那一刻,训练误差会突然飙升。

于是他们改用渐进预热(gradual warmup),从 η\eta 开始,每一步加一个固定的量,5 个 epoch 后刚好到达 kηk\eta,之后再接回原本的调度。

我们算一下批量 8k 的情况。ImageNet 训练集约 128 万张,一个 epoch 约 156 步,5 个 epoch 约 780 步。学习率要从 0.1 爬到 3.2,每一步大约加 0.004。作者也提到,结果对预热长度并不敏感。

BatchNorm 的批量

BatchNorm 会在一个批量里算均值与方差,所以每条数据的损失不再只跟自己有关,也跟同一批的其他数据有关。作者在式 (5) 把这件事写清楚。有了 BN,训练集可以想成「所有大小为 nn 的子集」,每个子集才是一个独立的样本。

这意味着 BN 的批量大小 nn 是损失函数定义的一部分。nn 一变,BN 统计量的随机程度就跟着变,优化的目标也就换了一个。所以作者固定每个 worker 的 n=32n = 32,增加 GPU 时只增加 kk;BN 的统计量也在每个 worker 内各自计算,不跨 worker 同步。这样做省了通信,更重要的是让不同批量大小的实验优化的是同一个目标。原文还特别说,如果要改 nn,应该把它当作 BN 的超参数来调,而不是分布式训练的参数。

四个实现陷阱

第 3 节列了四个「写错了也能训练,只是误差比预期高」的细节,每个都整理成一条 Remark。

权重衰减。 权重衰减其实是损失里 L2 项的梯度。把每条数据的损失写成 l(x,w)=λ2∥w∥2+ε(x,w)l(x, w) = \frac{\lambda}{2}\|w\|^2 + \varepsilon(x, w),SGD 更新就变成式 (8):

wt+1=wt−ηλwt−η1n∑x∈B∇ε(x,wt)w_{t+1} = w_t - \eta\lambda w_t - \eta\frac{1}{n}\sum_{x\in\mathcal{B}}\nabla\varepsilon(x, w_t)

实践中反向传播只算交叉熵那一项,λwt\lambda w_t 是另外加上去的。所以把交叉熵损失乘上 kk,只会放大后面那一项,权重衰减那一项没动,效果和把学习率乘上 kk 不一样。这就是 Remark 1,缩放交叉熵损失和缩放学习率是两回事。

动量修正。 动量 SGD 有两种常见写法。参考写法是式 (9),动量缓冲区 uu 只累积梯度,学习率在更新参数时才乘:

ut+1=mut+1n∑x∈B∇l(x,wt),wt+1=wt−η ut+1u_{t+1} = m u_t + \frac{1}{n}\sum_{x\in\mathcal{B}}\nabla l(x, w_t), \qquad w_{t+1} = w_t - \eta\, u_{t+1}

另一种写法是式 (10),把学习率吸收进缓冲区,令 vt=ηutv_t = \eta u_t:

vt+1=mvt+η1n∑x∈B∇l(x,wt),wt+1=wt−vt+1v_{t+1} = m v_t + \eta\frac{1}{n}\sum_{x\in\mathcal{B}}\nabla l(x, w_t), \qquad w_{t+1} = w_t - v_{t+1}

学习率固定时,两者完全等价。学习率一改变就不同了。vv 里面存的是旧学习率乘过的历史,要和式 (9) 保持一致,更新时得先把它乘上 ηt+1/ηt\eta_{t+1}/\eta_t,作者称这个比值为动量修正。作者发现,学习率大幅拉高(ηt+1≫ηt\eta_{t+1} \gg \eta_t)时如果不修正,历史项会偏小,训练就不稳定;学习率下降时,这个修正没那么关键。这就是 Remark 2,用式 (10) 的写法时,改了学习率就要做动量修正。

梯度聚合。 正确的大批量梯度,是把 knkn 条数据的梯度加总后除以 knkn。每个 worker 的损失层通常已经对自己的 nn 条取平均,而 allreduce 做的是加总,不是平均,所以还少了一个 1/k1/k。作者建议直接把这个 1/k1/k 放进损失里,只缩放损失对输入的梯度,省得再去缩放整个梯度向量。这就是 Remark 3,每个 worker 的损失要除以总批量 knkn,而不是除以自己的 nn。原文也提醒,用「学习率不乘 kk、损失只除以 nn」来互相抵消是错的,权重衰减会跟着算错,原因就是 Remark 1。

数据洗牌。 SGD 的理论假设每次都随机采样,实现上则是每个 epoch 把训练集洗一次牌。为了和用洗牌的基准公平比较,每个 epoch 只产生一份随机排列,再切成 kk 份分给各个 worker。这是 Remark 4。各 worker 自己洗牌、互不协调,行为可能明显不同,会污染实验结论。

通信

要超过一台服务器的 8 张卡,梯度就得通过网络聚合。不同层的梯度之间没有数据依赖,所以某一层的梯度一算好就开始 allreduce,同时继续算下一层,让通信藏在反向传播后面。

allreduce 分三段,先在服务器内把 8 张卡的缓冲区加起来,再跨服务器加总,最后广播回每张卡。跨服务器的部分,作者实现了 recursive halving/doubling 与 ring 两种算法;在 32 台服务器(256 张卡)上,前者比后者快 3 倍。这些都放在 Facebook 开源的 Gloo 里,搭配 Caffe2 运行。

硬件是 Facebook 的 Big Basin 服务器,每台 8 张 P100,用 NVLink 互连,服务器之间是普通的 50 Gbit 以太网。作者估算过带宽。ResNet-50 约 2,500 万参数,也就是 100 MB;单张 P100 的反向传播约 120 毫秒;allreduce 的网络流量约是数据量的 2 倍,所以峰值需要 200 MB / 0.125 s = 1,600 MB/s,约 12.8 Gbit/s,加上额外开销约 15 Gbit/s,50 Gbit 够用。

讨论

实验设置

主要基准是 ImageNet-1k 的 top-1 验证误差。模型是 fb.resnet.torch 版的 ResNet-50(stride 2 放在 3×3 卷积上),Nesterov 动量 0.9,权重衰减 0.0001、不作用于 BN 的 γ\gamma 与 β\beta。所有批量大小都训练 90 个 epoch,参考学习率 η=0.1⋅kn/256\eta = 0.1 \cdot kn/256,在第 30、60、80 个 epoch 各除以 10;k=8k = 8、n=32n = 32 时就是原本的 0.1。

初始化还有一个细节,每个残差块最后一个 BN 的 γ\gamma 初始化为 0,让信号一开始只走捷径。作者发现这对所有模型都有帮助,对大批量尤其明显。

随机性也照顾到了。每个模型取最后 5 个 epoch 误差的中位数,再报告 5 次独立训练的平均与标准差。基准(批量 256)的误差是 23.60% ± 0.12。批量 12k 以上受限于硬件,是在单台服务器上用梯度累积模拟的;作者表示已验证过结果和真正的分布式训练等价。

三种预热

原论文 Figure 2 的三张训练误差曲线,横轴是 0 到 90 个 epoch,纵轴是训练误差 20% 到 100%。橙线是批量 256、学习率 0.1 的基准,蓝线是批量 8k、学习率 3.2。(a) 不预热:蓝线全程都在橙线上方,最后验证误差 24.84% ± 0.37。(b) 常数预热:蓝线在前几个 epoch 冲到接近 100%,之后一直没追上橙线,验证误差 25.88% ± 0.56。(c) 渐进预热:蓝线起点较高,大约 20 个 epoch 后就和橙线重叠,验证误差 23.74% ± 0.09。
原论文 Figure 2(Goyal 等人),取自 PDF 第 8 页,arXiv 许可,学术引用。

三张图的橙线都是批量 256 的基准,蓝线是批量 8k、学习率 3.2。图例里的百分比是验证误差。

  • 不预热(a):蓝线从头到尾都在橙线上面。最后的训练误差高了约 2.1 个百分点,验证误差也高了约 1.2 个百分点(24.84%)。作者据此判断,验证误差变高主要来自训练误差,而不是过拟合。
  • 常数预热(b):前 5 个 epoch 的低学习率确实能让误差下降,但一切到 3.2,误差立刻飙升,之后再也没有完全追上,验证误差反而最差(25.88%)。
  • 渐进预热(c):蓝线一开始因为学习率小而偏高,大约 20 个 epoch 后就和橙线重合,验证误差 23.74%,和基准只差 0.14 个百分点,而标准差本身就约 0.1。

连训练曲线都对得上,是这篇反复强调的一点。作者据此主张,大批量的困难主要在优化,只要训练误差追得上,在这个范围内看不到泛化变差的迹象。

8k 是天花板

原论文 Figure 1,横轴是批量大小,从 64 到 64k,纵轴是 ImageNet top-1 验证误差 20% 到 40%。从 64 到 8k,误差都稳定在约 23.5%;之后开始上升,16k 约 24.8%、32k 约 27.6%、64k 约 34%,阴影代表正负两个标准差,在 64k 时明显变宽。
原论文 Figure 1(Goyal 等人),取自 PDF 第 1 页,arXiv 许可,学术引用。

所有批量都用线性缩放规则,大于 256 的批量再加上 5 个 epoch 的渐进预热。从 64 到 8k,误差几乎是一条水平线;过了 8k 开始上升,16k 是 24.79%、32k 是 27.55%、64k 是 33.96%。再往上,线性规则的训练直接发散。

训练曲线也看得出区别。

原论文 Figure 3 的最下排三张训练误差曲线,橙线都是批量 256 的基准。左边批量 16k、学习率 6.4,蓝线前 30 个 epoch 明显偏高,之后接近但仍略高;中间 32k、学习率 12.8,蓝线全程在橙线上方约 5 个百分点以上;右边 64k、学习率 25.6,蓝线在前 30 个 epoch 都停在 80% 以上,最后仍比橙线高十几个百分点。
原论文 Figure 3(Goyal 等人),取自 PDF 第 8 页,arXiv 许可,学术引用。只截取最下排的 16k、32k、64k。

批量在 8k 以内时,除了预热那段,训练曲线都和基准叠在一起。到了 16k 以上,两条线在整个训练过程中都有明显的落差。作者因此建议,比较新设置时可以把训练曲线当作早期指标,曲线对不上,最后的验证误差多半也对不上。

ResNet-101 的情况差不多。批量 8k 的误差是 22.36%,比批量 256 的 22.08% 高 0.28 个百分点,作者认为 8k 对 ResNet-101 也已经在边缘;用 256 张 P100 训练需要 92.5 分钟。

天花板会不会随着数据变多而升高?作者换成 ImageNet-5k,用 ImageNet-22k 补了 4,000 类,总共 680 万张,约为原本的 5 倍,仍然在 ImageNet-1k 的验证集上评估 1,000 类分类。误差曲线的形状和 ImageNet-1k 几乎一样,批量 8k 只比 256 高 0.26 个百分点(25.83% 到 26.09%),转折点没有往后移。数据多了 5 倍,能用的批量并没有跟着变大。

其他缩放规则

线性规则是不是刚好最好?作者在 256 和 8k 两种批量下各试了几种学习率:

批量学习率 ηtop-1 误差
2560.0523.92
2560.1023.60
2560.2023.68
8k0.05 · 3224.27
8k0.10 · 3223.74
8k0.20 · 3224.05
8k0.1041.67
8k0.10 · √3226.22

整理自原论文 Table 2a;ResNet-50,5 次训练的平均(%)。

批量 256 的最佳值是 0.1,批量 8k 的最佳值是 0.1 × 32 = 3.2,正好是线性规则给的答案。学习率不跟着放大(0.10)时,误差高达 41.67%。Krizhevsky 从梯度估计的标准差推导出平方根规则,用 0.1⋅320.1\cdot\sqrt{32},搭配同样的渐进预热,误差仍是 26.22%。

批量 8k 对学习率也比批量 256 敏感。乘数从 0.1 改成 0.05 或 0.2,批量 256 只差 0.1 到 0.3 个百分点,批量 8k 差了 0.3 到 0.5 个百分点。作者的建议是,实际使用时,批量不要选在接近崩溃点的地方。

残差块的 γ = 0

把每个残差块最后一个 BN 的 γ\gamma 初始化为 0,批量 256 从 23.84% 降到 23.60%,批量 8k 从 24.11% 降到 23.74%;大批量受益较多,作者认为这也说明大批量更容易受优化困难影响。这一招后来进了 torchvision,ResNet 的构造函数有一个 zero_init_residual 参数,代码注释就引用这篇论文,写着能改善 0.2 到 0.3 个百分点。

迁移到检测与分割

ImageNet 的准确率通常不是最终目的,预训练的特征能不能用在其他任务,才是大家在意的。作者把批量 256 到 16k 预训练的 ResNet-50 拿去初始化 Mask R-CNN,在 COCO 上做目标检测与实例分割。每种批量预训练 5 个模型,一共训练 35 个 Mask R-CNN,其余超参数全照 Mask R-CNN 原论文。

预训练批量top-1 误差box APmask AP
25623.6035.933.9
1k23.5335.933.9
4k23.5635.833.8
8k23.7435.833.9
16k24.7935.133.2

整理自原论文 Table 3a,节选部分行;COCO minival,5 次的平均(%)。

只要 ImageNet 误差维持住(8k 以内),检测与分割的 AP 几乎完全一样;16k 的 ImageNet 误差变高,COCO 的 AP 也跟着掉了 0.7 到 0.8 个百分点。

线性规则本身也能用在 Mask R-CNN 上。Mask R-CNN 的批量概念和分类不同,骨干网络每张卡处理 2 张图像,每张图像再取 512 个 RoI 去算分类、边界框回归与掩码三种损失。作者用 1、2、4、8 张卡训练,学习率依卡数线性放大(0.0025 到 0.02),box AP 介于 35.6 到 35.7、mask AP 介于 33.5 到 33.7,几乎没有区别。原文也提到,Mask R-CNN 用 8 张卡的默认设置,本来就默默套用了这条规则。

跑多快

批量从 256 加到 11k(44 倍),每一步的时间只多了 12%;换算成每个 epoch,从 16 分钟以上降到约 30 秒,这时用的是 352 张卡(44 台服务器)。和 8 卡基准的理想外推相比,从 8 张卡扩展到 256 张卡的效率约 90%,而且用的是普通的以太网。

后来的事

8k 这个天花板很快就被挑战了。两个月后,You 等人在 LARS 的论文摘要里直说,线性缩放加预热这套做法不够通用,训练可能发散;他们改成逐层调整学习率,把 ResNet-50 的批量推到 32k。

Shallue 等人(JMLR 2019)则在 35 个工作负载上系统地测量批量大小与训练步数的关系,发现「批量加倍、步数减半」的完美缩放区间在不同任务之间差异极大,最佳学习率也不一定照线性或平方根规则变化;他们同时没有找到大批量会损害泛化的证据。对照起来,线性缩放规则比较适合当成完美缩放区间内的经验法则,超出那个范围就得重新调参。

预热则留了下来,而且用到了大批量以外的地方。Transformer 搭配 Adam 几乎都要预热,后来 Pre-LN 与 RAdam 对此各自提出了解释。

结论

这篇靠三件事把 ResNet-50 的批量从 256 推到 8k,分别是学习率随批量线性放大、前 5 个 epoch 渐进预热,以及 BN 在每张卡上用固定的 32 条数据计算。批量 8k 的误差 23.74%,和批量 256 的 23.60% 相差在标准差附近,训练曲线也对得上,检测与分割的迁移效果没有变差;过了 8k,同一套做法就开始失效。

真的要从 1 张卡换到 8 张卡时,这篇最实用的反而是第 3 节。学习率照卡数放大、加上预热之后,还要确认损失除的是总批量还是单卡批量,放大的是学习率还是只是损失(后者会让权重衰减失准),以及框架的动量缓冲区有没有把学习率乘进去。这几个地方写错,模型照样会收敛,只是误差高一点,很难察觉。

五个月后,Preferred Networks 的论文标题叫〈Extremely Large Minibatch SGD: Training ResNet-50 on ImageNet in 15 Minutes〉,用了 1,024 张 P100 和 32k 的批量。(标题几乎照抄,Accurate 换成了 Extremely,1 Hour 换成了 15 Minutes。)