Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour
- 发表版本
- 正式发表信息尚未核实
- arXiv 首次提交
- arXiv:1706.02677
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{optimizerslargeminibatchsgd2017,
title = {{Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour}},
author = {Priya Goyal and Piotr Dollár and Ross Girshick and Pieter Noordhuis and Lukasz Wesolowski and Aapo Kyrola and Andrew Tulloch and Yangqing Jia and Kaiming He},
year = {2017},
eprint = {1706.02677},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1706.02677}
}
用 8 张 Tesla P100 训练 ResNet-50,批量大小(batch size)256,跑完 ImageNet 的 90 个 epoch 要 29 个小时。
2017 年 6 月,Facebook 的团队把同一个模型搬到 256 张 GPU 上,批量大小调成 8,192,一个小时就训练完,验证集 top-1 误差和原本只差 0.14 个百分点。作者名单里有 Ross Girshick、Piotr Dollár、何恺明,也有 Caffe 的作者贾扬清。
GPU 多了 32 倍,时间短了 29 倍,看起来像是硬件堆出来的成绩。这篇技术报告花最多篇幅交代的,是硬件以外的部分,包括批量变成 32 倍时学习率要怎么调、训练一开始为什么会出事、BatchNorm 要怎么算,以及几个写错了也照样能跑、只是结果会变差的实现细节。
定义问题
同步的分布式 SGD 里, 个 worker(这篇就是 张 GPU)各拿 条数据算梯度,把梯度加总之后,大家用同一个结果更新参数。每一步看到的数据就是 条。
要让每张卡都有事做, 不能太小,于是 GPU 越多,总批量就越大。同样跑 90 个 epoch,批量大 32 倍,更新次数就少了 32 倍。
当时大批量的名声不太好。Krizhevsky 在 2014 年用过学习率随批量线性放大的做法,但批量从 128 加到 1,024 时,误差多了 1 个百分点。Keskar 等人(2017)则主张大批量会收敛到尖锐的极小值,泛化变差。也有人在 5,120 的批量上没有损失准确率,但没有给出不用搜索超参数的调整规则。
这篇想回答的是,批量从 256 一路放大,能不能只靠一条简单的规则、不重新调任何超参数,就保住小批量的准确率?如果不行,问题出在哪里?
解决问题
线性缩放规则
作者的规则只有一句,批量乘上 ,学习率也乘上 。权重衰减等其他超参数一律不动。
为什么是乘 ?我们拿 走一遍。小批量的 SGD 一步是:
用两个小批量 、 连走两步,第二步的梯度是在 上算的:
把两个小批量合成一个大小为 的大批量,只走一步,学习率是 :
两式只差在两个地方,一是第二个小批量的梯度算在 还是 ,二是前面的系数。如果参数走一步之后梯度变化不大,也就是 ,两式要相等,就得让 ,也就是 。推广到 个小批量,就是论文的式 (3)(4) 与 。
作者自己也说这是很强的假设,并指出至少有两种情况它显然不成立。第一是训练刚开始,网络变化很快,相邻几步的梯度差很多。第二是批量不能无限放大;结果在很大的范围内都稳定,但过了某个点,准确率会迅速变差,在 ImageNet 上这个点大约是 8k。
第一种情况,就交给预热处理。
预热
先前的 ResNet 论文用过常数预热,前几个 epoch 先用一个小的固定学习率。作者试着在 8k 的批量上照做,前 5 个 epoch 用 ,之后直接跳到 ,结果发现不够用,从低学习率切出来的那一刻,训练误差会突然飙升。
于是他们改用渐进预热(gradual warmup),从 开始,每一步加一个固定的量,5 个 epoch 后刚好到达 ,之后再接回原本的调度。
我们算一下批量 8k 的情况。ImageNet 训练集约 128 万张,一个 epoch 约 156 步,5 个 epoch 约 780 步。学习率要从 0.1 爬到 3.2,每一步大约加 0.004。作者也提到,结果对预热长度并不敏感。
BatchNorm 的批量
BatchNorm 会在一个批量里算均值与方差,所以每条数据的损失不再只跟自己有关,也跟同一批的其他数据有关。作者在式 (5) 把这件事写清楚。有了 BN,训练集可以想成「所有大小为 的子集」,每个子集才是一个独立的样本。
这意味着 BN 的批量大小 是损失函数定义的一部分。 一变,BN 统计量的随机程度就跟着变,优化的目标也就换了一个。所以作者固定每个 worker 的 ,增加 GPU 时只增加 ;BN 的统计量也在每个 worker 内各自计算,不跨 worker 同步。这样做省了通信,更重要的是让不同批量大小的实验优化的是同一个目标。原文还特别说,如果要改 ,应该把它当作 BN 的超参数来调,而不是分布式训练的参数。
四个实现陷阱
第 3 节列了四个「写错了也能训练,只是误差比预期高」的细节,每个都整理成一条 Remark。
权重衰减。 权重衰减其实是损失里 L2 项的梯度。把每条数据的损失写成 ,SGD 更新就变成式 (8):
实践中反向传播只算交叉熵那一项, 是另外加上去的。所以把交叉熵损失乘上 ,只会放大后面那一项,权重衰减那一项没动,效果和把学习率乘上 不一样。这就是 Remark 1,缩放交叉熵损失和缩放学习率是两回事。
动量修正。 动量 SGD 有两种常见写法。参考写法是式 (9),动量缓冲区 只累积梯度,学习率在更新参数时才乘:
另一种写法是式 (10),把学习率吸收进缓冲区,令 :
学习率固定时,两者完全等价。学习率一改变就不同了。 里面存的是旧学习率乘过的历史,要和式 (9) 保持一致,更新时得先把它乘上 ,作者称这个比值为动量修正。作者发现,学习率大幅拉高()时如果不修正,历史项会偏小,训练就不稳定;学习率下降时,这个修正没那么关键。这就是 Remark 2,用式 (10) 的写法时,改了学习率就要做动量修正。
梯度聚合。 正确的大批量梯度,是把 条数据的梯度加总后除以 。每个 worker 的损失层通常已经对自己的 条取平均,而 allreduce 做的是加总,不是平均,所以还少了一个 。作者建议直接把这个 放进损失里,只缩放损失对输入的梯度,省得再去缩放整个梯度向量。这就是 Remark 3,每个 worker 的损失要除以总批量 ,而不是除以自己的 。原文也提醒,用「学习率不乘 、损失只除以 」来互相抵消是错的,权重衰减会跟着算错,原因就是 Remark 1。
数据洗牌。 SGD 的理论假设每次都随机采样,实现上则是每个 epoch 把训练集洗一次牌。为了和用洗牌的基准公平比较,每个 epoch 只产生一份随机排列,再切成 份分给各个 worker。这是 Remark 4。各 worker 自己洗牌、互不协调,行为可能明显不同,会污染实验结论。
通信
要超过一台服务器的 8 张卡,梯度就得通过网络聚合。不同层的梯度之间没有数据依赖,所以某一层的梯度一算好就开始 allreduce,同时继续算下一层,让通信藏在反向传播后面。
allreduce 分三段,先在服务器内把 8 张卡的缓冲区加起来,再跨服务器加总,最后广播回每张卡。跨服务器的部分,作者实现了 recursive halving/doubling 与 ring 两种算法;在 32 台服务器(256 张卡)上,前者比后者快 3 倍。这些都放在 Facebook 开源的 Gloo 里,搭配 Caffe2 运行。
硬件是 Facebook 的 Big Basin 服务器,每台 8 张 P100,用 NVLink 互连,服务器之间是普通的 50 Gbit 以太网。作者估算过带宽。ResNet-50 约 2,500 万参数,也就是 100 MB;单张 P100 的反向传播约 120 毫秒;allreduce 的网络流量约是数据量的 2 倍,所以峰值需要 200 MB / 0.125 s = 1,600 MB/s,约 12.8 Gbit/s,加上额外开销约 15 Gbit/s,50 Gbit 够用。
讨论
实验设置
主要基准是 ImageNet-1k 的 top-1 验证误差。模型是 fb.resnet.torch 版的 ResNet-50(stride 2 放在 3×3 卷积上),Nesterov 动量 0.9,权重衰减 0.0001、不作用于 BN 的 与 。所有批量大小都训练 90 个 epoch,参考学习率 ,在第 30、60、80 个 epoch 各除以 10;、 时就是原本的 0.1。
初始化还有一个细节,每个残差块最后一个 BN 的 初始化为 0,让信号一开始只走捷径。作者发现这对所有模型都有帮助,对大批量尤其明显。
随机性也照顾到了。每个模型取最后 5 个 epoch 误差的中位数,再报告 5 次独立训练的平均与标准差。基准(批量 256)的误差是 23.60% ± 0.12。批量 12k 以上受限于硬件,是在单台服务器上用梯度累积模拟的;作者表示已验证过结果和真正的分布式训练等价。
三种预热

三张图的橙线都是批量 256 的基准,蓝线是批量 8k、学习率 3.2。图例里的百分比是验证误差。
- 不预热(a):蓝线从头到尾都在橙线上面。最后的训练误差高了约 2.1 个百分点,验证误差也高了约 1.2 个百分点(24.84%)。作者据此判断,验证误差变高主要来自训练误差,而不是过拟合。
- 常数预热(b):前 5 个 epoch 的低学习率确实能让误差下降,但一切到 3.2,误差立刻飙升,之后再也没有完全追上,验证误差反而最差(25.88%)。
- 渐进预热(c):蓝线一开始因为学习率小而偏高,大约 20 个 epoch 后就和橙线重合,验证误差 23.74%,和基准只差 0.14 个百分点,而标准差本身就约 0.1。
连训练曲线都对得上,是这篇反复强调的一点。作者据此主张,大批量的困难主要在优化,只要训练误差追得上,在这个范围内看不到泛化变差的迹象。
8k 是天花板

所有批量都用线性缩放规则,大于 256 的批量再加上 5 个 epoch 的渐进预热。从 64 到 8k,误差几乎是一条水平线;过了 8k 开始上升,16k 是 24.79%、32k 是 27.55%、64k 是 33.96%。再往上,线性规则的训练直接发散。
训练曲线也看得出区别。

批量在 8k 以内时,除了预热那段,训练曲线都和基准叠在一起。到了 16k 以上,两条线在整个训练过程中都有明显的落差。作者因此建议,比较新设置时可以把训练曲线当作早期指标,曲线对不上,最后的验证误差多半也对不上。
ResNet-101 的情况差不多。批量 8k 的误差是 22.36%,比批量 256 的 22.08% 高 0.28 个百分点,作者认为 8k 对 ResNet-101 也已经在边缘;用 256 张 P100 训练需要 92.5 分钟。
天花板会不会随着数据变多而升高?作者换成 ImageNet-5k,用 ImageNet-22k 补了 4,000 类,总共 680 万张,约为原本的 5 倍,仍然在 ImageNet-1k 的验证集上评估 1,000 类分类。误差曲线的形状和 ImageNet-1k 几乎一样,批量 8k 只比 256 高 0.26 个百分点(25.83% 到 26.09%),转折点没有往后移。数据多了 5 倍,能用的批量并没有跟着变大。
其他缩放规则
线性规则是不是刚好最好?作者在 256 和 8k 两种批量下各试了几种学习率:
| 批量 | 学习率 η | top-1 误差 |
|---|---|---|
| 256 | 0.05 | 23.92 |
| 256 | 0.10 | 23.60 |
| 256 | 0.20 | 23.68 |
| 8k | 0.05 · 32 | 24.27 |
| 8k | 0.10 · 32 | 23.74 |
| 8k | 0.20 · 32 | 24.05 |
| 8k | 0.10 | 41.67 |
| 8k | 0.10 · √32 | 26.22 |
整理自原论文 Table 2a;ResNet-50,5 次训练的平均(%)。
批量 256 的最佳值是 0.1,批量 8k 的最佳值是 0.1 × 32 = 3.2,正好是线性规则给的答案。学习率不跟着放大(0.10)时,误差高达 41.67%。Krizhevsky 从梯度估计的标准差推导出平方根规则,用 ,搭配同样的渐进预热,误差仍是 26.22%。
批量 8k 对学习率也比批量 256 敏感。乘数从 0.1 改成 0.05 或 0.2,批量 256 只差 0.1 到 0.3 个百分点,批量 8k 差了 0.3 到 0.5 个百分点。作者的建议是,实际使用时,批量不要选在接近崩溃点的地方。
残差块的 γ = 0
把每个残差块最后一个 BN 的 初始化为 0,批量 256 从 23.84% 降到 23.60%,批量 8k 从 24.11% 降到 23.74%;大批量受益较多,作者认为这也说明大批量更容易受优化困难影响。这一招后来进了 torchvision,ResNet 的构造函数有一个 zero_init_residual 参数,代码注释就引用这篇论文,写着能改善 0.2 到 0.3 个百分点。
迁移到检测与分割
ImageNet 的准确率通常不是最终目的,预训练的特征能不能用在其他任务,才是大家在意的。作者把批量 256 到 16k 预训练的 ResNet-50 拿去初始化 Mask R-CNN,在 COCO 上做目标检测与实例分割。每种批量预训练 5 个模型,一共训练 35 个 Mask R-CNN,其余超参数全照 Mask R-CNN 原论文。
| 预训练批量 | top-1 误差 | box AP | mask AP |
|---|---|---|---|
| 256 | 23.60 | 35.9 | 33.9 |
| 1k | 23.53 | 35.9 | 33.9 |
| 4k | 23.56 | 35.8 | 33.8 |
| 8k | 23.74 | 35.8 | 33.9 |
| 16k | 24.79 | 35.1 | 33.2 |
整理自原论文 Table 3a,节选部分行;COCO minival,5 次的平均(%)。
只要 ImageNet 误差维持住(8k 以内),检测与分割的 AP 几乎完全一样;16k 的 ImageNet 误差变高,COCO 的 AP 也跟着掉了 0.7 到 0.8 个百分点。
线性规则本身也能用在 Mask R-CNN 上。Mask R-CNN 的批量概念和分类不同,骨干网络每张卡处理 2 张图像,每张图像再取 512 个 RoI 去算分类、边界框回归与掩码三种损失。作者用 1、2、4、8 张卡训练,学习率依卡数线性放大(0.0025 到 0.02),box AP 介于 35.6 到 35.7、mask AP 介于 33.5 到 33.7,几乎没有区别。原文也提到,Mask R-CNN 用 8 张卡的默认设置,本来就默默套用了这条规则。
跑多快
批量从 256 加到 11k(44 倍),每一步的时间只多了 12%;换算成每个 epoch,从 16 分钟以上降到约 30 秒,这时用的是 352 张卡(44 台服务器)。和 8 卡基准的理想外推相比,从 8 张卡扩展到 256 张卡的效率约 90%,而且用的是普通的以太网。
后来的事
8k 这个天花板很快就被挑战了。两个月后,You 等人在 LARS 的论文摘要里直说,线性缩放加预热这套做法不够通用,训练可能发散;他们改成逐层调整学习率,把 ResNet-50 的批量推到 32k。
Shallue 等人(JMLR 2019)则在 35 个工作负载上系统地测量批量大小与训练步数的关系,发现「批量加倍、步数减半」的完美缩放区间在不同任务之间差异极大,最佳学习率也不一定照线性或平方根规则变化;他们同时没有找到大批量会损害泛化的证据。对照起来,线性缩放规则比较适合当成完美缩放区间内的经验法则,超出那个范围就得重新调参。
预热则留了下来,而且用到了大批量以外的地方。Transformer 搭配 Adam 几乎都要预热,后来 Pre-LN 与 RAdam 对此各自提出了解释。
结论
这篇靠三件事把 ResNet-50 的批量从 256 推到 8k,分别是学习率随批量线性放大、前 5 个 epoch 渐进预热,以及 BN 在每张卡上用固定的 32 条数据计算。批量 8k 的误差 23.74%,和批量 256 的 23.60% 相差在标准差附近,训练曲线也对得上,检测与分割的迁移效果没有变差;过了 8k,同一套做法就开始失效。
真的要从 1 张卡换到 8 张卡时,这篇最实用的反而是第 3 节。学习率照卡数放大、加上预热之后,还要确认损失除的是总批量还是单卡批量,放大的是学习率还是只是损失(后者会让权重衰减失准),以及框架的动量缓冲区有没有把学习率乘进去。这几个地方写错,模型照样会收敛,只是误差高一点,很难察觉。
五个月后,Preferred Networks 的论文标题叫〈Extremely Large Minibatch SGD: Training ResNet-50 on ImageNet in 15 Minutes〉,用了 1,024 张 P100 和 32k 的批量。(标题几乎照抄,Accurate 换成了 Extremely,1 Hour 换成了 15 Minutes。)