SGDR: Stochastic Gradient Descent with Warm Restarts
- 发表版本
- ICLR 2017会议
- arXiv 首次提交
- arXiv:1608.03983
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{optimizerssgdr2016,
title = {{SGDR: Stochastic Gradient Descent with Warm Restarts}},
author = {Ilya Loshchilov and Frank Hutter},
year = {2016},
eprint = {1608.03983},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1608.03983}
}
打开 PyTorch 的 torch.optim.lr_scheduler,有两个调度器的文档都指向同一篇论文。
一个是 CosineAnnealingWarmRestarts,名字已经把来历写得很清楚。另一个是 CosineAnnealingLR,文档同样引用这篇论文,却特别补了一句,说 SGDR 虽然有周期性的重启,这个实现做的是没有重启的 cosine 退火。
一篇标题里写着「重启」的论文,后来在大模型的训练设置里留下来的,多半是没有重启的那一半。我们就从头看看,2016 年 Ilya Loshchilov 和 Frank Hutter 到底提出了什么,重启原本又想解决什么问题。
如果你没听说过这两位作者,先补一点背景。他们当时在德国弗莱堡大学,Hutter 的研究主线是超参数优化与 AutoML;Loshchilov 之前做过不少进化策略 CMA-ES 的研究,论文第 2 节回顾重启策略时,引用的就有他自己 2012 年的工作。在不用梯度的优化里,「跑一阵子、整个重来」是对付多峰函数的老办法,而且常见做法是每重启一次,就把采样的种群加倍。这篇论文把重启的习惯带进了 SGD。
定义问题
2016 年训练 ResNet 一类的网络,主流是 SGD 加动量,也就是论文的式 (3)(4):
作者在引言里说,这样训练最难的部分,只剩下学习率怎么安排、权重衰减要多少。这篇拿来当基准的 Wide ResNet(WRN),学习率从 0.1 开始,在第 60、120、160 个 epoch 各乘 0.2,总共训练 200 个 epoch。
这种阶梯式调度有两个麻烦。第一,在哪里降、降多少,都是要调的超参数。第二,模型要等到学习率降下来之后才会变好;如果第 100 个 epoch 就得停,手上的模型还卡在高学习率的阶段,误差很大。作者用 anytime performance 描述后者,意思是不论在哪个时间点停下来,手上都有一个足够好的模型。
这篇的目标就是改善 SGD 的 anytime performance。学习率要怎么安排,才能让训练随时可以停,最后又不输给调好的阶梯调度?
解决问题
热重启
作者的做法是每隔 个 epoch,模拟一次 SGD 的重新开始。这个重启不从头训练。参数 原封不动当成新的起点,只把学习率拉回高点,再让它降下来。原文也指出,学习率拉高多少,决定了之前累积的信息(例如动量)还保留多少。
Cosine 退火
在第 次运行里,学习率依式 (5) 逐个 batch 递减:
是上次重启以来跑了几个 epoch。它每个 batch 都会更新,所以可以是 0.1、0.2 这种小数。代几个点进去:
- ,,学习率是 。
- ,,学习率刚好在两端的中间。
- ,,学习率降到 。
所以这条曲线一开始降得很慢,中段接近直线,快结束时又放慢,在低学习率停留一段时间。CIFAR 实验里每次运行的 与 都固定为 0.05 和 0。作者提到,每次重启时把这两个值往下调也许有好处,但为了少一点超参数,没有这样做。
与
周期长度由两个数决定。 是第一次运行的长度,之后每重启一次,周期就乘上 。用论文最常出现的 、 算一次:
| 第几次运行 | 周期长度 | 结束于 epoch |
|---|---|---|
| 1 | 10 | 10 |
| 2 | 20 | 30 |
| 3 | 40 | 70 |
| 4 | 80 | 150 |
| 5 | 160 | 310 |
在 200 个 epoch 的预算里,完整跑完的只有前四次,第五次跑到一半就结束了。换成 、,重启会落在第 1、3、7、15、31、63、127 个 epoch。
周期加倍的用意,是先用很短的周期快速拿到一个能用的模型,再用越来越长的周期换更好的结果,和前面提到进化策略每次重启就把种群加倍是同一个思路。另一种设置是 ,每 个 epoch 重启一次;当 时,整个训练就只有一条 cosine,完全没有重启。这条线后面会变得很重要。

原论文画这几条调度曲线时用的是对数坐标,作者自己也承认对数轴让人看不出 cosine 的形状,所以这里改用线性坐标重画。蓝线每次掉到 0 就立刻跳回 0.05;橙色虚线则从 0.05 一路慢慢降到 0。
要交出哪一个模型?
学习率突然拉高,模型会暂时变差,所以 SGDR 不一定交出最后一步的参数。第一次重启之前,推荐的就是最新的 ;之后则交出最近一次跑完的周期结尾,也就是学习率刚降到 的那个模型。以上表为例,训练到第 200 个 epoch 时,SGDR 交出的是第 150 个 epoch 的模型。作者强调,这个规则不需要另外切一份验证集来挑模型。
为什么要重启
第 2 节回顾了两条脉络。不用梯度的优化拿重启来对付多峰函数;用梯度的优化则多半拿重启来加快收敛,例如 O'Donoghue 与 Candès(2012)发现 Nesterov 加速法在动量用过头时会周期性地震荡,于是在目标函数变大、或动量方向与负梯度成钝角时重启。
随机梯度的情况不同,单一 batch 的损失与梯度噪声太大,这些判断条件没办法直接搬来用,要先平均(例如每个 epoch 一次)才行。作者选了最简单的版本,按固定时间表重启。他们在讨论里也说得很保守,SGDR 的主要目的是改善 anytime performance,没有宣称观察到任何和多峰性有关的效果。
讨论
实验设置
主要实验是在 CIFAR-10 和 CIFAR-100 上训练 WRN-28-10(28 层、每层滤波器数是原始 ResNet 的 10 倍,约 3,650 万参数)。作者先复现 WRN 原论文的设置,动量 0.9、权重衰减 0.0005、批量大小(batch size)128、200 个 epoch,数据增强用水平翻转,以及 4 像素反射填充后的随机裁剪。和原设置只差两处,一是只减去逐像素均值、不做 ZCA 白化,二是动量用式 (3)(4) 的一般版本,不用 Nesterov 动量。
单一模型

先看上排。蓝线和红线是默认调度,在第 60 个 epoch 降学习率之前,CIFAR-10 的测试误差都在 12% 以上,降过一次之后也还在 7% 到 10% 之间;CIFAR-100 那边,红线在两次降学习率之间甚至往上爬。SGDR 的线画的是推荐解,所以呈阶梯状;周期加倍的绿星()和品红三角()在几十个 epoch 内就掉到低误差区。下排把同一组结果放大,可以看到最后几个 epoch 谁高谁低。
作者的结论是,SGDR 能用少 2 到 4 倍的 epoch,达到 CIFAR-10 约 4%、CIFAR-100 约 20% 的测试误差。最终数字整理如下:
| WRN-28-10 的调度 | CIFAR-10 | CIFAR-100 |
|---|---|---|
| 默认,η₀ = 0.1 | 4.24 | 20.33 |
| 默认,η₀ = 0.05 | 4.13 | 20.21 |
| T₀ = 50,T_mult = 1 | 4.17 | 19.99 |
| T₀ = 100,T_mult = 1 | 4.07 | 19.87 |
| T₀ = 200,T_mult = 1 | 3.86 | 19.98 |
| T₀ = 1,T_mult = 2 | 4.09 | 19.74 |
| T₀ = 10,T_mult = 2 | 4.03 | 19.58 |
整理自原论文 Table 1;测试误差(%),五次运行的中位数。
读这张表要注意两件事。第一,差距多半只有零点几个百分点,每组只跑五次,作者在表注里也写了,粗体只是标出较好的数字,没有做统计检验。第二,CIFAR-10 上最好的单一模型是 3.86%,来自 、,也就是一条完整的 cosine、完全没有重启。作者据此认为 WRN 原本的阶梯调度可能不是最好的选择;但这组设置的 anytime performance 也最差,直到最后几个 epoch 才追上来。
省下来的时间,作者拿去训练更宽的 WRN-28-20(1.458 亿参数,计算量约为 3 到 4 倍)。CIFAR-10 好了约 0.25 个百分点,CIFAR-100 好了 0.5 到 1 个百分点,、 拿到 3.74% 与 18.70%。只看前 50 个 epoch,WRN-28-20 配上还没重启过的 ,在 CIFAR-100 上已经低于 19%,而 WRN-28-10 不论用哪种调度,都没有好过 19.5%。
附录的训练曲线还补了一个观察。到第 120 个 epoch 左右为止,SGDR 的训练损失都降得比默认调度快;之后默认调度开始过拟合,测试损失往上走,SGDR 只有轻微的过拟合。
免费的快照集成
SGDR 的 arXiv 初版出来之后,Huang 等人的 Snapshot Ensembles 拿它的周期做集成。每次重启前,学习率刚降到最低,模型停在一个不错的位置,把这些快照存下来,就能在不增加训练成本的情况下凑出一组模型。这篇的正式版回过头来检验,这个想法在 WRN 上是否成立。
做法是用 、 的 SGDR 训练 WRN-28-10,在第 30、70、150 个 epoch 存快照,也就是调度图上的三个蓝点。推理时,把各快照 softmax 输出的概率等权平均。

横轴是独立训练几次(),纵轴是每次取几个快照()。左下角是单一模型,CIFAR-10 4.03%、CIFAR-100 19.57%(16 次的中位数)。往上走到 ,同一次训练的三个快照就降到 3.51% 与 17.75%。要靠独立训练达到相近的效果,得跑 次(3.51% 与 17.58%),所以在这个设置下,快照大约省了三倍的训练量。
快照从哪里来也很重要。如果只拿最后三个 epoch(148、149、150)的模型做集成,结果和只用第 150 个 epoch 的模型一样,没有改善。重启前的快照有用,是因为它们来自不同的周期,预测彼此有差异。
两种做法可以叠加。3 次训练各取 3 个快照,误差降到 3.25% 与 16.64%;16 次训练各取 3 个快照,就是摘要里的 3.14% 与 16.21%,也是论文宣称的当时 CIFAR 最佳结果,只是那是 48 个模型的集成。两个数据集的趋势也不完全一样。CIFAR-10 上 9 个快照(、)的 3.25%,已经和 16 个独立模型的 3.27% 相当;CIFAR-100 上,16 个独立模型的 16.50% 仍然比 9 个快照的 16.64% 好一点。
EEG 与降采样 ImageNet
为了说明方法不只适用于 CIFAR,作者另外做了两组实验。
第一组是脑电图(EEG)数据,14 位受试者、每人约 1,000 次试验,要分类实际的左右手与脚的动作,网络沿用 Schirrmeister 等人设计的卷积网络。基准调度要先决定总 epoch 数(从 30 到 480),再按比例在固定的时间点把学习率降 10 倍;预算给得越多,结果越好。SGDR 不必事先决定预算,最后的表现和基准差不多,中途的表现更好。用快照做集成也有效。中位数约 9% 的参考误差,取单次训练的快照能再降 1 到 2 个百分点,结合两组学习率的快照则能降 2 到 3 个百分点。
第二组用的是作者自己做的降采样 ImageNet,1,000 类与图像都和原本相同,只是用 box downsampling 缩成 32 × 32(这份数据集后来在 2017 年另外发表)。每张图像的平均像素少了两个数量级,所以比原本的 ImageNet 难;类别更多,物体又常只占画面一小块,也比 CIFAR 难。在 WRN-28-10 上比较默认调度与两组 SGDR,各用 4 种初始学习率(0.05、0.025、0.01、0.005)。、、 的 SGDR 拿到 top-1 39.24%、top-5 17.17% 的误差,和 AlexNet 在原分辨率 ImageNet 上的 40.7% 与 18.2% 相当。这组实验只跑了约 40 个 epoch,作者自己也称之为初步结果;和 AlexNet 的比较跨了分辨率与模型,只能当作参考坐标。
作者对这组结果的解读是,初始学习率选得好不好影响很大,而 SGDR 每个周期都从初始值一路扫到 0,相当于试过一整段学习率,减轻了选错初始值的伤害。
重启真的是重点吗?
CIFAR-10 上最好的单一模型,WRN-28-10 的 3.86% 与 WRN-28-20 的 3.66%,都来自没有重启的 。作者在讨论里也写道,即使完全不重启,式 (5) 这个激进的调度和默认调度相比也很有竞争力,而且只需要初始学习率和总 epoch 数两个超参数。
后续研究把这件事说得更明白。Gotmare 等人(ICLR 2019)用 mode connectivity 分析 SGDR 的轨迹,在 CIFAR-10 上训练 VGG-16,调度同样是 、。第 30 与 150、第 70 与 150 个 epoch 的模型之间,连线上的训练损失确实比两端高,表示重启后参数越过了一道障碍;但第 70 与 150 个 epoch 的模型既不算局部极小值,看起来也不在不同的盆地里,所以「跳出局部极小值」的说法可能过于简化。他们在脚注里另外提到,实验中一直表现不错的,是在整个预算里做一次 cosine(或线性)衰减,他们推测真正起作用的是衰减,重启的贡献比较小。
实践中大家也是这样用的。fast.ai 在 2017 年的课程用 cycle_len 和 cycle_mult 推广过 SGDR;到了 2018 年底的 fastai v1,维护者在论坛上回复,这个写法已经不能用了,默认改成 1cycle。后来的大规模训练,多半只跑一个 cosine 周期:
- Bag of Tricks(He 等人,2018)在 ImageNet 上用的是「简化版」,学习率沿 cosine 从初始值一路降到 0(预热阶段另计)。
- GPT-3 用 cosine 把学习率降到原本的 10%,横跨 2,600 亿个 token,之后维持在 10%;前 3.75 亿个 token 线性预热。
- LLaMA 的 cosine 调度让最终学习率等于最大值的 10%,前 2,000 步预热。
只跑一个周期,就得事先知道总步数,SGDR 想处理的问题又回来了。Chinchilla 的附录把代价量化了,cosine 周期设得比实际训练步数长 25% 以上,模型就会明显变差。之后的 WSD(预热、恒定、衰减三段式的调度)、WSM 和 Schedule-Free,处理的都是这件事。
结论
SGDR 把学习率调度写成一条公式。每个周期从 沿 cosine 降到 ,周期长度由 和 决定,周期结束就把学习率拉回高点重来。在 CIFAR 上,它用少 2 到 4 倍的 epoch 达到和阶梯调度相当的误差,重启前的快照还能免费组成集成;而 CIFAR-10 上最好的单一模型,来自一条不重启的 cosine。
如果你知道总共要训练多久,最省事的做法是一个完整的 cosine 周期,让 等于总步数,需要的话在前面加预热,CosineAnnealingLR 就是这个版本。只有想做快照集成、或真的不知道预算的时候,才值得搬出 CosineAnnealingWarmRestarts;这时记得照论文的规则,交出周期结尾的模型,而不是最后一步。
PyTorch 这两个调度器的名字,其实已经替你选好了。不打算重启的话,挑名字短的那个就好。