返回论文笔记资料库
arXiv 2024NeurIPS 2024优化器论文笔记

Schedule-Free

少有人排的路

原始论文

The Road Less Scheduled

论文作者

Aaron Defazio · Xingyu Alice Yang · Harsh Mehta · Konstantin Mishchenko · Ahmed Khaled · Ashok Cutkosky

发表版本
NeurIPS 2024会议
arXiv 首次提交
arXiv:2405.15682
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{optimizersschedulefree2024,
  title = {{The Road Less Scheduled}},
  author = {Aaron Defazio and Xingyu Alice Yang and Harsh Mehta and Konstantin Mishchenko and Ahmed Khaled and Ashok Cutkosky},
  year = {2024},
  eprint = {2405.15682},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2405.15682}
}
本页内容

2024 年 8 月 1 日,MLCommons 公布了首届 AlgoPerf 训练算法竞赛的结果。

如果你没听说过 AlgoPerf,它比的是优化器与训练流程本身。模型、数据和硬件(8 张 V100)都固定,看谁最快把 8 个任务训练到指定的验证分数,任务横跨机器翻译、图像分类、MRI 重建、语音识别、分子图与点击率预测。比赛分两组。外部调参组可以给出一个超参数搜索范围,由主办方替你抽 5 组设置来试;自调参组不能在训练之外搜索超参数,方法必须在单次训练里自己应付所有任务,最常见的做法就是一套设置通吃,作为补偿,训练时间上限放宽到 3 倍。

自调参组只有一份投稿赢过主办方的基线,就是 Meta 与 Samsung 研究员提交的 Schedule Free AdamW,分数 0.8542;基线是 NAdamW 加线性预热与 cosine 衰减,0.8194;其他四份都在 0.4 以下。这个方法最大的特点,是完全不用学习率调度,也不必事先知道要训练多少步。

背后的论文叫〈The Road Less Scheduled〉,标题借用了 Frost〈The Road Not Taken〉里「less traveled」那一句,结论一节也真的引用了原诗。第一作者是 Meta FAIR 的 Aaron Defazio,他之前的 D-Adaptation 也在处理「学习率怎么设」这件事。代码 4 月就以 schedulefree 包的形式发布到 PyPI,论文到 5 月底才放上 arXiv。

定义问题

调度需要终点

现在最常用的学习率调度是 cosine 和线性衰减,两者都要先知道总步数 TT,曲线才画得出来。TT 设错了代价不小,Chinchilla 的附录测过,cosine 周期设得比实际步数长 25% 以上,模型就明显变差;训练到一半想延长,也得重新规划。

平均在理论上很好,实际上很差

另一条路是不用调度,改成对参数取平均。Polyak–Ruppert 平均是最古典的做法,SGD 照常用固定步长走,另外维护一个所有走过的点的平均:

zt+1=zt−γgt,xt+1=(1−ct+1) xt+ct+1 zt+1,ct+1=1t+1z_{t+1} = z_t - \gamma g_t, \qquad x_{t+1} = (1 - c_{t+1})\,x_t + c_{t+1}\,z_{t+1}, \quad c_{t+1} = \frac{1}{t+1}

ct+1=1/(t+1)c_{t+1} = 1/(t+1) 让 xx 恰好是 z1,…,ztz_1, \dots, z_t 的等权平均。按照经典的收敛理论,凸的 Lipschitz 问题应该交出 xx,而不是最后一步的 zz。实际上,这个平均比 SGD 的最后一步差很多,作者称之为优化领域的民间共识。

近年的理论又指出,线性衰减调度本身就能让最后一步达到最坏情况下的最优速率。调度和平均在理论上扮演差不多的角色,但调度得先知道 TT。作者于是问,有没有一种平均方法,实际表现追得上调度,又不放弃理论保证?

解决问题

三个序列

Schedule-Free SGD 的更新是式 (3) 到 (5):

yt=(1−β) zt+β xtzt+1=zt−γ ∇f(yt,ζt)xt+1=(1−ct+1) xt+ct+1 zt+1,ct+1=1t+1\begin{aligned} y_t &= (1-\beta)\,z_t + \beta\,x_t \\ z_{t+1} &= z_t - \gamma\,\nabla f(y_t, \zeta_t) \\ x_{t+1} &= (1 - c_{t+1})\,x_t + c_{t+1}\,z_{t+1}, \quad c_{t+1} = \frac{1}{t+1} \end{aligned}

起点 z1=x1z_1 = x_1。三个序列各有分工:

  • zz 是基础序列,底层的优化器在这里走步,这里就是普通的 SGD。
  • xx 是评估序列,是 zz 的等权平均,也是最后交出去的模型。
  • yy 是算梯度的位置,在 zz 和 xx 之间插值。

和 Polyak–Ruppert 平均相比,只多了第一行,梯度不在 zz 上算,改在 zz 与 xx 之间的 yy 上算。

两个极端

β\beta 控制 yy 偏向哪一边。β=0\beta = 0 时 y=zy = z,梯度在 zz 上算,就是 Polyak–Ruppert 平均。β=1\beta = 1 时 y=xy = x,梯度在平均点上算,这叫 primal averaging,同样有最坏情况下的最优保证,但一般认为收敛太慢,不实用。

原论文 Figure 2,IWSLT14 上 LSTM 翻译模型的测试损失,横轴是 0 到 6 万步,纵轴是 4.0 到 5.5。Polyak 平均的橙色虚线最后停在 4.35,primal averaging 的蓝绿色点划线停在 4.44,cosine 调度的红线在 4.23,Schedule-Free 的黑线在前 1 万步就降到 4.35 左右,最后是 4.18,全程最低。
原论文 Figure 2(Defazio 等人),取自 PDF 第 4 页,CC BY 4.0。

这张图是 IWSLT14 德译英的 LSTM。两个极端都输给调好的 cosine 调度,Polyak 平均最后是 4.35,primal averaging 是 4.44,cosine 是 4.23。Schedule-Free 取中间,β=0.9\beta = 0.9,最后 4.18,而且前 1 万步就降得比谁都快。

作者的解释是,zz 移动得比 xx 快,所以插值保留了 Polyak 平均收敛快的优点;yy 又被拉向 xx,让算梯度的位置不会离交出去的模型太远,增加稳定性。

另一种动量

β\beta 的角色很像动量,论文也把它和常见的指数移动平均(EMA)动量做了比较。第 tt 步的梯度 gtg_t 进入 yy 时,立即的影响是 (1−β) gt(1-\beta)\,g_t,β=0.9\beta = 0.9 时就是 0.1 gt0.1\,g_t,这和 EMA 动量一样。差别在剩下的 90%。EMA 动量在接下来大约 10 步内就把大部分加完;Schedule-Free 则是通过 xx 这个平均,非常缓慢地把它加进来。

这种动量在理论上没有副作用。Theorem 1 说,若 FF 是凸函数、每个样本的损失 ff 都是 GG-Lipschitz、样本独立同分布,取 γ=D/(GT)\gamma = D/(G\sqrt{T})(DD 是起点到最优解的距离),那么对 [0,1][0, 1] 里的任何 β\beta:

E[F(xT)−F(x⋆)]≤DGT\mathbb{E}[F(x_T) - F(x_\star)] \le \frac{DG}{\sqrt{T}}

这是非光滑凸问题的最优速率,连常数都一样。相比之下,EMA 动量在同一个设置下,反而会让最坏情况的保证变差。

1/(t+1)1/(t+1) 不就是递减调度吗?

读到这里你可能会问,xx 的更新里有一个 1/(t+1)1/(t+1),这不就是一个递减的学习率吗?

某种意义上是的。作者用 Figure 4 说明,每一步的梯度最后在 yy 与 xx 里各占多少比例:

原论文 Figure 4,四行三列的柱状图。四行分别是线性衰减调度、Polyak 平均、primal averaging、Schedule-Free;三列是训练进行到 1/3、2/3 与结束时。横轴是时间步,纵轴是每一步的梯度最后被纳入多少比例。橙色是在评估序列 x 中的比例,在 Polyak、primal 与 Schedule-Free 三行都是从 1 线性降到当下时间点的三角形,形状和线性衰减调度一样;蓝色是算梯度的位置 y 中的比例,Polyak 平均的蓝色区域在每个时间点都是 1,primal averaging 没有蓝色多出来的部分,Schedule-Free 介于两者之间,近期梯度的比例比 primal averaging 高。
原论文 Figure 4(Defazio 等人),取自 PDF 第 7 页,CC BY 4.0。图中 Schedule-Free 用的是 β=0.6\beta = 0.6。

先看第一行。线性衰减调度走到 1/3、2/3、终点时,每一步的梯度按当时的学习率被加进参数,越靠后的步子越小,所以是一个斜坡;但这个斜坡的终点固定在 TT。

再看下面三行的橙色部分,也就是 xx。三种平均方法的 xx,在每个时间点都长得像一个终点就在当下 tt 的线性衰减。平均能取代调度,原因就在这里。它其实隐含了一个调度,只是这个调度的终点会跟着 tt 往前移,不必事先知道 TT。

蓝色部分是 yy,三种方法的差别在这里。Polyak 平均的 yy 就是 zz,每一步的梯度都完整算进去,训练后期近期梯度的比重比调度大得多;primal averaging 的 yy 就是 xx,近期梯度被压得很小,前期收敛慢;Schedule-Free 在两者之间,对近期梯度的比重稍微补强。

附录 B 把这件事写成代数。令 Δt=zt+1−zt\Delta_t = z_{t+1} - z_t 是基础优化器的一步,mt=xt+1−xtm_t = x_{t+1} - x_t,那么在等权平均、β\beta 固定时,yy 每一步的实际移动量是:

yt+1−yt=β mt+(1−β) Δty_{t+1} - y_t = \beta\, m_t + (1 - \beta)\,\Delta_t

也就是一个动量项,加上基础优化器那一步的 (1−β)(1-\beta) 倍。如果让 1−βt1 - \beta_t 随时间变化,恰好取成 (T−t)/T(T - t)/T 时,动量项的系数会整个消掉,剩下的就是线性衰减调度。Schedule-Free 选择固定 β\beta,所以不需要 TT。

理论覆盖到哪里

Theorem 1 其实是更一般的 Theorem 2 的特例。Theorem 2 允许任意的在线学习算法产生 zz、任意的平均权重 wtw_t 与插值系数 βt\beta_t,把它们的 regret 转成随机优化的收敛保证,也就是一种 online-to-batch conversion。设 βt=0\beta_t = 0 得到经典的 Polyak 平均,βt=1\beta_t = 1 得到 primal averaging(Defazio 先前的研究指出它等价于 heavy-ball 动量),βt=t/T\beta_t = t/T 则得到线性衰减调度的最后一步保证。附录 C 再把它收紧成等式,推出光滑问题上的加速速率。

条件也要说清楚。这些保证都在凸问题上;Theorem 1 的步长 D/(GT)D/(G\sqrt{T}) 里还藏着 TT,换成任何时候都成立的 D/(Gt)D/(G\sqrt{t}),实际效果又很差。实践中大家用的是大得多的固定步长 D/GD/G。Theorem 3 说明,在一个训练中就能检查的条件下,这么大的步长也能拿到最优速率;作者在 4.1 节的所有问题上检查过,条件都成立,但他们也承认,随机问题下大步长何时可用,还没有完整的理解。

另一个佐证来自二次函数。作者随机生成 10 个 20 维的二次问题,扫描 β\beta 和 γ\gamma。步长小的时候 β\beta 几乎没有影响;步长大的时候,β<1\beta < 1 是收敛的关键。

Schedule-Free AdamW

把基础优化器换成 AdamW,就是 Algorithm 1:

  1. yt=(1−β1) zt+β1 xty_t = (1 - \beta_1)\,z_t + \beta_1\,x_t,用插值取代动量。
  2. 在 yty_t 上算梯度 gtg_t。
  3. vt=β2vt−1+(1−β2) gt2v_t = \beta_2 v_{t-1} + (1 - \beta_2)\,g_t^2。
  4. γt=γ1−β2t min⁡(1,t/Twarmup)\gamma_t = \gamma\sqrt{1 - \beta_2^t}\,\min(1, t/T_{warmup}),把预热与偏差修正都并进学习率。
  5. zt+1=zt−γt gt/(vt+ϵ)−γtλ ytz_{t+1} = z_t - \gamma_t\, g_t / (\sqrt{v_t} + \epsilon) - \gamma_t \lambda\, y_t。
  6. ct+1=γt2/∑i=1tγi2c_{t+1} = \gamma_t^2 / \sum_{i=1}^{t}\gamma_i^2。
  7. xt+1=(1−ct+1) xt+ct+1 zt+1x_{t+1} = (1 - c_{t+1})\,x_t + c_{t+1}\,z_{t+1}。

有几个地方和 AdamW 不一样。

  • 没有一阶矩。 β1\beta_1 拿去做插值了,所以只需要存 xx、zz 和 vv,显存占用和 AdamW 一样;SGD 版本也和 SGD 加动量一样。
  • 还是要预热。 作者在 4.4 节直说,这个方法仍然需要学习率预热。
  • 平均的权重跟着学习率走。 有预热时,作者改用 γt2\gamma_t^2 当平均的权重,预热期间学习率小的那几步,在平均里的比重也跟着变小;他们发现这样做效果大幅改善。预热结束后,ctc_t 就回到按 1/t1/t 的速度递减。
  • 权重衰减算在 yy 上。 也可以算在 zz 上,但在 ImageNet 与 NanoGPT 等问题上,算在 yy 明显比较好。

实现细节

训练时算梯度要用 yy,评估时要用 xx,所以模型参数得在两者之间切换。官方 PyTorch 实现只多存一份 zz,参数本身的缓冲区在训练时存 yy、评估时存 xx。由 y=(1−β)z+βxy = (1-\beta)z + \beta x 可以解出 x=y+(1−1/β)(z−y)x = y + (1 - 1/\beta)(z - y),optimizer.eval() 做的就是这个插值,optimizer.train() 再换回 yy。

这带来几条使用规则。调用 model.train() 的地方要一起调用 optimizer.train(),model.eval() 的地方要调用 optimizer.eval(),存 checkpoint 前也要切到 eval 模式,否则存下来的是 yy 而不是 xx。如果代码支持 PyTorch 的 step closure,可以改用 closure 版本,省掉这些切换。

BatchNorm 最麻烦。BN 的 running mean 与 variance 是在训练时、也就是在 yy 上累积的,换成 xx 之后统计量就对不上。官方 README 给的修正是评估前用 xx 跑几十个训练批次,重新累积统计量:

python
model.train()
optimizer.eval()
with torch.no_grad():
    for batch in itertools.islice(train_loader, 50):
        model(batch)
model.eval()

LayerNorm 这类不依赖批量统计量的归一化层就没有这个问题。README 另外提醒,如果框架另外缓存了一份 fp16 参数(某些 GradScaler 会这样做),也要手动更新,确保评估用的是 xx。

讨论

实验设置

作者称这是目前规模最大的优化器评测之一,总共 28 个问题,包括 12 个逻辑回归、9 个深度学习任务,以及 AlgoPerf 的 7 个任务。深度学习任务里,CIFAR-10、CIFAR-100、SVHN、ImageNet 用 Schedule-Free SGD,IWSLT14、DLRM、fastMRI、MAE 微调与 NanoGPT 用 Schedule-Free AdamW。

比较的方式是两边都在网格上扫学习率与权重衰减,Schedule-Free 另外在 0.9 与 0.98 两个 β\beta 中挑一个;在习惯用阶梯调度的任务上,也加上阶梯调度一起比。

一次训练,画出整条前沿

原论文 Figure 1,左边是 ImageNet 上 ResNet-50 的测试准确率对 epoch,右边是 OpenWebText 上 GPT-2 124M 的测试损失对步数。红色的细线是多条长度不同的 cosine 调度,每条都在自己的终点才达到最佳;黑线是一次 Schedule-Free 训练,在每个时间点都贴着或超过那些红线的终点。
原论文 Figure 1(Defazio 等人),取自 PDF 第 2 页,CC BY 4.0。

红线是多条长度不同的 cosine 调度,每一条都要到自己的终点才最好;把这些终点连起来,就是「训练时间对表现」的前沿。黑线只训练一次,却在每个时间点都贴着这条前沿,GPT-2 那边甚至在大部分时间都在红线下方。换句话说,训练到哪里停,都差不多等于事先为那个长度调好了一条 cosine。

九个深度学习任务

任务指标Schedule-Free最佳调度
CIFAR-10准确率96.0395.73
CIFAR-100准确率78.7177.41
SVHN准确率98.4098.27
ImageNet准确率76.9076.90
IWSLT14损失 ↓4.184.23
fastMRISSIM0.91120.9110
Criteo准确率0.79150.7906
MAE 微调准确率83.5483.52
GPT-2 124M损失 ↓2.8312.853

整理自原论文 Figure 2 与 Figure 5 的图例。「最佳调度」列是作者调好的 cosine 或线性衰减调度;ImageNet 用 ResNet-50,GPT-2 124M 是 NanoGPT 在 OpenWebText 上的设置。

七个任务胜过调好的调度(fastMRI 与 Criteo 的差距很小),ImageNet 与 MAE 微调打平。差距最大的是 CIFAR-100,多了 1.3 个百分点;ImageNet 上两者都是 76.90%,阶梯调度是 76.49%。

这些数字背后有几个设置值得一看。

  • 学习率大很多。 CIFAR-10 上 Schedule-Free 的学习率是 10,cosine 是 0.2;ImageNet 是 1.5 对 0.05;NanoGPT 是 0.005 对 0.0005。作者认为,能用更大的学习率而不发散,可能是收敛较快的原因之一。
  • NanoGPT 要特别处理。 β=0.9\beta = 0.9 时损失会在训练中途快速上升,要改成 0.98 才稳定;梯度裁剪也必须关掉,作者说这一点很关键。
  • 梯度没有崩掉。 在 CIFAR-10 上,用 cosine 调度的 SGD 到了后期训练损失接近 0,梯度范数也跟着跌到接近 0,之后几乎学不动;Schedule-Free 没有这个现象。作者认为这可能是它在 CIFAR 与 SVHN 上特别好的原因。

附录还补了 Polyak 平均与 primal averaging 在同一组任务上的结果,两者都明显落后。ImageNet 上分别是 72.84% 与 69.78%,NanoGPT 上 Polyak 平均的损失直接发散。

AlgoPerf

论文里的 AlgoPerf 结果,是作者自己按比赛规则、拿 NAdamW 基线跑 10 个随机种子的比较。ResNet-50 任务被排除,因为 AdamW 与 NAdamW 都达不到目标。剩下 7 个任务,Schedule-Free AdamW 在 WMT、ViT、fastMRI、OGBG 上较快,Conformer 和 Criteo 打平,DeepSpeech 稍慢。作者把这两个任务的表现归因于 BatchNorm,Conformer 与 DeepSpeech 都用 BN,而比赛的代码框架不方便在 xx 上重算 BN 统计量。

附录也列出了自调参组用的那一套设置,学习率 0.0025、1−β1=0.11-\beta_1 = 0.1、β2≈0.9955\beta_2 \approx 0.9955、权重衰减约 0.081、预热 2%,平均的权重另外乘上 t0.75t^{0.75}。

官方的结果则在 MLCommons 的公告与主办方后来在 ICLR 2025 发表的分析里。自调参组里,Schedule Free AdamW 是唯一胜过基线的投稿,平均训练时间快约 8%,在 8 个基础任务中有 4 个最快;拿它和外部调参组的基线比,在双方都训练成功的 7 个任务上,它不调参也快了约 10%。同一组人也带着 5 组设置的版本参加外部调参组,拿到第二名(0.7077),输给 Distributed Shampoo 的 0.7784;在双方都成功的 7 个任务上,Shampoo 比自调参的 Schedule-Free AdamW 快约 24%。

还有一个小插曲。自调参组的奖金最后没有颁出。MLCommons 的公告写着,由于多份参赛作品的所属机构与工作组主席重叠,未达颁奖条件。

对动量的敏感度

原论文 Figure 9,ImageNet 上用 Schedule-Free SGD 训练 ResNet-50 共 200 个 epoch,学习率固定为 1.5,四条线是不同的动量值。β = 0.9 的橙线最高,最后 77.78%;0.95 是 76.99%,0.75 是 76.60%,0.98 最低,75.37%。
原论文 Figure 9(Defazio 等人),取自 PDF 第 13 页,CC BY 4.0。

如果最佳的 β\beta 会随训练长度改变,「不用知道 TT」就只是把问题从调度搬到动量上。作者在 ImageNet 上跑了比平常长的 200 个 epoch,扫了四种动量。不论在哪个时间点停下来看,最好的都是 β=0.9\beta = 0.9。学习率的敏感度也和 cosine 调度差不多,只有训练很短(25 个 epoch 以内)时,大一点的学习率比较好。

不过其他证据没有这么乐观。NanoGPT 本身就得把 β\beta 调到 0.98;官方 README 也写着,训练特别长时可能要把 β\beta 提高到 0.95 或 0.98。Hägele 等人(NeurIPS 2024)在 2.1 亿参数的语言模型上,拿 Schedule-Free AdamW 和「固定学习率加最后一段线性冷却」(类似 WSD)比较。(β1,β2)=(0.9,0.95)(\beta_1, \beta_2) = (0.9, 0.95) 时明显较差,训练后段损失甚至往上走;换成 (0.95,0.99)(0.95, 0.99) 表现很好,但两组设置都被冷却调度追平或超越。他们也没有再为任何一方多调超参数。

局限

作者在结论里写得很明白,最主要的实际限制是得重新扫学习率与权重衰减,因为最佳值和用调度时不同。其他需要留意的地方,前面大多已经提过。

  • 预热仍然需要。论文的实验大多把预热设成总训练量的 5%,AlgoPerf 的设置是 2%,严格说来,这里还是用到了训练长度。
  • BN 需要在 xx 上重算统计量;训练与评估要切换模式,存 checkpoint 也一样。
  • 理论只覆盖凸问题,大步长何时可用还没有完整的理论。
  • β\beta 对长时间的语言模型训练比较敏感。

结论

Schedule-Free 用三个序列取代学习率调度。基础优化器在 zz 上走步,xx 是 zz 的平均,梯度在两者之间的 yy 上计算。平均本身隐含了一个终点随时移动的线性衰减调度,所以不必事先知道 TT;在凸问题上,任何 β\beta 都保有最优的最坏情况速率。9 个深度学习任务中它赢了 7 个、平了 2 个,并拿下 AlgoPerf 2024 自调参组的第一名。

想试用的话,换掉优化器之后,记得在 model.train()、model.eval() 旁边加上对应的 optimizer.train()、optimizer.eval(),存 checkpoint 前切到 eval;有 BN 的模型,评估前用 xx 重算统计量。学习率从调度版本的 1 到 10 倍(AdamW)或 10 到 50 倍(SGD)开始试,β\beta 先用 0.9,训练很长时往 0.95、0.98 调,预热照留。

毕竟名字叫 Schedule-Free,Algorithm 1 的第 8 行还是写着 min⁡(1,t/Twarmup)\min(1, t/T_{warmup})。