返回论文笔记资料库
arXiv 2018UAI 2018模型合并论文笔记

SWA

站到中间去

原始论文

Averaging Weights Leads to Wider Optima and Better Generalization

论文作者

Pavel Izmailov · Dmitrii Podoprikhin · Timur Garipov · Dmitry Vetrov · Andrew Gordon Wilson

发表版本
UAI 2018会议
arXiv 首次提交
arXiv:1803.05407
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{modelmergingswa2018,
  title = {{Averaging Weights Leads to Wider Optima and Better Generalization}},
  author = {Pavel Izmailov and Dmitrii Podoprikhin and Timur Garipov and Dmitry Vetrov and Andrew Gordon Wilson},
  year = {2018},
  eprint = {1803.05407},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1803.05407}
}
本页内容

2018 年 2 月底,Garipov、Izmailov 等人发表了模式连通(mode connectivity)的论文,顺手提出一种集成方法 FGE。训练快结束时,把学习率换成周期很短的循环,每次学习率降到谷底就存一份权重,最后把存下来的几个模型一起推理、输出取平均。

FGE 只花训练一个模型的时间,就得到一组不错的集成。可是推理时,每个模型都得跑一次。

两周后,同一组作者放上这篇论文。他们看着 FGE 存下来的那些点在参数空间里的位置,发现它们散在一片好区域的边缘,中间是空的。

那就不要集成了,直接把权重平均,站到中间去。

定义问题

把权重沿着 SGD 的轨迹平均,这个想法不新。凸优化里,Ruppert 1988 年、Polyak 与 Juditsky 1992 年就分析过,平均迭代点可以加快收敛。训练神经网络时,实务上也有人维持一个指数移动平均(EMA),搭配逐渐衰减的学习率;作者测过,这样的 EMA 和一般 SGD 收敛后的表现差不多。

问题出在学习率。学习率一路衰减,SGD 的轨迹收敛到一点,这时候取平均,只是把轨迹抹平一些,结果和不平均差不多。

作者想要的,是让 SGD 在一片好区域里多走一点,再取平均。他们也想知道,平均出来的那一点,泛化为什么会比较好。

解决问题

算法

SWA 的流程很短:

  1. 先用一般的学习率调度训练,论文里大约是总预算的 75%。
  2. 接着改用固定的学习率,或周期性在 α1\alpha_1 到 α2\alpha_2 之间线性递减的循环学习率,继续训练。
  3. 每隔固定的 cc 次迭代,把当下的权重 ww 加进平均;用循环学习率时,cc 就是一个周期,刚好在学习率最低的时候取点:
wSWA←wSWA⋅nmodels+wnmodels+1w_{\text{SWA}} \leftarrow \frac{w_{\text{SWA}}\cdot n_{\text{models}} + w}{n_{\text{models}} + 1}
  1. 训练结束,用 wSWAw_{\text{SWA}} 当作最终模型。

第 3 步是累加式的算术平均。nmodelsn_{\text{models}} 记录已经收进来的点数;从 0 开始,第一个点直接成为平均,第二个点加入时才各占一半。第三个点加入时,旧平均乘上 2/32/3、新点乘上 1/31/3,最后三个点各占 1/31/3。不需要把每一份权重都存下来,也和越新的点权重越大的 EMA 不同。

循环学习率的细节值得分清楚。SWA 在一个周期内只做线性下降,走到底就直接跳回上界:

α(i)=(1−t(i))α1+t(i)α2,t(i)=mod⁡(i−1,c)+1c.\alpha(i)=(1-t(i))\alpha_1+t(i)\alpha_2, \qquad t(i)=\frac{\operatorname{mod}(i-1,c)+1}{c}.

FGE 的三角形周期还会慢慢升回去;SWA 把这半段省掉了,因为我们只要最后的平均好用,途中每一个快照的准确率可以差一点。固定学习率走得更远、单点表现可能更差,也能有好的平均结果。

论文的 CIFAR 设置里,VGG 和 WRN 在 SWA 阶段用固定学习率 0.01;Preactivation ResNet 在 CIFAR-10 用 0.01、CIFAR-100 用 0.05,每个 epoch 收一次。PyramidNet 则用 3 个 epoch 一个循环,从 0.05 降到 0.001。这些是搭配各自架构得到的设置,实现时仍要用自己的验证数据选起始时间与学习率。

BatchNorm 要重算

有一件事很容易漏掉。如果网络有 BatchNorm,训练时累积的均值与方差,是对应各个 ww 的,不是对应 wSWAw_{\text{SWA}} 的。作者的做法是训练结束后,用 wSWAw_{\text{SWA}} 在训练数据上多跑一次前向传播,重新收集这些统计量。

PyTorch 后来把累加平均与重算统计量放进 torch.optim.swa_utils。我们用只有线性层和 BatchNorm 的小网络看一次这个差别。两个快照的线性权重分别是单位矩阵的 1 倍与 3 倍:

python
import torch
from torch import nn
from torch.utils.data import DataLoader
from torch.optim.swa_utils import AveragedModel, update_bn

model = nn.Sequential(nn.Linear(2, 2, bias=False), nn.BatchNorm1d(2))
swa_model = AveragedModel(model)
with torch.no_grad():
    for scale in [1.0, 3.0]:
        model[0].weight.copy_(scale * torch.eye(2))
        swa_model.update_parameters(model)

print("平均權重:", swa_model.module[0].weight.tolist())
print("重算前的均值:", swa_model.module[1].running_mean.tolist())
loader = DataLoader(torch.tensor([[1., 2.], [3., 4.]]), batch_size=2)
update_bn(loader, swa_model)
print("重算後的均值:", swa_model.module[1].running_mean.tolist())
text
平均權重: [[2.0, 0.0], [0.0, 2.0]]
重算前的均值: [0.0, 0.0]
重算後的均值: [4.0, 6.0]

平均模型的线性层是 2I2I,两笔输入到 BatchNorm 前会变成 [2,4][2,4] 和 [6,8][6,8],所以均值应该是 [4,6][4,6]。只平均可学习参数,running mean 还停在原先的 [0,0][0,0];update_bn 才把它对上新权重。这个例子只示范统计量的更新,没有训练分类器。

实际训练时,进入 SWA 阶段后照常用梯度更新原模型的权重,再按采样频率调用 update_parameters;全部平均完成后才跑一次 update_bn,最后切到 eval() 评测。用来重算的是训练数据,不需要标签,也不用反向传播。

为什么平均权重像集成

FGE 平均的是输出,SWA 平均的是权重。两者什么时候差不多?作者用一阶展开回答。

令 FGE 存下的点是 w1,…,wnw_1,\dots,w_n,平均是 wSWAw_{\text{SWA}},各点与平均的差是 Δi=wi−wSWA\Delta_i = w_i - w_{\text{SWA}},所以 ∑iΔi=0\sum_i \Delta_i = 0。把网络输出 ff 在 wSWAw_{\text{SWA}} 附近展开:

f(wi)=f(wSWA)+⟨∇f(wSWA),Δi⟩+O(∥Δi∥2)f(w_i) = f(w_{\text{SWA}}) + \langle \nabla f(w_{\text{SWA}}), \Delta_i \rangle + O(\lVert\Delta_i\rVert^2)

对 ii 取平均,一次项加起来刚好是 ⟨∇f,∑iΔi⟩/n=0\langle \nabla f, \sum_i \Delta_i\rangle / n = 0,只剩下二次项:

1n∑i=1nf(wi)−f(wSWA)=O(∥Δ∥2)\frac{1}{n}\sum_{i=1}^n f(w_i) - f(w_{\text{SWA}}) = O(\lVert\Delta\rVert^2)

只要这些点彼此靠得够近,集成的输出和平均权重的输出就只差一个二次小量。FGE 的点正是刻意用很小的步子找出来的,SWA 因此能用一个模型逼近 FGE 的集成。

这段推导还有一个前提,ff 在附近要足够平滑,二阶余项也要小。若把相隔很远、甚至来自不同随机初始化的模型放进来,Δi\Delta_i 很大,展开式就无法支持「平均权重接近平均输出」的判断。SWA 收的是同一条训练轨迹后段的点。

作者在 CIFAR-100 的 ResNet-164 上跑了 20 个 epoch 的 FGE。相邻快照的类别概率向量,平均差异范数是 0.126;SWA 与 FGE 集成之间是 0.079。相邻快照的类别预测一致率不超过 87.33%,SWA 与集成却有 95.26%。这些量测让一阶项相消的推导有了实际对照,两者输出接近,但仍然留有差距。

讨论

站在边缘的 SGD

原论文 Figure 1:三张等高线图,红色代表数值低、蓝色代表数值高。左图是测试错误率的曲面,三个 FGE 的采样点 W1、W2、W3 散在红色区域的边缘,平均权重 WSWA 落在中间;中图是测试错误率、右图是训练损失,两张图都标出从第 125 个 epoch 出发、SGD 收敛到的 WSGD 与 SWA 得到的 WSWA,WSGD 位在低损失区的边缘,WSWA 更靠近测试错误率低的中心。
原论文 Figure 1(Izmailov 等人),取自 PDF 第 2 页。

这张图是 CIFAR-100 上的 Preactivation ResNet-164。左图可以直接看到 SWA 的动机,三个 FGE 采样点围在红色区域的外圈,平均出来的 wSWAw_{\text{SWA}} 落在中间。

中图和右图要一起看。两者从同一个第 125 个 epoch 的权重出发,分别跑完 SGD 和 SWA。右图的训练损失上,wSGDw_{\text{SGD}} 已经在低损失区里,位置却偏在边缘;中图的测试错误率上,wSWAw_{\text{SWA}} 比 wSGDw_{\text{SGD}} 更接近错误率最低的地方。

训练损失和测试错误率的地形并没有完全重叠,中间错开了一段。站在低损失区的边缘,地形稍微一偏,测试错误率就上去了;站在中间,余裕比较多。

作者用两个实验支持这个说法。第一个从两个解各沿 10 个随机方向往外走。下图横轴是移动距离,左边量测试错误率,右边量训练损失,蓝色是 SWA、绿色是 SGD,每条线对应一个方向。

SWA 与 SGD 各沿十个随机方向移动时,测试错误率和训练损失的上升曲线。
原论文 Figure 4(Izmailov 等人),取自 PDF 第 6 页。

从距离 0 的位置看,两者的训练损失差不多,SGD 甚至略低;但 SWA 的曲线宽得多,要走得更远,错误率才会上升同样的幅度。这个切面检查的是离开各自解之后的敏感度。

第二个是直接看 wSGDw_{\text{SGD}} 到 wSWAw_{\text{SWA}} 这条线。线上的训练损失和测试错误率明显错开,wSGDw_{\text{SGD}} 落在一片平坦区域的边界,旁边就是陡坡。作者的结论是,SWA 和 SGD 在同一个盆地里,SWA 找到的是盆地里更平坦的位置;它的训练损失往往略高一点,严格说不是损失的局部最小值。

CIFAR 与 ImageNet

CIFAR 的实验先用一般调度跑完约 75% 的预算,再改用 SWA 跑完剩下的部分。CIFAR-100 上的 Preactivation ResNet-164,一般 SGD 是 78.49%;同样的总预算改用 SWA,是 79.77%,和 FGE 集成的 79.84% 几乎一样,推理只要一个模型。把预算加到 1.5 倍,SWA 到 80.35%。VGG-16 从 72.55% 到 73.91%,WRN-28-10 从 80.82% 到 81.46%。SWA Table 1

ImageNet 上,作者直接拿 torchvision 的预训练模型,用循环学习率再跑 5 或 10 个 epoch:

模型SGDSWA 5 epochsSWA 10 epochs
ResNet-5076.1576.83 ± 0.0176.97 ± 0.05
ResNet-15278.3178.82 ± 0.0178.94 ± 0.07
DenseNet-16177.6578.26 ± 0.0978.44 ± 0.06

Top-1 准确率(%),整理自原论文 Table 2。

三个架构都进步了 0.6 到 0.9 个百分点,花的只是原本训练的一小部分。

预算与平坦度,要各自读

前面的「同样预算」适用于 VGG、ResNet 和 WRN。PyramidNet 与 Shake-Shake 的实验则先跑完一整份标准预算,再加 0.25 或 0.5 份预算做 SWA,所以论文没有列它们的 1B1B 成绩。CIFAR-100 的 PyramidNet-272 从 SGD 的 83.41% 到 1.5B1.5B 的 84.16%;CIFAR-10 的 Shake-Shake 从 96.93% 到 1.25B1.25B 的 97.16%,加到 1.5B1.5B 是 97.12%。多平均、更久训练也有边际效益。

额外成本包括训练时保存一份平均权重、每次收样做一次逐参数加权,以及结束后重估 BatchNorm 的前向传播。部署时只保留平均模型,参数量与单次推理量才回到原模型的水准。对激活值很大的图像训练,作者量到的内存增加不多;若权重本身占了大部分内存,额外一份权重就要另外评估。

再回头看平坦度。论文量的是指定参数表示下的 10 个随机方向,以及 SGD 到 SWA 的特定方向;尤其后者能看到 SGD 附近一侧很陡、另一侧较平。神经网络可以靠重新缩放参数改变地形的视觉宽度,因此作者也讨论了单靠「平」来解释泛化的争议。这组证据支持这些架构与训练设置中的几何解释,使用时仍得直接量测验证准确率。

结论

SWA 的做法很短,训练后段让学习率维持在较高的水准,把走过的权重平均,再重算一次 BatchNorm。它的道理也不复杂,SGD 停在好区域的边缘,平均把模型带回中间。

自己用的时候,最容易漏掉的是最后那一步。网络里有 BatchNorm 的话,平均完记得跑一次 update_bn,让统计量对上平均后的权重。

这个平均后来走得很远。2024 年 Llama 3 的技术报告写到后训练的模型平均时,引用的第一篇就是这篇。