Linear Mode Connectivity and the Lottery Ticket Hypothesis
- 发表版本
- ICML 2020会议
- arXiv 首次提交
- arXiv:1912.05671
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{modelmerginglinearmodeconnectivity2019,
title = {{Linear Mode Connectivity and the Lottery Ticket Hypothesis}},
author = {Jonathan Frankle and Gintare Karolina Dziugaite and Daniel M. Roy and Michael Carbin},
year = {2019},
eprint = {1912.05671},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1912.05671}
}
固定网络的初始权重、固定超参数,训练两次,结果还是会不一样。每个 epoch 的数据顺序不同,数据增强抽到的裁切、翻转也不同;这些随机性,论文统称为 SGD 噪声。
MIT 的 Jonathan Frankle、Element AI 的 Gintare Karolina Dziugaite、多伦多大学与 Vector Institute 的 Daniel Roy,以及 MIT 的 Michael Carbin,想知道这些噪声到底改变了多少。两次训练的结果,是同一个解的两种近似,还是落进了两个不同的谷?
Frankle 和 Carbin 在 2018 年提出彩票假说(lottery ticket hypothesis),在小网络上找到一些很稀疏、从初始化就能单独训练到完整网络准确率的子网络,换到 ImageNet 这种规模却找不到。这篇论文的另一半,就是用同一套工具去解释这件事。
定义问题
作者提出的工具叫不稳定性分析(instability analysis)。
取一个网络 的某个状态 ,可能是随机初始化的 ,也可能是训练了 步的 。把它复制两份,用不同的 SGD 噪声各自训练到结束,得到 和 。再拿一个函数比较这两组权重。
比较的方法是沿直线混合两者:
是错误率。沿线最高的错误率,减去两个端点错误率的平均,就是这条线上的「错误障碍高度」:
障碍高度接近 0,就说两者线性模式连通(linear mode connectivity),这个网络状态对 SGD 噪声是稳定的。作者用 2 个百分点当门槛, 取 30 个等距的值,每个设置跑三个初始化、每个初始化三种数据顺序,一共九组平均。
假设两个终点的错误率是 8% 和 10%,沿线最高是 45%,障碍就是 个百分点。若最高只有 10%,障碍是 1 个百分点,就落在作者的稳定门槛内。这个定义会把端点本来的误差算进去,所以比较时不能只看中点有多高,也要看两端有多好。
此外,30 个位置是实验中的离散近似。这里量的是分类错误率,和交叉熵的损失障碍有关,却是不同指标;预测类别相同,置信度仍可能不同。下文的「稳定」都沿用这个量测与门槛。

左图从初始化就分岔,右图先一起走 步再分岔。只要把 从 0 一路往后扫,就能看出网络从哪一步开始「定下来」。
解决问题
从初始化就分岔
作者测了五个网络,MNIST 上的 LeNet、CIFAR-10 上的 ResNet-20 与 VGG-16、ImageNet 上的 ResNet-50 与 Inception-v3;CIFAR 的两个网络另外还有学习率较低、以及加上预热的变体。
从 就复制,除了 LeNet,其他网络全都不稳定。沿直线混合两份训练结果,训练与测试错误率都升到随机猜测的程度。LeNet 的错误率也有上升,但不到一个百分点。
同一个初始化,只是数据顺序和增强不同,最后就落进了两个直线不通的谷。对大一点的网络来说,初始权重相同还不够。
扫过 k

每张图的横轴是复制之前先训练了几步,纵轴是测试集上的不稳定性。除了 LeNet,每条线都从很高的地方开始往下掉,掉到 0 附近就停住。
掉到门槛以下的时间点都很早。ResNet-20 在第 2,000 次迭代、VGG-16 在第 1,000 次,分别只走完训练的 3% 和 1.5%。ImageNet 上晚一些,ResNet-50 在第 18 个 epoch(全程的 20%),Inception-v3 在第 28 个 epoch(16%)。
过了这个点,实验抽到的不同数据顺序与增强,会把模型带到线性连通的区域。这是多组训练的观察,门槛也会随架构、调度与量测数据而变。
| 完整网络 | 训练总长 | 测试不稳定性低于 2% 的起点 |
|---|---|---|
| LeNet/MNIST | 24,000 次更新 | 初始化就稳定 |
| ResNet-20/CIFAR-10 | 63,000 次更新 | 约第 2,000 次,3% |
| VGG-16/CIFAR-10 | 63,000 次更新 | 约第 1,000 次,1.5% |
| ResNet-50/ImageNet | 90 epochs | 约第 18 个 epoch,20% |
| Inception-v3/ImageNet | 171 epochs | 约第 28 个 epoch,16% |
依原论文 Figure 3 与训练设置整理。这里列的是标准设置,未混入低学习率与 warmup 变体。
ImageNet 还有一个细节。测试集的障碍已降到门槛内,训练集的障碍仍可能稍高;ResNet-50 的训练稳定时间更晚,Inception-v3 在作者扫描的范围内甚至还没达到训练稳定。说「第 18 个 epoch 定下来」,得连同测试错误率这个条件一起记住。
是时间短,还是真的定了?
这里有一个可能的混淆。 越大,复制之后剩下的训练步数 就越少,两份结果本来就比较没机会走远。不稳定性下降,会不会只是因为训练时间变短?
作者另做一组对照,复制之后一律训练完整的 步,学习率调度也从头开始。在 ResNet-20 和 VGG-16 上,两种做法的不稳定性曲线几乎重叠。剩余训练时间的长短,不是造成稳定的原因。
作者还检查了分岔时的模型是否早就学完了。ResNet-20 第 2,000 次更新时的测试错误率约 25%,最终还能降到 8.3%;VGG-16 第 1,000 次约 20%,最终是 6.3%。它们在参数空间里也还比较靠近初始化,而非最后的权重。后面仍有很长一段训练,稳定描述的是后续会走进哪一片线性连通区域,准确率还会继续改善。
讨论
稀疏子网络的成败
论文后半回到彩票假说。
彩票假说的证据来自迭代式幅值剪枝(iterative magnitude pruning,IMP)。把网络训练完,剪掉绝对值最小的权重,剩下的权重倒回初始值,再重新训练;反复几轮,直到达到目标稀疏度。ImageNet 的两个网络为了省计算,一次剪到位。若这个子网络能训练到和完整网络一样的准确率,作者称它为「matching」。
在 LeNet 上,IMP 找到的子网络是 matching;在 ResNet-20、VGG-16 的标准设置和 ImageNet 上就不行。ResNet-50 只保留 30% 的权重时,完整网络是 76.1%,倒回初始值的 IMP 子网络只有 73.7%,和随机剪枝差不多。
作者用不稳定性分析看这些子网络,发现两件事对得很整齐。从初始化就 matching 的子网络,从初始化就稳定;不 matching 的子网络,从初始化就不稳定。
既然完整网络要先训练一小段才会稳定,那剪枝后不要倒回初始值,改倒回第 步呢?结果,原本不 matching 的子网络,倒回稍后的步数就变成 matching;而开始 matching 的时间点,和子网络变稳定的时间点几乎重合。ResNet-50 和 Inception-v3 的 IMP 子网络,分别在第 5 和第 6 个 epoch 就稳定了,比完整网络的第 18 和第 28 个 epoch 早得多。
这让彩票假说的观察延伸到了 ImageNet,只是「彩票」不在初始化,而在训练早期。
倒回的是哪一份权重
把 IMP 写成操作会更清楚。先保存完整网络在第 步的 ,再用二元掩码 表示哪些参数留下。每轮从 训练到结束,依训练后的权重绝对值更新 ,剪掉目前仍存活参数中最小的 20%,然后再倒回同一份 。两轮之后保留的是 ,并非每次减去原始参数的 20%。
掩码是看过训练终点后才找出来的,所以这套实验花了多次训练。它证明早期权重里存在好子网络;若要拿来节省实际训练时间,还得处理寻找掩码的成本,以及稀疏运算能否得到硬件加速。
对照组也很有用。一组随机剪枝,但保留 IMP 的各层保留比例;另一组沿用 IMP 找到的掩码,重新随机初始化存活权重。这样可以分开检查「连接结构」和「对应权重」的作用。在选定的极端稀疏度下,多数这类随机子网络即使延后倒回,也维持不稳定且较差的准确率。
例如标准 ResNet-20 保留 16.8% 权重,IMP 子网络约在第 500 次更新就稳定;VGG-16 保留 1.5%,约在第 1,000 次稳定。ImageNet 两组都保留 30%,稳定起点则是前面提过的第 5 和第 6 个 epoch。稀疏子网络的稳定时间可以比完整网络更早,参数较少与是否稳定并没有简单的单调关系。
稳定以后,还可能太小
作者又把 CIFAR-10 的稀疏度一路往上推。ResNet-20 保留约 80.0% 到 13.4% 权重时,能找到达到完整网络准确率的 IMP 子网络;VGG-16 对应的范围约是 16.8% 到 1.2%。再少下去,在扫过的倒回时间里,连 IMP 也找不到 matching 子网络。
这里的 matching 在跨稀疏度分析中容许约 0.2 个百分点的准确率下降。极端稀疏时,变稳定仍会伴随错误率下降,但容量已不足以追上完整网络。因此稳定和成功训练的关联很强,拿它当成所有子网络都能达标的充分条件就会过头。
附录还用 距离、余弦距离、预测分歧与逐样本损失差比较两个终点。完整网络的参数距离随分岔时间平顺下降,没有在稳定点突然归零;相同区域内的两个终点仍可以相隔很远。线性插值额外告诉我们的是,中间那整段参数是否也好用,单看两点的距离无法回答。
对模型合并的意义
这篇论文没有谈模型合并,但它碰到了合并最基本的前提,也就是两个模型什么时候可以直接平均。
在论文的设置里,两份复制用的是同样的数据和超参数,只差在 SGD 噪声。只要它们一起走过训练早期那一段,直线混合就不会遇到障碍,相加除以二也不会掉进高损失区。
后来的预训练加微调,把共同的训练路径拉得很长,提供了研究合并的好起点。不过微调数据和目标各不相同,这已经超出这篇只改变 SGD 噪声的实验;能否相加,还要看后来的研究与实际插值曲线。
结论
这篇论文把「两次训练会不会落进同一个谷」变成一个可以量的问题。量出来的结果,除了很小的网络,从初始化出发不会;只要一起走过训练最前面的 1.5% 到 20%,之后就会。
同一个工具也替彩票假说补上了一块。找不到好子网络的设置,换成倒回训练早期的权重,就找得到了。
如果你要把两个模型的权重直接平均,先想想它们最后一次走同一条路,是在什么时候。