返回论文笔记资料库
arXiv 2020ICLR 2021优化器论文笔记

SAM

先往坏处想

原始论文

Sharpness-Aware Minimization for Efficiently Improving Generalization

论文作者

Pierre Foret · Ariel Kleiner · Hossein Mobahi · Behnam Neyshabur

发表版本
ICLR 2021会议
arXiv 首次提交
arXiv:2010.01412
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{optimizerssam2020,
  title = {{Sharpness-Aware Minimization for Efficiently Improving Generalization}},
  author = {Pierre Foret and Ariel Kleiner and Hossein Mobahi and Behnam Neyshabur},
  year = {2020},
  eprint = {2010.01412},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2010.01412}
}
本页内容

同一个 ResNet,用 SGD 训练,最后停在一个又尖又窄的洞里;换一种训练方法,停在一个宽宽的碗底。两个点的训练损失都很低,模型的参数也一样多。

原论文 Figure 1:左图是换成 SAM 后错误率下降的百分比,每个点是一组数据集、模型与数据增强,CIFAR-10、CIFAR-100、ImageNet、微调、SVHN 与 F-MNIST(共用一行)、带噪声的 CIFAR 分成六行,大多落在 0 到 40% 之间,微调和带噪声的 CIFAR 各有一个点略超过 40%,SVHN/F-MNIST 有一个点略低于 0。中图是 SGD 收敛到的最小值附近的损失地形,一个尖锐的深洞;右图是同一模型改用 SAM 后收敛到的宽阔盆地。
原论文 Figure 1(Foret 等人),取自 PDF 第 2 页,arXiv 许可,学术引用。

中间和右边这两张地形图,是 Google Research 的 Pierre Foret、Ariel Kleiner、Hossein Mobahi 与 Alphabet 旗下 Blueshift 的 Behnam Neyshabur 放在论文第一页的画面(用的是去掉残差连接的 ResNet-56)。左图是他们的战绩。几十组设置里,换成 SAM 后错误率几乎都下降了,降幅从几个百分点到四成以上都有。

「平坦的最小值泛化更好」这个说法很老,至少能追溯到 1990 年代。这篇的做法是,既然想要平坦,就把平坦直接写进目标函数里,而且要便宜到能拿去训练 ImageNet。

定义问题

现代神经网络的参数多到可以把训练数据整个背下来。训练损失有很多个几乎一样低的最小值,它们在测试集上的表现却差很多,选中哪一个,很大程度上取决于优化器和它的设置。

尖锐度(sharpness)和泛化的关系已经有很多研究。Keskar 等人观察到大批量训练容易停在尖的最小值、泛化较差;Jiang 等人在 2019 年比较了 40 种复杂度度量,以尖锐度为基础的度量和泛化差距的相关性最高。

问题在于,过去提出的尖锐度度量大多很难算,更难微分。Entropy-SGD 改为正则化局部熵,SWA 把训练末段的权重平均起来,可以落到较平坦的位置,但它没有直接最小化尖锐度。作者要的是一个可以直接优化尖锐度、又能扩展到大模型的流程。

解决问题

从泛化界到 min-max

起点是一个 PAC-Bayes 泛化界(Theorem 1 的非正式版本)。对任意 ρ>0\rho>0,以高概率有

LD(w)≤max⁡∥ϵ∥2≤ρLS(w+ϵ)+h(∥w∥22/ρ2)L_{\mathcal D}(w) \le \max_{\|\epsilon\|_2\le\rho} L_S(w+\epsilon) + h\big(\|w\|_2^2/\rho^2\big)

LDL_{\mathcal D} 是总体损失,LSL_S 是训练损失,hh 是一个递增函数。把右边拆开:

[max⁡∥ϵ∥2≤ρLS(w+ϵ)−LS(w)]⏟尖锐度+LS(w)+h(∥w∥22/ρ2)\underbrace{\Big[\max_{\|\epsilon\|_2\le\rho} L_S(w+\epsilon) - L_S(w)\Big]}_{\text{尖锐度}} + L_S(w) + h\big(\|w\|_2^2/\rho^2\big)

中括号衡量的是「从 ww 出发,在半径 ρ\rho 的球里,损失最多能升高多少」,就是尖锐度。作者把 hh 换成一般的 L2 正则 λ∥w∥22\lambda\|w\|_2^2,得到 SAM 的目标:

min⁡w  LSSAM(w)+λ∥w∥22,LSSAM(w)=max⁡∥ϵ∥p≤ρLS(w+ϵ)\min_w\; L_S^{SAM}(w) + \lambda\|w\|_2^2,\qquad L_S^{SAM}(w) = \max_{\|\epsilon\|_p\le\rho} L_S(w+\epsilon)

不再找「本身损失低」的点,改找「整个邻域的损失都低」的点。

一阶近似:ϵ^(w)\hat\epsilon(w)

内层的最大化没办法精确求解。作者对 LS(w+ϵ)L_S(w+\epsilon) 在 ϵ=0\epsilon=0 处做一阶泰勒展开:

ϵ∗(w)≈arg⁡max⁡∥ϵ∥p≤ρ  LS(w)+ϵ⊤∇wLS(w)=arg⁡max⁡∥ϵ∥p≤ρ  ϵ⊤∇wLS(w)\epsilon^*(w) \approx \arg\max_{\|\epsilon\|_p\le\rho}\; L_S(w) + \epsilon^\top\nabla_w L_S(w) = \arg\max_{\|\epsilon\|_p\le\rho}\; \epsilon^\top\nabla_w L_S(w)

在范数球里让内积最大,答案是经典的对偶范数问题。取 p=2p=2 时,解就是把梯度缩放到长度 ρ\rho:

ϵ^(w)=ρ ∇wLS(w)∥∇wLS(w)∥2\hat\epsilon(w) = \rho\,\frac{\nabla_w L_S(w)}{\|\nabla_w L_S(w)\|_2}

也就是沿着梯度方向往「上坡」走 ρ\rho 那么远。附录里也试了 p=∞p=\infty(ϵ^=ρ sign(∇L)\hat\epsilon=\rho\,\mathrm{sign}(\nabla L)),效果不如 p=2p=2;随机方向、同样长度的扰动也不如沿梯度的扰动。

接着要算 LSAML^{SAM} 的梯度。ϵ^\hat\epsilon 本身是 ww 的函数,链式法则会带出一项 dϵ^dw\frac{d\hat\epsilon}{dw},里面藏着 Hessian:

∇wLSSAM(w)≈∇wLS(w)∣w+ϵ^+dϵ^(w)dw ∇wLS(w)∣w+ϵ^\nabla_w L_S^{SAM}(w) \approx \nabla_w L_S(w)\big|_{w+\hat\epsilon} + \frac{d\hat\epsilon(w)}{dw}\,\nabla_w L_S(w)\big|_{w+\hat\epsilon}

第二项可以用 Hessian-vector product 算,作者为了省计算直接丢掉,最后的梯度是

∇wLSSAM(w)≈∇wLS(w)∣w+ϵ^(w)\nabla_w L_S^{SAM}(w) \approx \nabla_w L_S(w)\big|_{w+\hat\epsilon(w)}

到扰动后的点 w+ϵ^w+\hat\epsilon 去取梯度,再拿这个梯度更新原本的 ww。

丢掉二阶项是一种近似,作者在附录做了对照。训练前半段,有没有二阶项的两种更新方向几乎一样,余弦相似度接近 1;接近收敛时才分开,而且不含二阶项的版本测试错误反而较低,作者坦言「quite unclear」。他们也试过内层多走几步投影梯度上升,把最坏点找得更准,CIFAR-10 的测试错误在 1、2、3、5 步时分别是 2.77%、2.76%、2.73%、2.77%,差不多;CIFAR-100 多步稍好一些(16.72% 对 16.6% 左右)。

两次梯度

原论文 Figure 2:损失等高线上的一次 SAM 更新。从 w_t 沿梯度方向走 ρ/‖∇L(w_t)‖₂ · ∇L(w_t)(橙色箭头往左下)到 w_adv;在 w_adv 计算梯度,蓝色箭头 −η∇L(w_adv) 平移回 w_t 出发,得到 w_{t+1}^SAM。对照的一般梯度步 −η∇L(w_t) 则到达 w_{t+1}。
原论文 Figure 2(Foret 等人),取自 PDF 第 4 页,arXiv 许可,学术引用。

沿着这张图走一遍。从 wtw_t 开始,一般的 SGD 会沿 −η∇L(wt)-\eta\nabla L(w_t) 走到右上的 wt+1w_{t+1}。SAM 先反过来,沿梯度往上坡走一小段,到达 wadvw_{adv},这是半径 ρ\rho 内损失最高的点的一阶估计。在 wadvw_{adv} 算梯度,得到蓝色箭头 −η∇L(wadv)-\eta\nabla L(w_{adv});把这支箭头搬回 wtw_t 出发,终点才是 SAM 的 wt+1SAMw_{t+1}^{SAM}。两个终点方向不同,SAM 走的是「最坏情况下也能下降」的方向。

所以每一步要两次前向与反向传播,计算量是原来的两倍。写成 PyTorch,基础优化器是一般的 SGD:

python
import torch

def sam_step(model, loss_fn, x, y, base_opt, rho=0.05):
    """一次 SAM 更新(p = 2):先走到邻域里最坏的点,再用那里的梯度更新原本的权重"""
    params = [p for p in model.parameters() if p.requires_grad]

    loss_fn(model(x), y).backward()                    # 第 1 次反传:∇L(w)
    with torch.no_grad():
        norm = torch.norm(torch.stack([p.grad.norm() for p in params]))
        eps = [rho * p.grad / (norm + 1e-12) for p in params]   # ε̂ = ρ ∇L / ‖∇L‖₂
        for p, e in zip(params, eps):
            p.add_(e)                                  # w → w + ε̂
    base_opt.zero_grad()

    loss_fn(model(x), y).backward()                    # 第 2 次反传:∇L(w + ε̂)
    with torch.no_grad():
        for p, e in zip(params, eps):
            p.sub_(e)                                  # 回到 w
    base_opt.step()                                    # w ← w − η ∇L(w + ε̂)
    base_opt.zero_grad()

这里的范数是把所有参数的梯度拼成一条向量来算的,整个模型共用一个 ρ\rho。

ρ\rho 怎么选

ρ\rho 是 SAM 唯一新增的超参数。作者在 {0.01,0.02,0.05,0.1,0.2,0.5}\{0.01, 0.02, 0.05, 0.1, 0.2, 0.5\} 里用 10% 的训练数据当验证集来挑选,CIFAR 上挑出来的值在 0.02 到 0.2 之间;他们也说 ρ=0.05\rho=0.05 是「solid default」,附录把全部 CIFAR 与微调实验改用 0.05 重跑,结果和调过 ρ\rho 的版本大多相同或只差一点,全部仍胜过不用 SAM 的基线。ImageNet 的实验全部用 0.05。

注意 ρ\rho 是参数空间里的绝对距离。同一个 0.05,对数值大的权重是小扰动,对数值小的权重是大扰动。这件事后面还会出现。

讨论

比较条件

每个实验都是把原本的训练流程直接换成 SAM。因为 SAM 每步算两次梯度,作者让不用 SAM 的基线跑两倍的 epoch,取标准长度与加倍长度中较好的那个;他们说多数情况下加长没有明显帮助。每组设置跑 5 次,报告平均值与 95% 置信区间。实现用的是 JAX;多卡时,每张卡用分到的子批量各自算 ϵ^\hat\epsilon 与 SAM 梯度,最后再平均。这个细节后面会变得很重要。

CIFAR

CIFAR 的模型是已经被调得很好的 WideResNet、Shake-Shake 与 PyramidNet,本身就带有各种正则化。挑几行来看:

模型与增强CIFAR-10CIFAR-100
WRN-28-10,200 ep,基础2.7/3.516.5/18.8
WRN-28-10,1800 ep,AA1.6/2.212.8/16.1
PyramidNet,基础2.7/4.014.6/19.7
PyramidNet+ShakeDrop,AA1.4/1.610.3/10.6

整理自原论文 Table 1;每格为「SAM/SGD」的测试错误率(%),AA 是 AutoAugment。

一个单纯的 WideResNet 加上 SAM,CIFAR-10 错误率从 2.2% 降到 1.6%,原本得靠 PyramidNet 加 ShakeDrop 这类复杂组合才做得到。在已经重度正则化的 PyramidNet+ShakeDrop 上,改善就小得多,CIFAR-100 从 10.6% 到 10.3%,但这也是当时不用额外数据的最好成绩。

ImageNet

ResNet-50、101、152,批量 4096,SGD 加动量、cosine 调度、label smoothing,ρ=0.05\rho=0.05,最多训练 400 个 epoch。

模型100 ep200 ep400 ep
ResNet-5022.5/22.921.4/22.320.9/22.3
ResNet-10120.2/21.219.4/20.919.0/22.3
ResNet-15219.2/20.418.5/20.318.4/20.9

整理自原论文 Table 2;每格为「SAM/标准训练」的 top-1 错误率(%)。

横着读这张表。标准训练从 200 到 400 epoch 不进反退,ResNet-101 从 20.9% 退到 22.3%,是典型的过拟合;SAM 一路变好。再按计算量对齐,SAM 跑 200 epoch 的成本约等于标准训练 400 epoch,ResNet-50 是 21.4% 对 22.3%,ResNet-152 是 18.5% 对 20.9%,SAM 仍然赢。换成 100 对 200 epoch,ResNet-50 的 SAM 是 22.5%,略输给标准训练的 22.3%。

微调

从公开的 EfficientNet 检查点微调,EfficientNet-L2 本身已经用 NoisyStudent 在 ImageNet 加 JFT 上训练到 88.2%。加上 SAM 微调后,ImageNet 的 top-1 错误率从 11.8% 降到 11.39%,CIFAR-100 从 4.07% 到 3.92%,Stanford Cars 从 4.93% 到 4.04%;其中 ImageNet 与 CIFAR-100 都刷新了当时的纪录。微调时冻结了 BN 的统计量,ImageNet 只训练 10 个 epoch。

标签噪声

既然 SAM 找的是「附近都不怕扰动」的参数,作者猜它对训练数据的噪声也比较有抵抗力。实验把 CIFAR-10 训练集的一部分标签随机打乱,测试集保持干净,训练 ResNet-32 共 200 个 epoch:

方法20%40%60%80%
SGD84.868.848.226.2
Mixup93.090.083.870.2
SAM95.193.490.577.9
Bootstrap+SAM95.494.291.879.9
MentorMix95.694.291.381.0

整理自原论文 Table 4;各列是噪声比例,数值为干净测试集上的准确率(%);MentorMix 为文献数字。

80% 的标签是错的时候,SGD 只剩 26.2%,SAM 还有 77.9%。单纯用 SAM,就胜过所有专门处理噪声标签的方法,只输给 MentorMix;先训练一次、再用模型自己的预测当标签重训(Bootstrap),就和 MentorMix 差不多。ρ\rho 在这组实验取 0.1,80% 噪声时改成 0.05 才收敛得稳。

m-sharpness:每张卡各自扰动

原论文 Figure 3:左边六张小图是 WideResNet 在第 1、50、300 个 epoch 的 Hessian 特征值分布,SGD(蓝)收敛时最大特征值 24.2、λmax/λ5 为 11.4,SAM(橙)为 1.0 与 2.6。中图是测试错误率对 ρ,五条线是 m = 1、4、16、64、256,m 小时最低点较低,但 ρ 一大就迅速变差,m = 256 的线最平,最低点也最高。右图是 m-sharpness 与泛化差距的互信息,m 越小越高。
原论文 Figure 3(Foret 等人),取自 PDF 第 8 页,arXiv 许可,学术引用。

前面提过多卡时每张卡各自算扰动。这等于把目标改成「每 mm 个样本各自做一次最大化,再加总」,mm 是每张卡分到的样本数;作者把这种尖锐度叫做 m-sharpness。

先看中图。纵轴虽然标着 %,数值其实是比例,0.05 就是 5%。ρ=0\rho=0 时错误率约 5.3%。m=1m=1 与 m=4m=4 的最低点约 4.3%,但 ρ\rho 超过 0.05 之后很快变差;m=256m=256 的紫线最平,最低也只到约 4.7%。小 mm 的效果较好,刚好也和多卡并行的需求相容。右图则显示,mm 越小,m-sharpness 对实际泛化差距的预测力越强。作者据此认为,m-sharpness 可能比全训练集的尖锐度更能刻画泛化。

左边六张小图确认 SAM 真的停在了曲率较低的地方。这是不含 BN 的 WideResNet-40-10,用 Lanczos 方法估计 Hessian 的特征值分布;训练结束时,SGD 的最大特征值约 24,SAM 约 1.0;描述整体分布的 λmax/λ5\lambda_{max}/\lambda_5 从 11.4 降到 2.6。

这一节有个实现上的推论。在 PyTorch 的 DistributedDataParallel 里,backward() 会自动把各卡的梯度平均,第一次反传若照常同步,ϵ^\hat\epsilon 就变成用整个批量算的,mm 一下子变大。davda54/sam 的建议是把第一次反传放在 model.no_sync() 里,保持每张卡各自扰动。

后来对 SAM 的理解

尖锐度本身有问题

SAM 发表前三年,Dinh 等人就指出「平坦」这个概念在深度网络上站不太稳。ReLU 满足 ϕ(αz)=αϕ(z)\phi(\alpha z)=\alpha\phi(z),所以把某一层权重乘以 α\alpha、下一层除以 α\alpha,网络算出来的函数完全一样,但损失地形在参数空间里的形状被拉伸了。他们先在单隐藏层网络上证明、再推广到多层,对任何 Hessian 不为零的最小值,都能找到函数相同、Hessian 谱范数任意大的参数。函数一样,泛化当然一样,尖锐度却可以随便调,所以在原始参数坐标下测的尖锐度,本身没办法解释泛化。

SAM 的 ρ\rho 也有同样的问题,它是参数空间里的绝对距离。ASAM(Kwon 等人,2021)把扰动范围改成按权重大小缩放,约束改成 ∥Tw−1ϵ∥p≤ρ\|T_w^{-1}\epsilon\|_p\le\rho,其中 Tw=diag(∣w1∣,…,∣wk∣)T_w=\mathrm{diag}(|w_1|,\dots,|w_k|),这样的「adaptive sharpness」在上述缩放下不变。p=2p=2 时扰动变成 ϵ=ρ Tw2∇L/∥Tw∇L∥2\epsilon=\rho\,T_w^2\nabla L/\|T_w\nabla L\|_2,权重越大的坐标扰动越大;ρ\rho 因此要大约 10 倍(CIFAR-10 用 0.5、CIFAR-100 用 1.0)。ResNet-50 在 ImageNet 上的 top-1 准确率,SGD、SAM、ASAM 分别是 75.79%、76.39%、76.63%。

泛化界解释不了 SAM

Andriushchenko 与 Flammarion(2022)回头检查了 SAM 的理论依据。泛化界推导出来的是对全训练集做最大化的版本,他们称为 n-SAM;论文实际在用的是每个批量各自扰动的 m-SAM。在 CIFAR 上实测,随机扰动几乎没用,n-SAM 也几乎没用,只有低 mm 的版本(例如 128-SAM)明显改善泛化。如果泛化界是原因,n-SAM 应该最好,结果刚好相反。他们的结论是,现有的泛化界解释不了 SAM,而且以 m-sharpness 衡量的「更平坦」也不一定带来更好的泛化。

他们也提出了一些可用的观察。在对角线性网络上,1-SAM 的隐式偏差偏好较稀疏的解,比 n-SAM 和一般训练都强;在 CIFAR 上,只在最后约 10% 的 epoch 从一般训练切换到 SAM,就能明显改善泛化,所以可以拿 SAM 来微调现成的模型。

2023 年 Andriushchenko 等人把范围扩展到 ImageNet 上的 Transformer、CLIP 微调和 BERT。结果是尖锐度(包括 adaptive sharpness)和泛化的相关性并不好,反而和学习率之类的训练设置相关;在好几种情况下,越尖的最小值在分布外数据上表现越好。

被用得很多

理论吵归吵,SAM 在实践中被广泛使用。Chen 等人(2022)发现,不用大规模预训练、只用简单数据增强在 ImageNet 上从头训练时,ViT 收敛到的最小值极尖;加上 SAM 后,ViT-B/16 的 top-1 从 74.6% 升到 79.9%,MLP-Mixer-B/16 从 66.4% 升到 77.4%。NFNet 最大的 F6 模型,也是加上 SAM 才拿到 86.5% 的准确率。

结论

SAM 把「整个邻域的损失都要低」写成一个 min-max 目标,用一阶近似把内层最大化变成「沿梯度往上走 ρ\rho」,再在那个点取梯度更新原本的权重。代价是每步两次反向传播。在 CIFAR、ImageNet、微调与噪声标签上,它都普遍胜出;CIFAR 的比较还让基线多跑了一倍的 epoch。

实际要用的话,ρ=0.05\rho=0.05 是好的起点,预算要按两倍来算;带 BN 的模型记得第二次前向不要更新统计量,多卡时第一次反传别同步,让每张卡各自扰动。预算不够的话,可以只在训练的最后一段、或微调时开 SAM。

至于「平坦才会泛化」这句话,到 2023 年还有论文在反驳;SAM 倒是一直被拿来用。