返回论文笔记资料库
arXiv 2022ICLR 2023模型合并论文笔记

Git Re-Basin

排好座位

原始论文

Git Re-Basin: Merging Models modulo Permutation Symmetries

论文作者

Samuel K. Ainsworth · Jonathan Hayase · Siddhartha Srinivasa

发表版本
ICLR 2023会议
arXiv 首次提交
arXiv:2209.04836
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{modelmerginggitrebasin2022,
  title = {{Git Re-Basin: Merging Models modulo Permutation Symmetries}},
  author = {Samuel K. Ainsworth and Jonathan Hayase and Siddhartha Srinivasa},
  year = {2022},
  eprint = {2209.04836},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2209.04836}
}
本页内容

隐藏层里的单元没有固定的顺序。把第 3 号和第 7 号单元对调,只要下一层读取输入的位置也跟着对调,网络算出来的东西一模一样。

这种排列的对称性,Hecht-Nielsen 在 1990 年就讨论过。它意味着同一个函数有大量不同的权重写法。论文算了几个常见架构的数量:

架构隐藏单元的排列方式
三层 MLP,宽度 51210349810^{3498}
VGG16103516010^{35160}
ResNet50105510910^{55109}
可观测宇宙的原子数上限108210^{82}

整理自原论文 Table 1。

两个从不同随机初始化训练出来的网络,直线混合时中间会冒出一道高墙,这件事大家早就知道。2021 年,Entezari 等人提出一个大胆的猜想,如果把排列的可能都考虑进去,SGD 找到的解之间,大多数沿直线混合都不会有障碍。换句话说,损失地形在「不计排列」的意义下,可能只有一个盆地。

华盛顿大学的 Samuel Ainsworth、Jonathan Hayase 与 Siddhartha Srinivasa 想把这个猜想变成能用的工具。给定两个独立训练的模型,能不能找到一个排列,把其中一个「搬」进另一个的盆地,再直接平均?

定义问题

衡量的方式沿用 Frankle 等人的损失障碍(loss barrier):

max⁡λ∈[0,1]L((1−λ)ΘA+λΘB)−12(L(ΘA)+L(ΘB))\max_{\lambda\in[0,1]} \mathcal{L}\big((1-\lambda)\Theta_A + \lambda\Theta_B\big) - \tfrac12\big(\mathcal{L}(\Theta_A) + \mathcal{L}(\Theta_B)\big)

沿线最高的损失,减去两端损失的平均。等于 0,代表这条直线上没有隆起。

目标是找一个保持功能不变的排列 π\pi,让 ΘA\Theta_A 和 π(ΘB)\pi(\Theta_B) 之间的障碍尽量小。对第 ℓ\ell 层,排列用一个置换矩阵 PℓP_\ell 表示,模型 B 的权重换成

Wℓ′=Pℓ Wℓ(B) Pℓ−1⊤,bℓ′=Pℓ bℓ(B)W_\ell' = P_\ell\, W_\ell^{(B)}\, P_{\ell-1}^{\top},\qquad b_\ell' = P_\ell\, b_\ell^{(B)}

PℓP_\ell 调换第 ℓ\ell 层输出单元的顺序,Pℓ−1⊤P_{\ell-1}^\top 让这一层读取输入的顺序,跟着上一层的换位一起变。

输入与输出的位置有语义,所以两端固定。图像的 RGB 通道、分类器的类别顺序,都不能为了让权重接近就任意交换。可动的是网络内部的隐藏维度,而且同一维度经过的偏置、归一化参数、分支连接都要一起换。残差相加的两条路径必须使用兼容的排列,不能逐层各自乱排。

原论文 Figure 1:一张损失地形的示意图,红色是低损失区。左下的 ΘA 和右下的 ΘB 各在一个弯曲的红色谷里,两者之间的直线中点(红色叉号)落在谷外;白色虚线箭头把 ΘB 搬到左上的 π(ΘB),它和 ΘA 在同一个谷里,两者连线的中点(绿色勾号)也在谷内。
原论文 Figure 1(Ainsworth 等人),取自 PDF 第 3 页,CC BY 4.0。

这张示意图就是整篇的目标。ΘA\Theta_A 和 ΘB\Theta_B 在不同的谷里,直线中点掉出谷外;把 ΘB\Theta_B 换成功能完全相同的 π(ΘB)\pi(\Theta_B),它就跑到 ΘA\Theta_A 所在的谷,两者的中点也落在谷里。

解决问题

作者提出三种找排列的方法。

比对激活值

第一种最直觉。两个模型要解同一个任务,大概会学到相似的特征,只是位置不同。把训练数据喂进两个模型,收集第 ℓ\ell 层的激活值 Z(A),Z(B)∈Rd×nZ^{(A)}, Z^{(B)}\in\mathbb{R}^{d\times n},找一个置换矩阵让两者最接近:

Pℓ=arg⁡min⁡P∈Sd∑i=1n∥Z:,i(A)−PZ:,i(B)∥2=arg⁡max⁡P∈Sd⟨P,  Z(A)(Z(B))⊤⟩FP_\ell = \arg\min_{P\in S_d}\sum_{i=1}^n \big\lVert Z^{(A)}_{:,i} - P Z^{(B)}_{:,i}\big\rVert^2 = \arg\max_{P\in S_d}\big\langle P,\; Z^{(A)} (Z^{(B)})^{\top}\big\rangle_F

右边这个形式是经典的线性指派问题(linear assignment problem),有多项式时间的解法,例如匈牙利算法。每一层各自独立解,跑一遍数据就够。

比对权重

第二种完全不看数据,只看权重本身。

第一层权重的每一行,就是一个单元在看什么。如果 A 的第 ii 行和 B 的第 jj 行很像,这两个单元大概在算同一个特征。拿三个单元、四个输入的小例子算一次:

python
import numpy as np
from scipy.optimize import linear_sum_assignment

# 模型 A 第一層的三個單元,各有 4 個輸入權重
W_A = np.array([[ 1.0, -0.5,  0.2,  0.0],
                [ 0.1,  0.9, -0.8,  0.3],
                [-0.6,  0.0,  0.4,  1.1]])

# 模型 B 學到差不多的三個單元,只是順序換成 (A 的第 2, 0, 1 個),數值也略有不同
W_B = np.array([[-0.5,  0.1,  0.5,  1.0],
                [ 0.9, -0.4,  0.1, -0.1],
                [ 0.2,  1.0, -0.7,  0.2]])

S = W_A @ W_B.T                       # S[i, j]:A 的單元 i 和 B 的單元 j 有多像
print(S.round(2))
rows, cols = linear_sum_assignment(S, maximize=True)
print("A 的單元 i 配到 B 的單元", cols)
text
[[-0.45  1.12 -0.44]
 [-0.06 -0.38  1.54]
 [ 1.6  -0.61 -0.18]]
A 的單元 i 配到 B 的單元 [1 2 0]

相似度矩阵每一行最大的值,刚好指向正确的对应。A 的第 0 个单元配到 B 的第 1 个,第 1 个配到第 2 个,第 2 个配到第 0 个。这个例子的答案一眼就看得出来;真实网络有几百个单元,相似度也没有这么分明,就交给指派算法一次找出总和最大的配对。

找到排列后,还要把它套对。接一个输出层,检查模型 B 换位前后算出的值:

python
W_out = np.array([[1., -2., 0.5], [0.3, 0.4, -0.7]])
x = np.array([0.2, -0.1, 0.5, 1.0])
before = W_out @ np.maximum(W_B @ x, 0)
W_B_aligned = W_B[cols, :]       # 隱藏層換列
W_out_aligned = W_out[:, cols]  # 下一層的輸入換欄
after = W_out_aligned @ np.maximum(W_B_aligned @ x, 0)
print("換位前後功能相同:", np.allclose(before, after))
text
換位前後功能相同: True

这一步还没平均模型,只把 B 换成等价写法。对齐本身应保持 B 的输出;接下来和 A 平均,才会改变网络的函数。分开检查这两步,可以避免把排列套错和平均效果不好混为一谈。

麻烦在于层与层会互相牵动。一个隐藏单元的身份,既由它的输入权重决定,也由它送往下一层的权重决定;改了第 ℓ\ell 层的排列,第 ℓ+1\ell+1 层的输入顺序也得跟着改。把所有层合起来,目标是

arg⁡max⁡π={Pℓ}  ⟨W1(A),P1W1(B)⟩F+⟨W2(A),P2W2(B)P1⊤⟩F+⋯+⟨WL(A),WL(B)PL−1⊤⟩F\arg\max_{\pi=\{P_\ell\}}\;\langle W^{(A)}_1, P_1 W^{(B)}_1\rangle_F + \langle W^{(A)}_2, P_2 W^{(B)}_2 P_1^{\top}\rangle_F + \cdots + \langle W^{(A)}_L, W^{(B)}_L P_{L-1}^{\top}\rangle_F

作者证明这个「双线性指派之和」是 NP-hard,三层以上连常数倍的近似都没有多项式时间的方法。

他们的折衷是坐标下降。固定其他层,只看 PℓP_\ell,问题就退化成一个普通的线性指派问题:

Pℓ←SolveLAP(Wℓ(A)Pℓ−1(Wℓ(B))⊤+(Wℓ+1(A))⊤Pℓ+1Wℓ+1(B))P_\ell \leftarrow \text{SolveLAP}\Big(W^{(A)}_\ell P_{\ell-1} (W^{(B)}_\ell)^{\top} + (W^{(A)}_{\ell+1})^{\top} P_{\ell+1} W^{(B)}_{\ell+1}\Big)

括号里第一项比的是输入端(已经照上一层排好),第二项比的是输出端(已经照下一层排好)。以随机顺序轮流更新每一层,直到排列不再改变。作者说实际上几秒到几分钟就收敛。

每次只接受让整体内积提高的排列,可选的排列又只有有限多个,因此过程会停止。但目标是让权重接近,没有直接最小化数据上的损失,而且停止点只是坐标更新找不到改进的位置。作者在 ImageNet 的对照中特别限制只扫一遍,合并模型的 top-1 准确率约只有 7%;反复扫到收敛则是 51.01%。前一层排好就再也不回头,会漏掉后面各层提供的信息。

用直通估计器学排列

第三种直接把排列当成可学的东西,最小化 ΘA\Theta_A 和投影后的 Θ~B\tilde\Theta_B 平均之后的损失。投影到最近的排列这一步不可微分,就用直通估计器(straight-through estimator)处理,前向传播用投影后的权重,反向传播时当作没有投影。

这个方法效果最好,但要跑一整个训练循环,成本高得多。

更精确地说,优化器保存一份可自由改动的 Θ~B\tilde\Theta_B。每次前向,先从 B 的所有等价排列中找最接近它的 π(ΘB)\pi(\Theta_B),再算 12(ΘA+π(ΘB))\tfrac12(\Theta_A+\pi(\Theta_B)) 的训练损失。投影仍沿用权重匹配;反向时把投影近似成恒等映射,让梯度能回到 Θ~B\tilde\Theta_B。最后交付的是原模型 B 的某个排列,所以 B 端点的函数依然不变。

对齐法用到数据吗?优化什么?主要代价
Activation matching要,收集中间表示各层激活值的匹配程度前向数据与各层指派
Weight matching不用全网络权重内积重复解逐层指派
STE matching要,计算合并损失中点模型的训练损失训练循环加上反复投影

数据相同、架构兼容时,可以选 activation 或 STE;原训练数据无法取得时,weight matching 仍能运作。代价最小的选项,也是论文后面拿来合并分开训练模型的工具。

讨论

排好之后,直线就通了

原论文 Figure 2:四张插值曲线,横轴从模型 A 到模型 B,纵轴是损失。MNIST 的 MLP、CIFAR-10 的 MLP、CIFAR-10 上 32 倍宽的 ResNet20、ImageNet 上标准宽度的 ResNet50。灰色的直接插值在中间大幅隆起;激活比对、权重匹配、直通估计器三种方法让曲线变得平坦许多,ImageNet 上仍留下一个较小的隆起。
原论文 Figure 2(Ainsworth 等人),取自 PDF 第 5 页,CC BY 4.0。

四张图从左到右,数据与模型越来越难。灰线是直接插值,每张图的中间都有一座山;三种排列方法都把山压低了。

MNIST 上,三种方法都做到零障碍;用权重匹配和直通估计器时,测试损失的曲线甚至变成凸的,中间的混合模型比 A、B 都好。CIFAR-10 上,把 ResNet20 加宽到 32 倍后也是零障碍,作者说这是他们所知第一次在 ResNet 上做到。ImageNet 上的 ResNet50 还有一个小山丘,障碍比直接插值少了 67%,没有归零。

三种方法的差距不大。直通估计器最好但最贵;权重匹配完全不用数据,只花几秒,却和需要数据的激活比对差不多。作者认为它在成本和效果之间取得了很好的平衡。

这几组实验还有容易漏看的架构差异。MLP 有三个各 512 单元的隐藏层、ReLU、没有归一化;CIFAR 的 VGG 与 ResNet20 则把归一化换成 LayerNorm,加上裁切、旋转与翻转,用 momentum SGD 训练。ImageNet 的 ResNet50 才保留标准 BatchNorm,而且每个插值模型都重算 BatchNorm 统计量。直接拿标准 BatchNorm 的 CIFAR 模型照做,量到的曲线可能会不同。

67% 是损失障碍的相对降幅,和准确率增加 67 个百分点是两回事。前面提到 ImageNet 合并中点的 51.01% top-1,也显示障碍大幅降低后,中间模型仍可能远弱于两个端点。这里的主要成果,是说明哪些条件下能找到低障碍排列,尚未把独立 ImageNet 模型的无损合并解完。

越宽越好连

为什么 ImageNet 没有归零?作者怀疑是宽度不够。

他们在 CIFAR-10 上把 VGG-16 和 ResNet20 的宽度逐步加大,再做权重匹配。标准宽度的模型看不到线性连通;宽度一加大,障碍一路降到 0。作者的假设是,模型需要足够的容量(特别是宽度)去容纳数据的复杂度,线性连通才会出现。

这也表示,窄的模型要么是排列找得不够好,要么还有排列以外的对称性没被考虑,例如跨层的缩放。作者在讨论里把排列对称性定位成「必要、但不完整」的一块。

训练出来的,不是一开始就有

另一个观察是,线性连通是训练过程中慢慢出现的。作者在 MNIST 和 CIFAR-10 的 MLP 上,每个 epoch 都做一次比对再量障碍,训练初期障碍很高,之后才逐渐下降。

他们也构造了一个反例。有一些不是用 SGD 找到的解,不管怎么排列,都无法和其他解线性连通。这不违反 Entezari 的猜想,猜想本来就只谈 SGD 的解;但它暗示,能找到线性连通,部分要归功于 SGD 本身的偏好。

反例只有两维输入、两个各含两单元的隐藏层。两个模型都完美解出同一个分类问题,但把「判断第一维」和「判断第二维」放在不同层;只在各层内换单元,无法把跨层的分工搬过去。小网络的全部排列都能枚举,作者逐一检查后仍有障碍。这比单纯搜索没找到排列更有力,也说明可用的对称性不只单元换位。

分开训练,合在一起

最后一个实验最接近实际用途。作者把 CIFAR-100 切成两半,数据集 A 包含 0 到 49 类样本的 20% 和 50 到 99 类样本的 80%,数据集 B 反过来,各训练一个 ResNet20。

用权重匹配合并两者,合并模型在整个测试集上的损失比 A、B 都低,内存和计算量只有集成的一半,概率估计的校准也比两个原始模型好。它仍然比不上用全部数据训练的模型,也比不上两个模型的集成;直接插值则差得多。

这两份训练数据互不重叠,但两个模型都看得到全部 100 个类别,只是比例相反。分类头的输出语义因此能保持一致。结果改善的是交叉熵与概率校准,分类准确率没有同时超过两个原始模型。若把实验简化成「不同数据各练一个,合起来全面更好」,就会遗失这项取舍。

附录另做了多模型版本。每次把一个模型对齐到其余模型的平均,轮流更新,再取全体平均;32 个各看一半 MNIST 数据的 MLP,合并后校准接近输出集成,推理只保留一个。这提供了双模型以外的示例,规模与数据难度仍和现代大型语言模型有一段距离。

结论

Git Re-Basin 把「不同初始化的模型不能平均」这件事,改写成「先排好座位,再平均」。权重匹配不需要任何数据,几秒就能跑完,在够宽的网络上可以把障碍压到零。

它也划出了边界。网络要够宽,ImageNet 上的标准 ResNet50 还做不到零障碍。后来的 REPAIR 发现,对齐后的平均模型,激活值的方差会塌缩,重新缩放之后,ImageNet 上的障碍又能再降一截。

后来常见的大型语言模型合并,多从同一份预训练 checkpoint 的微调版本出发,先沿用共同的参数坐标。若手上是独立训练的模型,就得先处理这篇提出的对齐问题,再检查合并后的功能能保留多少。