返回论文笔记资料库
arXiv 2023NeurIPS 2023模型合并论文笔记

TIES-Merging

你们先别吵

原始论文

TIES-Merging: Resolving Interference When Merging Models

论文作者

Prateek Yadav · Derek Tam · Leshem Choshen · Colin Raffel · Mohit Bansal

发表版本
NeurIPS 2023会议
arXiv 首次提交
arXiv:2306.01708
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{modelmergingtiesmerging2023,
  title = {{TIES-Merging: Resolving Interference When Merging Models}},
  author = {Prateek Yadav and Derek Tam and Leshem Choshen and Colin Raffel and Mohit Bansal},
  year = {2023},
  eprint = {2306.01708},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2306.01708}
}
本页内容

任务算术把每个微调模型写成一个任务向量 τt=θt−θinit\tau_t = \theta_t - \theta_{\text{init}},加起来再乘一个系数,就得到一个多任务模型。两个任务时效果很好,任务一多,合并模型和各自微调的专家之间,差距就越拉越大。

北卡罗莱纳大学教堂山分校(UNC)的 Prateek Yadav、Derek Tam、Colin Raffel、Mohit Bansal,以及 IBM Research 与 MIT 的 Leshem Choshen,想知道这些损失是从哪里来的。

他们的答案是,向量相加的时候,参数之间在打架。

定义问题

作者把干扰分成两种。

原论文 Figure 2:左边是两个模型(粉红与紫色箭头)在三个参数上的变化量;方形参数两者都往上,没有干扰;圆形参数只有紫色有大的变化,粉红的是一个很小的虚线箭头;菱形参数一个往上、一个往下。右边是合并结果,橘色箭头是直接平均,绿色是 TIES;圆形与菱形参数上,直接平均的箭头明显变短,TIES 保留了较长的箭头。
原论文 Figure 2(Yadav 等人),取自 PDF 第 2 页。

冗余参数(圆形)。微调时,很多参数只动了一点点,这些小变化对任务几乎没有影响。可是合并时,一个参数对模型 A 很重要、对模型 B 只是噪声,平均下来,A 的重要变化就被 B 的噪声稀释,变短了。

正负号冲突(菱形)。同一个参数,A 要它变大,B 要它变小,直接平均,两者互相抵消。

两种情况,结果都是合并后的参数变小,原本的差别被抹平。

作者先用数据确认这两件事都存在。第一,只保留每个任务向量绝对值最大的 20%,其余归零,十一个任务的平均表现和全部保留差不多;可见大部分的变化确实是冗余的。第二,修剪到 20% 之后,合并两个模型就有约 2% 的参数正负号冲突,合并十一个模型时升到约 30%。

这里的十一个任务用的是 T0-3B 上的 (IA)3^3 微调。它只训练一组缩放中间激活值的小向量,主模型固定,因此「保留 20%」指的是微调参数的改动。作者后面另外验证全参数的 T5 与 CLIP,不能把这张图直接解读成所有大模型都能固定删掉 80% 改动。

解决问题

原论文 Figure 1:TIES-Merging 的流程图。左边是三个模型的任务向量,每个方格是一个参数,彩色箭头是各模型的变化,实线是重要的值、虚线是冗余的值。(1) Trim 删掉虚线,得到修剪后的任务向量;(2) Elect Sign 依各参数的总量选出正负号,形成绿色的符号向量 γm;(3) Disjoint Merge 只保留和选出的正负号一致的值,平均成最右边的合并任务向量 τm。
原论文 Figure 1(Yadav 等人),取自 PDF 第 2 页。

TIES 的名字来自三个步骤,Trim、Elect Sign、Disjoint Merge。先把每个任务向量拆成正负号 γt=sgn(τt)\gamma_t=\text{sgn}(\tau_t) 和大小 μt=∣τt∣\mu_t=\lvert\tau_t\rvert,τt=γt⊙μt\tau_t = \gamma_t\odot\mu_t。

  1. 修剪(Trim):每个任务向量只保留绝对值最大的 k%k\%,其余设成 0,得到 τ^t\hat\tau_t。
  2. 选正负号(Elect):对每个参数 pp,把各任务在这个参数上的值加起来,总和的正负号就是这个参数最后的方向:
γmp=sgn(∑t=1nτ^tp)\gamma_m^p = \text{sgn}\Big(\sum_{t=1}^n \hat\tau_t^p\Big)

这等于比较往正方向和往负方向的「总量」,哪边大就听哪边的。

  1. 不相交平均(Disjoint Merge):每个参数只平均和选出的方向一致的值,被修剪成 0 的值不算:
Ap={t∣γ^tp=γmp},τmp=1∣Ap∣∑t∈Apτ^tp\mathcal{A}^p = \{t \mid \hat\gamma_t^p = \gamma_m^p\},\qquad \tau_m^p = \frac{1}{\lvert\mathcal{A}^p\rvert}\sum_{t\in\mathcal{A}^p}\hat\tau_t^p

最后一样乘上系数加回去,θm=θinit+λ τm\theta_m = \theta_{\text{init}} + \lambda\,\tau_m。

Trim 归零的是差值,对应的微调权重会回到初始化值,基底参数还在。Disjoint Merge 的分母则是这一格实际留下、且方向相符的成员数。假设一格只有一个任务留下 +0.4+0.4,另外十个任务都归零,结果仍是 +0.4+0.4;若除以十一,就又把修剪想消除的稀释加回去了。各格的分母可以不同。

手算一次

拿三个任务、六个参数算一次,数字是为了示范编的,每个任务保留绝对值最大的一半:

python
import numpy as np

tau = np.array([[ 0.8, -0.1,  0.5,   0.02, -0.6, 0.3 ],   # 任務 A
                [-0.7,  0.4,  0.6,  -0.03,  0.1, 0.05],   # 任務 B
                [ 0.9, -0.2, -0.05,  0.01, -0.5, 0.4 ]])  # 任務 C

print("直接平均:", tau.mean(0).round(3))

# 1. Trim:每個任務只留絕對值最大的一半
k = tau.shape[1] // 2
cut = np.sort(np.abs(tau), axis=1)[:, -k][:, None]
trimmed = np.where(np.abs(tau) >= cut, tau, 0.0)
print(trimmed)

# 2. Elect:每個參數用剩下數值的總和投票,決定正負號
sign = np.sign(trimmed.sum(0))

# 3. Merge:只平均和投票結果同號的值
agree = (np.sign(trimmed) == sign) & (trimmed != 0)
ties = (trimmed * agree).sum(0) / np.maximum(agree.sum(0), 1)
print("TIES    :", ties.round(3))
text
直接平均: [ 0.333  0.033  0.35   0.    -0.333  0.25 ]
[[ 0.8  0.   0.5  0.  -0.6  0. ]
 [-0.7  0.4  0.6  0.   0.   0. ]
 [ 0.9  0.   0.   0.  -0.5  0.4]]
TIES    : [ 0.85  0.4   0.55  0.   -0.55  0.4 ]

第 0 个参数是正负号冲突。A、C 要它变大,B 要它变小,直接平均只剩 0.333;投票的结果是正,只平均 A 和 C,得到 0.85。

第 1 个参数是冗余。只有 B 认真改了它,A、C 的 −0.1、−0.2 是小噪声,直接平均被抵消成 0.033;修剪掉噪声后,B 的 0.4 完整保留。

第 3 个参数三个任务都只动了零点零几,修剪后归零,干脆不动。

注意第 2 步用的是总和,不是单纯数人头。第 0 个参数两正一负,数人头也会选正;但如果是一个 +0.9 对两个 −0.1,总和仍然是正的,大的变化说了算。

若某一格全被修剪掉,程序就让它保持 0;这份示范也把正负总量刚好相消的格子留在 0,避免空集合除法。以门槛筛 top-k 时,相同大小的值可能一起留下,实际实现也要决定如何处理门槛同值。这些分支通常只占少数,却会影响两份合并程序能否重现同一组权重。

此外,TIES 的 λ\lambda 和任务算术的 λ\lambda 不能直接共用。前者先做逐格平均,后者先把任务向量相加;即使先忽略修剪与符号筛选,nn 个任务的加总也比平均大 nn 倍。固定配方的 TIES 取 1、任务算术取 0.4,是各自的建议设置,并非相同尺度的控制实验。

讨论

实验设置

作者在三种设置上测:

  • 参数高效微调:T0-3B 上用 (IA)3^3 微调十一个任务,包括句子补全、自然语言推理、共指消解与词义消歧。
  • 全参数微调的语言模型:T5-base 与 T5-large,七个任务。
  • 全参数微调的图像模型:CLIP 的 ViT-B/32 与 ViT-L/14,八个图像分类任务。

比较的对象有简单平均、Fisher Merging、RegMean 与任务算术。

Fisher 与 RegMean 还需要数据导出的统计量,分别估计参数重要性与线性层输入的内积;TIES 的三个合并步骤只读权重。若要用验证集挑 kk 和 λ\lambda,评测数据仍然需要,论文因此把有、无验证集两种结果分开列。

主要结果

有验证集可以调超参数时(TIES 的 kk 与 λ\lambda、任务算术的 λ\lambda 等):

方法(IA)3^3T5-baseT5-largeViT-B/32ViT-L/14
各自微调的专家71.482.888.890.594.2
多任务联合训练73.183.688.188.993.5
Fisher Merging62.268.964.668.382.2
RegMean58.071.273.271.883.7
任务算术63.973.273.370.184.5
TIES-Merging66.473.976.973.686.0

各任务的平均表现,整理自原论文 Table 1。

TIES 在五个设置上都是合并方法里最好的,比次佳的方法高 0.7 到 3.6 个百分点。但表格最上面两行提醒我们,合并和专家之间还有一大段距离;ViT-B/32 上,专家平均 90.5,TIES 是 73.6。

作者也做了一个不用验证集的固定配方,k=20k=20、λ=1\lambda=1。这组数字是在参数高效微调的设置上挑的,再拿去全参数微调的模型上测。和任务算术建议的 λ=0.4\lambda=0.4 相比,TIES 在 ViT-B/32 上是 72.4 对 60.4,ViT-L/14 是 86.0 对 83.3,T5-large 是 74.4 对 73.5;T5-base 则反过来,69.7 对 73.2,TIES 输了。

任务数量的影响也是重点。作者把合并的任务数从 2 个逐步增加,任务越多,TIES 领先任务算术的幅度越大,这和前面「模型越多,正负号冲突越多」的观察一致。

这组任务数分析用七个 T5-large 任务,每个任务数最多抽十种子集,纵轴先把各任务分数除以专家分数,再在本次合并的任务上平均。两个任务时 TIES 与任务算术都接近 1;任务增加后两者都下降,TIES 掉得较慢。它和 Task Arithmetic 笔记中「每次都在全部八个任务上评测」的图,平均的范围不同,所以曲线方向也不同。

没看过的任务呢?

作者把七个任务合并好的 T5,拿到六个未参与微调的数据集评测,包括 Cosmos QA、Social IQA、QuAIL 的问答,WiC 的词义,以及 COPA、H-SWAG 的句子补全。T5-base 上,最强比较方法 RegMean 是 34.3,TIES 是 35.3;T5-large 则从 36.0 到 40.4。这里改善的是对这六个保留任务的泛化,与前面合并任务内的七十几分不是同一组考题。

同任务的多个 checkpoint 也会互相干扰。作者从 Hugging Face 取每个任务十个 BERT 模型,RTE 上 TIES 72.2、任务算术 71.8;MRPC 是 86.8 对 86.0;WNLI 则是 58.8 对 59.2。TIES 在多数设置更好,仍有方法排名反过来的情况。

每一步都有用吗

作者逐一拿掉 TIES 的组件。少了系数缩放(直接用 λ=1\lambda=1)和不相交平均,影响最大,T5-base 上分别少 2.5 和 1.9 个百分点,(IA)3^3 上分别少 5.2 和 3.2。修剪和选正负号拿掉也会变差,只是幅度小一些。

这组消融用验证分数,完整方法是 T5-base 74.5、(IA)3^3 70.7,和前面主表的测试平均分开看。拿掉 Elect 时,作者仍排除被修剪的 0,只把正负值一起平均;拿掉 Disjoint Mean 时,则保留方向筛选,却让被修剪位置的 0 进入分母。这样才能分辨「方向相消」与「被零值稀释」各自造成多少损失。

另一组实验直接检验「方向」有多重要。把任务向量中绝对值最大的 20% 或 30%,以概率 pp 翻转正负号,表现随 pp 单调下降;翻转其余 70% 到 80% 的小值,几乎没有影响。大的值方向错了,任务就坏了。

如果正负号都选对

最后作者问了一个假设性的问题。如果每个参数的正负号都选对,合并能做到多好?

他们在十一个 (IA)3^3 任务上另外训练一个多任务模型,直接拿它的正负号当作「正确答案」,跳过投票。这样合并出来的模型是 72.0%,多任务模型是 73.1%,只差 1.1 个百分点;TIES 自己投票的版本是 66.4%。

作者的结论是,只要能拿到正确的方向,合并几乎能追上多任务训练。附录里他们也试了用少量数据去估计这个正负号向量。

但 oracle 已经看过多任务训练结果,用途是量还有多少改善空间。附录改成每个任务 32 笔数据估计符号,从头训练只能到 66.5,从平均模型初始化则到 67.7,完整 oracle 是 72.0。只要少量数据就能可靠选对方向,仍然是一项待解问题。

结论

TIES-Merging 用三个很便宜的步骤处理任务向量相加时的干扰。小的变化丢掉,方向用总量投票,只平均站在同一边的值。固定配方只需要兼容的微调权重与共同基底;想挑更合适的配方,就要把验证评测的成本一起算进去。

它的实验也把边界画得很清楚。合并方法之间的差距是几个百分点,合并和专家之间的差距常常是十几个百分点。

一年多后,Yadav 和 Google 的合作者把合并放大到 640 亿参数重新测了一次,发现到了大模型,各种合并方法的差别越来越小。