TIES-Merging: Resolving Interference When Merging Models
- 发表版本
- NeurIPS 2023会议
- arXiv 首次提交
- arXiv:2306.01708
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{modelmergingtiesmerging2023,
title = {{TIES-Merging: Resolving Interference When Merging Models}},
author = {Prateek Yadav and Derek Tam and Leshem Choshen and Colin Raffel and Mohit Bansal},
year = {2023},
eprint = {2306.01708},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2306.01708}
}
任务算术把每个微调模型写成一个任务向量 ,加起来再乘一个系数,就得到一个多任务模型。两个任务时效果很好,任务一多,合并模型和各自微调的专家之间,差距就越拉越大。
北卡罗莱纳大学教堂山分校(UNC)的 Prateek Yadav、Derek Tam、Colin Raffel、Mohit Bansal,以及 IBM Research 与 MIT 的 Leshem Choshen,想知道这些损失是从哪里来的。
他们的答案是,向量相加的时候,参数之间在打架。
定义问题
作者把干扰分成两种。

冗余参数(圆形)。微调时,很多参数只动了一点点,这些小变化对任务几乎没有影响。可是合并时,一个参数对模型 A 很重要、对模型 B 只是噪声,平均下来,A 的重要变化就被 B 的噪声稀释,变短了。
正负号冲突(菱形)。同一个参数,A 要它变大,B 要它变小,直接平均,两者互相抵消。
两种情况,结果都是合并后的参数变小,原本的差别被抹平。
作者先用数据确认这两件事都存在。第一,只保留每个任务向量绝对值最大的 20%,其余归零,十一个任务的平均表现和全部保留差不多;可见大部分的变化确实是冗余的。第二,修剪到 20% 之后,合并两个模型就有约 2% 的参数正负号冲突,合并十一个模型时升到约 30%。
这里的十一个任务用的是 T0-3B 上的 (IA) 微调。它只训练一组缩放中间激活值的小向量,主模型固定,因此「保留 20%」指的是微调参数的改动。作者后面另外验证全参数的 T5 与 CLIP,不能把这张图直接解读成所有大模型都能固定删掉 80% 改动。
解决问题

TIES 的名字来自三个步骤,Trim、Elect Sign、Disjoint Merge。先把每个任务向量拆成正负号 和大小 ,。
- 修剪(Trim):每个任务向量只保留绝对值最大的 ,其余设成 0,得到 。
- 选正负号(Elect):对每个参数 ,把各任务在这个参数上的值加起来,总和的正负号就是这个参数最后的方向:
这等于比较往正方向和往负方向的「总量」,哪边大就听哪边的。
- 不相交平均(Disjoint Merge):每个参数只平均和选出的方向一致的值,被修剪成 0 的值不算:
最后一样乘上系数加回去,。
Trim 归零的是差值,对应的微调权重会回到初始化值,基底参数还在。Disjoint Merge 的分母则是这一格实际留下、且方向相符的成员数。假设一格只有一个任务留下 ,另外十个任务都归零,结果仍是 ;若除以十一,就又把修剪想消除的稀释加回去了。各格的分母可以不同。
手算一次
拿三个任务、六个参数算一次,数字是为了示范编的,每个任务保留绝对值最大的一半:
import numpy as np
tau = np.array([[ 0.8, -0.1, 0.5, 0.02, -0.6, 0.3 ], # 任務 A
[-0.7, 0.4, 0.6, -0.03, 0.1, 0.05], # 任務 B
[ 0.9, -0.2, -0.05, 0.01, -0.5, 0.4 ]]) # 任務 C
print("直接平均:", tau.mean(0).round(3))
# 1. Trim:每個任務只留絕對值最大的一半
k = tau.shape[1] // 2
cut = np.sort(np.abs(tau), axis=1)[:, -k][:, None]
trimmed = np.where(np.abs(tau) >= cut, tau, 0.0)
print(trimmed)
# 2. Elect:每個參數用剩下數值的總和投票,決定正負號
sign = np.sign(trimmed.sum(0))
# 3. Merge:只平均和投票結果同號的值
agree = (np.sign(trimmed) == sign) & (trimmed != 0)
ties = (trimmed * agree).sum(0) / np.maximum(agree.sum(0), 1)
print("TIES :", ties.round(3))
直接平均: [ 0.333 0.033 0.35 0. -0.333 0.25 ]
[[ 0.8 0. 0.5 0. -0.6 0. ]
[-0.7 0.4 0.6 0. 0. 0. ]
[ 0.9 0. 0. 0. -0.5 0.4]]
TIES : [ 0.85 0.4 0.55 0. -0.55 0.4 ]
第 0 个参数是正负号冲突。A、C 要它变大,B 要它变小,直接平均只剩 0.333;投票的结果是正,只平均 A 和 C,得到 0.85。
第 1 个参数是冗余。只有 B 认真改了它,A、C 的 −0.1、−0.2 是小噪声,直接平均被抵消成 0.033;修剪掉噪声后,B 的 0.4 完整保留。
第 3 个参数三个任务都只动了零点零几,修剪后归零,干脆不动。
注意第 2 步用的是总和,不是单纯数人头。第 0 个参数两正一负,数人头也会选正;但如果是一个 +0.9 对两个 −0.1,总和仍然是正的,大的变化说了算。
若某一格全被修剪掉,程序就让它保持 0;这份示范也把正负总量刚好相消的格子留在 0,避免空集合除法。以门槛筛 top-k 时,相同大小的值可能一起留下,实际实现也要决定如何处理门槛同值。这些分支通常只占少数,却会影响两份合并程序能否重现同一组权重。
此外,TIES 的 和任务算术的 不能直接共用。前者先做逐格平均,后者先把任务向量相加;即使先忽略修剪与符号筛选, 个任务的加总也比平均大 倍。固定配方的 TIES 取 1、任务算术取 0.4,是各自的建议设置,并非相同尺度的控制实验。
讨论
实验设置
作者在三种设置上测:
- 参数高效微调:T0-3B 上用 (IA) 微调十一个任务,包括句子补全、自然语言推理、共指消解与词义消歧。
- 全参数微调的语言模型:T5-base 与 T5-large,七个任务。
- 全参数微调的图像模型:CLIP 的 ViT-B/32 与 ViT-L/14,八个图像分类任务。
比较的对象有简单平均、Fisher Merging、RegMean 与任务算术。
Fisher 与 RegMean 还需要数据导出的统计量,分别估计参数重要性与线性层输入的内积;TIES 的三个合并步骤只读权重。若要用验证集挑 和 ,评测数据仍然需要,论文因此把有、无验证集两种结果分开列。
主要结果
有验证集可以调超参数时(TIES 的 与 、任务算术的 等):
| 方法 | (IA) | T5-base | T5-large | ViT-B/32 | ViT-L/14 |
|---|---|---|---|---|---|
| 各自微调的专家 | 71.4 | 82.8 | 88.8 | 90.5 | 94.2 |
| 多任务联合训练 | 73.1 | 83.6 | 88.1 | 88.9 | 93.5 |
| Fisher Merging | 62.2 | 68.9 | 64.6 | 68.3 | 82.2 |
| RegMean | 58.0 | 71.2 | 73.2 | 71.8 | 83.7 |
| 任务算术 | 63.9 | 73.2 | 73.3 | 70.1 | 84.5 |
| TIES-Merging | 66.4 | 73.9 | 76.9 | 73.6 | 86.0 |
各任务的平均表现,整理自原论文 Table 1。
TIES 在五个设置上都是合并方法里最好的,比次佳的方法高 0.7 到 3.6 个百分点。但表格最上面两行提醒我们,合并和专家之间还有一大段距离;ViT-B/32 上,专家平均 90.5,TIES 是 73.6。
作者也做了一个不用验证集的固定配方,、。这组数字是在参数高效微调的设置上挑的,再拿去全参数微调的模型上测。和任务算术建议的 相比,TIES 在 ViT-B/32 上是 72.4 对 60.4,ViT-L/14 是 86.0 对 83.3,T5-large 是 74.4 对 73.5;T5-base 则反过来,69.7 对 73.2,TIES 输了。
任务数量的影响也是重点。作者把合并的任务数从 2 个逐步增加,任务越多,TIES 领先任务算术的幅度越大,这和前面「模型越多,正负号冲突越多」的观察一致。
这组任务数分析用七个 T5-large 任务,每个任务数最多抽十种子集,纵轴先把各任务分数除以专家分数,再在本次合并的任务上平均。两个任务时 TIES 与任务算术都接近 1;任务增加后两者都下降,TIES 掉得较慢。它和 Task Arithmetic 笔记中「每次都在全部八个任务上评测」的图,平均的范围不同,所以曲线方向也不同。
没看过的任务呢?
作者把七个任务合并好的 T5,拿到六个未参与微调的数据集评测,包括 Cosmos QA、Social IQA、QuAIL 的问答,WiC 的词义,以及 COPA、H-SWAG 的句子补全。T5-base 上,最强比较方法 RegMean 是 34.3,TIES 是 35.3;T5-large 则从 36.0 到 40.4。这里改善的是对这六个保留任务的泛化,与前面合并任务内的七十几分不是同一组考题。
同任务的多个 checkpoint 也会互相干扰。作者从 Hugging Face 取每个任务十个 BERT 模型,RTE 上 TIES 72.2、任务算术 71.8;MRPC 是 86.8 对 86.0;WNLI 则是 58.8 对 59.2。TIES 在多数设置更好,仍有方法排名反过来的情况。
每一步都有用吗
作者逐一拿掉 TIES 的组件。少了系数缩放(直接用 )和不相交平均,影响最大,T5-base 上分别少 2.5 和 1.9 个百分点,(IA) 上分别少 5.2 和 3.2。修剪和选正负号拿掉也会变差,只是幅度小一些。
这组消融用验证分数,完整方法是 T5-base 74.5、(IA) 70.7,和前面主表的测试平均分开看。拿掉 Elect 时,作者仍排除被修剪的 0,只把正负值一起平均;拿掉 Disjoint Mean 时,则保留方向筛选,却让被修剪位置的 0 进入分母。这样才能分辨「方向相消」与「被零值稀释」各自造成多少损失。
另一组实验直接检验「方向」有多重要。把任务向量中绝对值最大的 20% 或 30%,以概率 翻转正负号,表现随 单调下降;翻转其余 70% 到 80% 的小值,几乎没有影响。大的值方向错了,任务就坏了。
如果正负号都选对
最后作者问了一个假设性的问题。如果每个参数的正负号都选对,合并能做到多好?
他们在十一个 (IA) 任务上另外训练一个多任务模型,直接拿它的正负号当作「正确答案」,跳过投票。这样合并出来的模型是 72.0%,多任务模型是 73.1%,只差 1.1 个百分点;TIES 自己投票的版本是 66.4%。
作者的结论是,只要能拿到正确的方向,合并几乎能追上多任务训练。附录里他们也试了用少量数据去估计这个正负号向量。
但 oracle 已经看过多任务训练结果,用途是量还有多少改善空间。附录改成每个任务 32 笔数据估计符号,从头训练只能到 66.5,从平均模型初始化则到 67.7,完整 oracle 是 72.0。只要少量数据就能可靠选对方向,仍然是一项待解问题。
结论
TIES-Merging 用三个很便宜的步骤处理任务向量相加时的干扰。小的变化丢掉,方向用总量投票,只平均站在同一边的值。固定配方只需要兼容的微调权重与共同基底;想挑更合适的配方,就要把验证评测的成本一起算进去。
它的实验也把边界画得很清楚。合并方法之间的差距是几个百分点,合并和专家之间的差距常常是十几个百分点。
一年多后,Yadav 和 Google 的合作者把合并放大到 640 亿参数重新测了一次,发现到了大模型,各种合并方法的差别越来越小。