返回论文笔记资料库
arXiv 2024TMLR 2025模型合并论文笔记

Merging at Scale

大了就好合

原始论文

What Matters for Model Merging at Scale?

论文作者

Prateek Yadav · Tu Vu · Jonathan Lai …

查看全部 7 位作者

Prateek Yadav · Tu Vu · Jonathan Lai · Alexandra Chronopoulou · Manaal Faruqui · Mohit Bansal · Tsendsuren Munkhdalai

arXiv 首次提交
arXiv:2410.03617
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{modelmergingmergingatscale2024,
  title = {{What Matters for Model Merging at Scale?}},
  author = {Prateek Yadav and Tu Vu and Jonathan Lai and Alexandra Chronopoulou and Manaal Faruqui and Mohit Bansal and Tsendsuren Munkhdalai},
  year = {2024},
  eprint = {2410.03617},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2410.03617}
}
本页内容

早期模型合并研究常围绕 CLIP、ViT、T5、BERT 等模型,个别实验会用到更大的视觉模型或语言模型;像 DARE 已经测过 7B、13B 专家的合并。但基底质量、参数规模、专家数量和合并方法,往往没有放进同一套实验逐项比较。小设置下最好用的技巧,放大后仍然重要吗?

可是 2024 年,合并已经出现在大模型的训练流程里。论文提到,Llama 3 和 Gemma 2 的技术报告都写了模型合并。小模型上得到的结论,放大之后还成立吗?

UNC 的 Prateek Yadav(TIES-Merging 的第一作者)在 Google 实习期间,和 Google、Virginia Tech 的 Tu Vu、Jonathan Lai、Alexandra Chronopoulou、Manaal Faruqui、Tsendsuren Munkhdalai,以及 UNC 的 Mohit Bansal,用 PaLM-2 做了一次系统化的测试,最大到 640 亿参数。

定义问题

作者想回答四个问题:

  1. 从纯预训练的模型、还是从指令微调过的模型出发做专家,哪一种比较好合并?
  2. 模型越大,合并越容易还是越难?
  3. 合并会怎么影响模型在没看过的任务上的零样本能力?
  4. 能合并几个专家而不明显掉分?这和模型大小有什么关系?

解决问题

实验设计

这篇没有提出新方法,篇幅都花在实验设计上。

基底模型:PaLM-2 与它的指令微调版本 PaLM-2-IT,大小有 1B、8B、24B、64B 四种。

专家:从 T0 的数据集合挑出八类任务当作「held-in」,每一类全参数微调出一个专家。另外保留一批没有用来训练的「held-out」任务,测零样本泛化。

合并:每次合并 2、4、6 或 8 个专家,每种设置用三组随机种子挑专家,结果取平均。

方法:只选不需要额外信息、能扩展到数百亿参数的四种方法,简单平均、任务算术、TIES-Merging,以及 DARE 加 TIES(论文称 Dare-TIES)。需要 Fisher 矩阵、反向传播或激活值的方法都没有纳入。

比较基准:各任务的专家,以及用八类任务混合数据训练的多任务模型。

把这个矩阵展开,先有 2×4×8=642\times4\times8=64 个专家;再做 2×4×4×4×3=3842\times4\times4\times4\times3=384 组合并设置,连同基准合计约九千次模型评测。这三个种子用来抽哪些专家进入合并,不是每个专家重新训练三次。相同的子集种子跨模型大小、基底与方法共用,避免某个方法恰好抽到比较容易的任务。

专家到底会什么

八类 held-in 共 16 个数据集,每个类别选两份。它们包含选择题问答、抽取式问答、闭卷问答、情绪分析、主题分类、结构转文本、摘要与改写判断。例如摘要专家用 CNN/DailyMail 与 XSum,改写专家用 MRPC 与 QQP。一次合并「问答+摘要」时,held-in 就只评这两类的四份数据。

held-out 另外保留四类、七份数据,句子补全 COPA 与 HellaSwag、推理 ANLI 与 RTE、共指 WSC 与 Winogrande,以及词义 WiC。所有合并模型都评这同一组保留任务,观察学过专家任务之后还能否迁移。

PaLM-2-IT 也有明确的来源。作者以 FLAN-v2 做最多 60,000 步指令微调,先移除 T0 mixture 的任务,再从这个基底全参数训练各专家。专家默认 2,000 步、学习率 3×10−53\times10^{-5}、dropout 0.05,部分任务依收敛调整步数。这个「IT」是本研究为比较而创建的版本,专家训练数据相对有限,是后面解读规模效应的重要条件。

怎么读分数

分数全部做了归一化。held-in 任务除以该任务专家的分数,1 代表和专家一样好;held-out 任务除以基底模型的分数,1 代表和没微调的基底模型一样。大于 1,就是合并让基底模型在没看过的任务上变好了。

例如某份数据的专家是 80 分、合并模型 72 分,held-in 保留率是 0.9;某个保留任务的基底是 40 分、合并模型 44 分,held-out 则是 1.1。后者是相对改善 10%,原始分数多 4 分。因为数据集还混有摘要等不同指标,不能把归一化值的 0.1 一律换成准确率增加十个百分点。

平均时也有顺序,先在每一类里平均数据集的归一化分数,再跨类别、跨三组子集种子平均。这使每个任务类别有相同权重。只拿全部数据集直接平均,WiC 只有一份数据的类别就会被压低比重。

讨论

从指令微调过的模型出发

所有设置下,从 PaLM-2-IT 出发的专家,合并后的 held-in 表现都比从 PaLM-2 出发的好,不管方法、大小或专家数量。合并的专家越多,两者的差距越大。

作者的解读延续 Ortiz-Jimenez 等人的观点,大规模的指令微调可能让权重更「解耦」,不同任务的修改比较不会互相干扰。他们建议,用手上最好的基底模型来做专家,而基底模型的好坏,可以用它的零样本能力来判断。

越大越好合并

原论文 Figure 6:四张折线图,横轴是合并的专家数量(2、4、6、8),四种颜色是 1B、8B、24B、64B。左边两张是 held-in 的归一化表现:PaLM-2 随专家变多一路下滑,64B 从约 0.8 降到 0.67,1B 到约 0.4;PaLM-2-IT 则维持在 0.8 到 1.0 之间。右边两张是 held-out:PaLM-2 的 64B 高达 1.3 左右,其他大小接近 1.0 到 1.1;PaLM-2-IT 的 24B 与 64B 随专家变多逐渐上升。
原论文 Figure 6(Yadav 等人),取自 PDF 第 9 页,CC BY 4.0。这张图用的是任务算术。

先看左边两张 held-in。颜色从蓝(1B)到红(64B),大致是越大越高。大的指令微调模型最好合并,64B 的 PaLM-2-IT 合并之后,几乎和各任务的专家一样好。

同一张图也回答了第四个问题。以附录的任务算术结果看,8B 的 PaLM-2,专家从 2 个增加到 8 个,held-in 从 0.68 掉到 0.42;8B 的 PaLM-2-IT 则从 0.95 到 0.88。到了 64B 的 IT 基底,这两点是 1.00 和 0.93。规模与基底质量都能减少合并多专家的损失,但八个专家合起来,仍少了约 7% 的平均保留表现。

合并反而更会举一反三

右边两张是 held-out。大多数情况下,合并模型在没看过的任务上都比原本的基底模型好,数值大于 1。

两种基底的趋势不一样。PaLM-2 的专家数量影响不大,但 64B 的版本比基底好了约 30%;作者认为,这主要是因为 PaLM-2 本身的零样本能力很弱,提升空间大。PaLM-2-IT 则是专家越多越好,24B 和 64B 尤其明显;作者推测,合并越多专家,各自的噪声互相抵消得越多。

最后是和多任务模型的比较。64B 的 PaLM-2-IT 合并 8 个专家时,任务算术的 held-out 是 1.09,多任务模型是 1.05;同时 held-in 是 0.93,低于多任务模型的 0.99。也就是新任务的平均泛化较好,已学任务的能力仍有取舍。24B 的任务算术合并 8 个专家,held-out 是 1.18,和多任务模型的 1.18 相同;这两种情况要分开看。

方法变得不重要

在 64B 的 PaLM-2-IT 上,四种合并方法的 held-in 和 held-out 表现几乎一样,不管合并几个专家。

64B PaLM-2-IT 的四种合并方法在不同专家数下,held-in 与 held-out 归一化成绩接近重合。
原论文 Figure 7(Yadav 等人),取自 PDF 第 10 页,CC BY 4.0。

横轴分别放 2、4、6、8 个专家,每组四根柱比较方法。左图的参考线是专家,右图则是 IT 基底;同一个 1,在两边有不同的比较对象。左图略低于专家,右图随来源增加升到基底之上,方法间的柱高差却很小。

作者的推测是,模型很大、每个专家的训练数据相对有限时,专家其实严重过度参数化;TIES 处理干扰、DARE 随机修剪这些在小模型上有用的技巧,到了大模型就不太重要了。他们的结论是,大型的指令微调专家,简单平均可能就够了。

把四种方法排在一起

我们挑同样合并八个 IT 专家的设置,将两种规模并排。每一格都使用前面的归一化方式:

方法24B held-in24B held-out64B held-in64B held-out
平均权重0.771.160.931.09
任务算术0.921.180.931.09
DARE-TIES0.881.170.931.09
TIES0.861.160.931.10
多任务训练0.981.180.991.05

整理自原论文附录 C 的 PaLM-2-IT 结果表,均为八个专家。

64B 的四种方法几乎重合,24B 的 held-in 却还有 0.15 的差距。因此「大了就好合」还包含基底、任务与规模的组合,没有一个通用的参数量门槛让所有方法突然相同。甚至同样是 64B,换回未指令微调的 PaLM-2、合并八个专家,任务算术 held-in 是 0.67,TIES 是 0.56,差距又出现了。

方法本身也有不同尺度。平均权重是 θ0+1n∑iτi\theta_0+\tfrac1n\sum_i\tau_i,任务算术则用 θ0+λ∑iτi\theta_0+\lambda\sum_i\tau_i;后者容许调整总改动量。TIES 的逐格平均与 DARE 的随机稀疏化,会进一步改变各位置的更新。这张比较表告诉我们最终结果可以接近,过程并没有因此变成同一个运算。

从这组实验能带走什么

第一,held-out 的归一化改善和基底分数有关。未 IT 的 64B 基底零样本分数较弱,任务算术合并八个专家可达 1.35,却仍低于多任务训练的 1.72。比起只看「改善三成多」,把基底、多任务与专家都放回对照,才能决定是否值得用。

第二,规模趋势有个别例外。像未 IT 的 24B 基底,八专家的简单平均在 held-out 是 0.83,TIES 是 0.90,都低于基底;这篇支持的是强基底与大规模整体更容易合并,遇到退化仍要看各任务明细。指令微调让权重解耦、专家噪声在合并时抵消,都是作者用来解释趋势的假说,研究没有直接量出一条因果链。

第三,这是一个模型家族、最多八个专家、指定 T0 任务与专家微调预算的研究。它没有把不同 tokenizer、独立预训练来源或数十个长期训练的领域专家混进来,也没有量完整产品的延迟、安全性与服务成本。若自己的需求超出这个范围,最有用的借镜是这套实验矩阵,先把基底质量与专家数控制好,再比合并配方。

结论

这篇论文用 PaLM-2 把合并放大到 640 亿参数,得到的消息很一致。专家要从够强、最好是指令微调过的基底出发;模型越大越好合并,也能合并更多专家;合并通常会提升零样本泛化,大模型上甚至超过多任务训练;而合并方法之间的差别,越大越不明显。

作者也提醒,合并模型在专家自己的任务上,通常仍然比不上专家。他们认为,和多任务模型相比,这个损失可能没有那么严重。

最后一点值得记下来。TIES-Merging 的作者自己做了这个实验,然后发现,到了 64B,TIES 和简单平均差不多。