返回论文笔记资料库
arXiv 2024ACM CSUR 2026模型合并论文笔记

Model Merging Survey

先看地图

原始论文

Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities

论文作者

Enneng Yang · Li Shen · Guibing Guo …

查看全部 7 位作者

Enneng Yang · Li Shen · Guibing Guo · Xingwei Wang · Xiaochun Cao · Jie Zhang · Dacheng Tao

发表版本
ACM Computing Surveys 2026期刊
arXiv 首次提交
arXiv:2408.07666
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{modelmergingmodelmergingsurvey2024,
  title = {{Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities}},
  author = {Enneng Yang and Li Shen and Guibing Guo and Xingwei Wang and Xiaochun Cao and Jie Zhang and Dacheng Tao},
  year = {2024},
  eprint = {2408.07666},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2408.07666}
}
本页内容

模型合并这几年的论文增长得很快,名字也越来越多。

任务算术、TIES、DARE、AdaMerging、RegMean、Fisher Merging、Model Breadcrumbs、TSV-M、WEMoE……每一篇都说自己解决了合并时的某种干扰,但很少有人把它们放在一起看:这些方法分别在处理哪个问题?需要什么数据?在大型语言模型上还成不成立?

中山大学深圳校区、东北大学与南洋理工大学的 Yang、Shen、Guo 等人写的这篇综述,就是要回答这些问题。它在 2024 年 8 月首次公开,之后持续更新,2025 年底的第五版已经扩充到四十页。作者另外维护一个 GitHub 论文清单,持续收录新的工作。

这篇笔记把重点放在它的分类方式、作者自己跑的比较实验,以及它认为还没解决的问题。

定义问题

模型合并和其他做法差在哪

作者先拿模型合并和四种相近的学习方式比较。

  1. 单任务学习:每个任务训练一个专家模型,互不干扰,但知识无法共享,模型数量也跟着任务数量增加。
  2. 多任务学习:一个模型同时学所有任务,但需要拿到所有任务的数据一起训练。
  3. 联邦学习:数据留在各个客户端,模型更新交给服务器聚合,但需要很多轮通信。
  4. 集成学习:同时保留多个专家模型,把它们的输出合起来,推理与存储成本都很高。

模型合并则是直接把几个训练好的专家模型的参数合起来,得到单一模型,大多数情况下不需要原始数据,也不需要再训练。

形式上,给定 TT 个架构相同的模型 Θ(1),…,Θ(T)\Theta^{(1)},\dots,\Theta^{(T)},它们通常从同一个预训练模型 Θ(0)\Theta^{(0)} 微调而来,目标是找到

Θ(merge)=merge(Θ(1),…,Θ(T))\Theta^{(\text{merge})}=\text{merge}\big(\Theta^{(1)},\dots,\Theta^{(T)}\big)

最简单的版本是直接平均。作者指出平均常常效果很差,原因有两类:一是缺少合并的前提条件,例如模型不在同一个盆地、架构不一致;二是不同任务之间的参数互相冲突、互相干扰。

整份综述的方法分类,就是沿着这两个原因展开的。

解决问题

分类:合并前与合并时

原论文 Figure 2:综述的分类树。根节点分成三大支。「方法」分为合并前方法(合并友好的微调、架构转换、权重重新对齐)与合并时方法(基本、加权、子空间、优化、路由、事后校正六类)。「理论与实验」分为理论分析与实验比较。「应用」包含大型语言模型的七种用途、多模态大型语言模型、视觉生成模型,以及持续学习、多任务学习、分布外泛化、联邦学习、零样本与少样本学习、对抗学习等机器学习子领域。
原论文 Figure 2(Yang 等人),取自 PDF 第 4 页,arXiv 许可,学术引用。

这张图是整篇的目录。上面的「方法」分成两个时间点。

合并前(pre-merging),目的是为合并创造好的条件:

  1. 合并友好的微调:在微调阶段就让模型比较容易合并。代表是 切空间的任务算术,在线性化的模型上微调,让任务向量更解耦;后续工作只线性化部分层来降低成本,或用 sharpness-aware 最小化让损失地形更平坦,也有只微调一小部分参数、减少彼此冲突的做法。
  2. 架构转换:架构不同的模型没办法直接合参数,先用知识蒸馏或补层,把它们变成同一种架构。FuseLLM、FusionChat 属于这类,代价是需要数据与训练。
  3. 权重重新对齐:独立训练的模型先做神经元排列对齐,让它们落在同一个盆地。Git Re-Basin、最优传输对齐 OTFusion 都在这里;作者也引用了 REPAIR 的观察,对齐的成效和归一化层有很大关系。

合并时(during-merging),处理任务之间的冲突,分成六类:

  1. 基本方法:直接平均,或任务算术。
  2. 加权方法:为不同模型、不同层甚至不同参数决定权重。例如用演化算法搜索系数、AdaMerging 在无标注的测试数据上以熵为代理损失学习系数、RegMean 对线性层求闭式解、Fisher Merging 用 Fisher 信息衡量参数重要性。SLERP 也被归在这一类。
  3. 子空间方法:把任务向量投影到稀疏或低秩的子空间。稀疏的有 TIES-Merging、DARE、Model Breadcrumbs;低秩的有对任务向量做 SVD 的 TSV-M、ISO-C、KnOTS。
  4. 优化方法:利用任务向量本身的性质写出不需数据的目标函数,例如让任务向量更正交(AWD),或在线性层上构建免数据的损失(WUDI-Merging)。
  5. 路由方法:前面几类合出来的是一个固定模型。路由方法则按输入动态决定怎么合,例如 WEMoE 让线性层按路由网络加权合并。效果通常最好,代价是要保留额外参数,推理也变慢。
  6. 事后校正:合并后的模型,内部表示和各个专家差很多。Representation Surgery 等方法加一个小模块,把这个偏差修回来。

一张比较表的重点

作者把代表性方法按几个维度排开比较,包括合并后的参数量、是否免调整、需要什么数据、静态还是动态,以及权重的粒度(全局、任务、层、参数)。排在一起比,有几个取舍很明显。

  • 绝大多数方法合并后只有一个模型的参数量;路由与校正方法则大于一个,WEMoE 甚至远大于一个。
  • 粒度越细的加权方法通常越好,但多半需要额外的数据来估计权重,例如验证集或无标注的测试集。
  • 很多优化与低秩子空间方法标榜不需要数据。

作者的结论是,没有一种方法适合所有情境,要按性能要求、实现难度、手上的数据与算力来选。

理论还很零碎

第三章整理了理论分析,按合并的模型来源分成三类。

  1. 同一条训练轨迹:像 SWA、EMA,在最小二乘回归等简化设置下,有偏差与方差的分解,也有凸与非凸情况的稳定性与泛化界。
  2. 同一任务、不同超参数:用线性模式连通与平坦极小值来解释。从同一个预训练模型出发、用不同设置微调的模型,通常线性连通。
  3. 不同任务:以 NTK 与权重解耦来解释任务算术;也有研究把任务向量和梯度连起来,全批量梯度下降训练一个 epoch 时,任务向量恰好等于学习率乘上负梯度。

作者坦白说,这三条理论各讲一部分,多数建立在共同起点、宽网络或线性化的假设上,能不能套到大型语言模型上还没验证,也还没有一个统一的框架。

讨论

作者自己跑的比较

作者在综述里另外跑了一组比较实验,涵盖五种骨干:CLIP 的 ViT-B/32 与 ViT-L/14 合并 8 个图像分类任务,RoBERTa-Large 合并 8 个 GLUE 任务,Llama-3.1-8B 合并 5 个文本生成任务,InternVL-2.5 合并 5 个多模态任务。

原论文 Figure 6:五组柱状图,比较各种合并方法的准确率,红色虚线是各任务独立微调的上界。(a) ViT-B/32:预训练 48.2、直接平均 66.5、任务算术 68.0、RegMean 82.4、AdaMerging 82.6、TIES 72.2、TSV-M 83.1、WUDI 85.2、WEMoE 89.2、上界 90.3。(b) ViT-L/14:预训练 64.6、平均 80.0、WEMoE 93.8、上界 94.3。(c) RoBERTa-Large 归一化准确率:预训练 38.2、平均 53.3、WUDI 88.8、上界 100。(d) Llama-3.1 归一化准确率:预训练 60.0、平均 81.1、任务算术 84.8、其他方法 78.7 到 81.4、上界 100。(e) InternVL2.5:预训练 53.66、平均 49.12、WUDI 57.0、上界 58.7。
原论文 Figure 6(Yang 等人),取自 PDF 第 14 页,arXiv 许可,学术引用。

每张图最左边的灰色是预训练模型,最右边的红色是每个任务各自微调的模型,也就是上界。中间各种颜色的方法,越接近红色虚线越好。

先看 ViT-B/32。直接平均只有 66.5,离上界 90.3 很远;加权与低秩子空间方法拉到 82 到 83;免数据的 WUDI-Merging 是 85.2;需要额外参数的路由方法 WEMoE 达到 89.2,几乎追上上界。ViT-L/14 上所有方法都好很多,WEMoE 是 93.8,上界 94.3,大模型比较好合,这和 大了就好合 的观察一致。

再看 Llama-3.1,结果就很不一样了。任务算术以 84.8 排第一,Fisher Merging、RegMean、DARE、TIES 都在 78.7 到 81.4 之间,比任务算术还差,也只略高于或低于直接平均的 81.1;离上界 100 还差十几分。在视觉任务上明显胜出的「进阶」方法,到了语言模型的生成任务上并没有优势。

InternVL2.5 上,直接平均的 49.12 甚至低于预训练模型的 53.66,合并反而让模型变差。各方法间的差距只有一两分,最好的 WUDI-Merging 是 57.0,上界 58.7。

这组比较是读这篇综述最有价值的地方之一。不少合并方法是在 CLIP 的八个分类任务上开发、调整出来的,换到 LLM 和多模态模型上,排名会重新洗牌。挑方法之前,最好在自己的模型和任务上重新比过一轮。

大型语言模型上的七种用途

第四章列出模型合并在 LLM 上的应用,有几个方向和站内其他笔记相关。

  1. 对齐人类偏好:分别训练符合不同偏好的模型,再按用户需要合并。
  2. 去毒:用减去任务向量的方式移除有毒或不实的输出。
  3. 遗忘:同样用减法移除特定知识,例如误学到的受版权保护内容,免去从头重新训练的成本。
  4. 加速训练:在预训练中平均 checkpoint。作者把 PMA 与 WSM 都归在这里,两者都把 checkpoint 平均当成学习率衰减的替代。
  5. 加速 MoE 推理:先合并专家参数再计算,减少要算的专家数量。
  6. 加速推理(reasoning):把长思考的推理模型和回答简短的一般模型合并,缩短输出。作者引用的例子中,任务算术与 TIES 能在 7B 模型上把推理长度减少约一半,准确率大致不变。
  7. 合并专家能力:把不同领域的专家模型合成一个通用模型。

至于技术报告中的实际使用,这篇综述谈得不多。Llama 3、Tülu 3、Command A 等报告把合并写进正式训练流程的细节,要回到各自的报告去看。

还没解决的问题

最后一章列出七个方向,前几个最实际。

  1. 和独立模型的差距:合并仍高度依赖「同一个预训练模型、小心控制微调的学习率与步数」这个前提。就算如此,任务一多,差距就很明显,例如 Llama-3.1 上最好的方法 84.8,上界是 100。
  2. 理论:不同任务、从头训练的模型合并,几乎没有理论说明。
  3. 可信度:模型拥有者想保护自己的模型不被合并,合并者则要防止有人在模型里藏后门。
  4. 效率:表现好的方法通常要把所有模型同时加载进内存,例如合并 72 个微调过的 ViT-B/32 就需要超过 200GB;搜索系数也要反复评估。
  5. 异构模型:架构不同的模型,目前只能先蒸馏成同一个架构,成本很高。

怎么读这篇综述

这是一篇范围很广的综述,第五章还涵盖了持续学习、多任务学习、分布外泛化、联邦学习、少样本学习、对抗攻击等十多个子领域,每一类通常只用一两段话带过。

用来做什么比较合适?它的分类可以当成地图:遇到一个新的合并方法,先找出它属于合并前还是合并时、需要什么数据、是静态还是动态,就大致知道它在解决什么问题、要付出什么代价。具体方法的细节与实验条件,还是要回到原论文核对。

结论

这篇综述用「合并前」与「合并时」两个阶段,把散落的合并方法整理成一张清楚的地图,并补上理论、应用与挑战。

读完最值得带走的,是作者自己的那组比较。在 CLIP 上表现很好的进阶方法,到了 Llama-3.1 上不一定赢得过最简单的任务算术。

方法很多,先拿任务算术当基准比过再说。