Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities
- arXiv 首次提交
- arXiv:2408.07666
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{modelmergingmodelmergingsurvey2024,
title = {{Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities}},
author = {Enneng Yang and Li Shen and Guibing Guo and Xingwei Wang and Xiaochun Cao and Jie Zhang and Dacheng Tao},
year = {2024},
eprint = {2408.07666},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2408.07666}
}
模型合并这几年的论文增长得很快,名字也越来越多。
任务算术、TIES、DARE、AdaMerging、RegMean、Fisher Merging、Model Breadcrumbs、TSV-M、WEMoE……每一篇都说自己解决了合并时的某种干扰,但很少有人把它们放在一起看:这些方法分别在处理哪个问题?需要什么数据?在大型语言模型上还成不成立?
中山大学深圳校区、东北大学与南洋理工大学的 Yang、Shen、Guo 等人写的这篇综述,就是要回答这些问题。它在 2024 年 8 月首次公开,之后持续更新,2025 年底的第五版已经扩充到四十页。作者另外维护一个 GitHub 论文清单,持续收录新的工作。
这篇笔记把重点放在它的分类方式、作者自己跑的比较实验,以及它认为还没解决的问题。
定义问题
模型合并和其他做法差在哪
作者先拿模型合并和四种相近的学习方式比较。
- 单任务学习:每个任务训练一个专家模型,互不干扰,但知识无法共享,模型数量也跟着任务数量增加。
- 多任务学习:一个模型同时学所有任务,但需要拿到所有任务的数据一起训练。
- 联邦学习:数据留在各个客户端,模型更新交给服务器聚合,但需要很多轮通信。
- 集成学习:同时保留多个专家模型,把它们的输出合起来,推理与存储成本都很高。
模型合并则是直接把几个训练好的专家模型的参数合起来,得到单一模型,大多数情况下不需要原始数据,也不需要再训练。
形式上,给定 个架构相同的模型 ,它们通常从同一个预训练模型 微调而来,目标是找到
最简单的版本是直接平均。作者指出平均常常效果很差,原因有两类:一是缺少合并的前提条件,例如模型不在同一个盆地、架构不一致;二是不同任务之间的参数互相冲突、互相干扰。
整份综述的方法分类,就是沿着这两个原因展开的。
解决问题
分类:合并前与合并时

这张图是整篇的目录。上面的「方法」分成两个时间点。
合并前(pre-merging),目的是为合并创造好的条件:
- 合并友好的微调:在微调阶段就让模型比较容易合并。代表是 切空间的任务算术,在线性化的模型上微调,让任务向量更解耦;后续工作只线性化部分层来降低成本,或用 sharpness-aware 最小化让损失地形更平坦,也有只微调一小部分参数、减少彼此冲突的做法。
- 架构转换:架构不同的模型没办法直接合参数,先用知识蒸馏或补层,把它们变成同一种架构。FuseLLM、FusionChat 属于这类,代价是需要数据与训练。
- 权重重新对齐:独立训练的模型先做神经元排列对齐,让它们落在同一个盆地。Git Re-Basin、最优传输对齐 OTFusion 都在这里;作者也引用了 REPAIR 的观察,对齐的成效和归一化层有很大关系。
合并时(during-merging),处理任务之间的冲突,分成六类:
- 基本方法:直接平均,或任务算术。
- 加权方法:为不同模型、不同层甚至不同参数决定权重。例如用演化算法搜索系数、AdaMerging 在无标注的测试数据上以熵为代理损失学习系数、RegMean 对线性层求闭式解、Fisher Merging 用 Fisher 信息衡量参数重要性。SLERP 也被归在这一类。
- 子空间方法:把任务向量投影到稀疏或低秩的子空间。稀疏的有 TIES-Merging、DARE、Model Breadcrumbs;低秩的有对任务向量做 SVD 的 TSV-M、ISO-C、KnOTS。
- 优化方法:利用任务向量本身的性质写出不需数据的目标函数,例如让任务向量更正交(AWD),或在线性层上构建免数据的损失(WUDI-Merging)。
- 路由方法:前面几类合出来的是一个固定模型。路由方法则按输入动态决定怎么合,例如 WEMoE 让线性层按路由网络加权合并。效果通常最好,代价是要保留额外参数,推理也变慢。
- 事后校正:合并后的模型,内部表示和各个专家差很多。Representation Surgery 等方法加一个小模块,把这个偏差修回来。
一张比较表的重点
作者把代表性方法按几个维度排开比较,包括合并后的参数量、是否免调整、需要什么数据、静态还是动态,以及权重的粒度(全局、任务、层、参数)。排在一起比,有几个取舍很明显。
- 绝大多数方法合并后只有一个模型的参数量;路由与校正方法则大于一个,WEMoE 甚至远大于一个。
- 粒度越细的加权方法通常越好,但多半需要额外的数据来估计权重,例如验证集或无标注的测试集。
- 很多优化与低秩子空间方法标榜不需要数据。
作者的结论是,没有一种方法适合所有情境,要按性能要求、实现难度、手上的数据与算力来选。
理论还很零碎
第三章整理了理论分析,按合并的模型来源分成三类。
- 同一条训练轨迹:像 SWA、EMA,在最小二乘回归等简化设置下,有偏差与方差的分解,也有凸与非凸情况的稳定性与泛化界。
- 同一任务、不同超参数:用线性模式连通与平坦极小值来解释。从同一个预训练模型出发、用不同设置微调的模型,通常线性连通。
- 不同任务:以 NTK 与权重解耦来解释任务算术;也有研究把任务向量和梯度连起来,全批量梯度下降训练一个 epoch 时,任务向量恰好等于学习率乘上负梯度。
作者坦白说,这三条理论各讲一部分,多数建立在共同起点、宽网络或线性化的假设上,能不能套到大型语言模型上还没验证,也还没有一个统一的框架。
讨论
作者自己跑的比较
作者在综述里另外跑了一组比较实验,涵盖五种骨干:CLIP 的 ViT-B/32 与 ViT-L/14 合并 8 个图像分类任务,RoBERTa-Large 合并 8 个 GLUE 任务,Llama-3.1-8B 合并 5 个文本生成任务,InternVL-2.5 合并 5 个多模态任务。

每张图最左边的灰色是预训练模型,最右边的红色是每个任务各自微调的模型,也就是上界。中间各种颜色的方法,越接近红色虚线越好。
先看 ViT-B/32。直接平均只有 66.5,离上界 90.3 很远;加权与低秩子空间方法拉到 82 到 83;免数据的 WUDI-Merging 是 85.2;需要额外参数的路由方法 WEMoE 达到 89.2,几乎追上上界。ViT-L/14 上所有方法都好很多,WEMoE 是 93.8,上界 94.3,大模型比较好合,这和 大了就好合 的观察一致。
再看 Llama-3.1,结果就很不一样了。任务算术以 84.8 排第一,Fisher Merging、RegMean、DARE、TIES 都在 78.7 到 81.4 之间,比任务算术还差,也只略高于或低于直接平均的 81.1;离上界 100 还差十几分。在视觉任务上明显胜出的「进阶」方法,到了语言模型的生成任务上并没有优势。
InternVL2.5 上,直接平均的 49.12 甚至低于预训练模型的 53.66,合并反而让模型变差。各方法间的差距只有一两分,最好的 WUDI-Merging 是 57.0,上界 58.7。
这组比较是读这篇综述最有价值的地方之一。不少合并方法是在 CLIP 的八个分类任务上开发、调整出来的,换到 LLM 和多模态模型上,排名会重新洗牌。挑方法之前,最好在自己的模型和任务上重新比过一轮。
大型语言模型上的七种用途
第四章列出模型合并在 LLM 上的应用,有几个方向和站内其他笔记相关。
- 对齐人类偏好:分别训练符合不同偏好的模型,再按用户需要合并。
- 去毒:用减去任务向量的方式移除有毒或不实的输出。
- 遗忘:同样用减法移除特定知识,例如误学到的受版权保护内容,免去从头重新训练的成本。
- 加速训练:在预训练中平均 checkpoint。作者把 PMA 与 WSM 都归在这里,两者都把 checkpoint 平均当成学习率衰减的替代。
- 加速 MoE 推理:先合并专家参数再计算,减少要算的专家数量。
- 加速推理(reasoning):把长思考的推理模型和回答简短的一般模型合并,缩短输出。作者引用的例子中,任务算术与 TIES 能在 7B 模型上把推理长度减少约一半,准确率大致不变。
- 合并专家能力:把不同领域的专家模型合成一个通用模型。
至于技术报告中的实际使用,这篇综述谈得不多。Llama 3、Tülu 3、Command A 等报告把合并写进正式训练流程的细节,要回到各自的报告去看。
还没解决的问题
最后一章列出七个方向,前几个最实际。
- 和独立模型的差距:合并仍高度依赖「同一个预训练模型、小心控制微调的学习率与步数」这个前提。就算如此,任务一多,差距就很明显,例如 Llama-3.1 上最好的方法 84.8,上界是 100。
- 理论:不同任务、从头训练的模型合并,几乎没有理论说明。
- 可信度:模型拥有者想保护自己的模型不被合并,合并者则要防止有人在模型里藏后门。
- 效率:表现好的方法通常要把所有模型同时加载进内存,例如合并 72 个微调过的 ViT-B/32 就需要超过 200GB;搜索系数也要反复评估。
- 异构模型:架构不同的模型,目前只能先蒸馏成同一个架构,成本很高。
怎么读这篇综述
这是一篇范围很广的综述,第五章还涵盖了持续学习、多任务学习、分布外泛化、联邦学习、少样本学习、对抗攻击等十多个子领域,每一类通常只用一两段话带过。
用来做什么比较合适?它的分类可以当成地图:遇到一个新的合并方法,先找出它属于合并前还是合并时、需要什么数据、是静态还是动态,就大致知道它在解决什么问题、要付出什么代价。具体方法的细节与实验条件,还是要回到原论文核对。
结论
这篇综述用「合并前」与「合并时」两个阶段,把散落的合并方法整理成一张清楚的地图,并补上理论、应用与挑战。
读完最值得带走的,是作者自己的那组比较。在 CLIP 上表现很好的进阶方法,到了 Llama-3.1 上不一定赢得过最简单的任务算术。
方法很多,先拿任务算术当基准比过再说。