A Systematic Study of In-the-Wild Model Merging for Large Language Models
- arXiv 首次提交
- arXiv:2511.21437
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{modelmerginginthewildmerging2025,
title = {{A Systematic Study of In-the-Wild Model Merging for Large Language Models}},
author = {Oğuz Kağan Hitit and Leander Girrbach and Zeynep Akata},
year = {2025},
eprint = {2511.21437},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2511.21437}
}
模型合并的论文,实验通常设计得很干净。每个专家在一个清楚分开的任务上微调,例如八个图像分类数据集、七个 NLP 任务,合并之后再逐一测这些任务。
真实世界不是这样。打开 Hugging Face,同一个 Llama 或 Qwen 底下有成百上千个社群微调的版本,有的做数学,有的做角色扮演,有的只是换了一份指令数据;它们的目标可能重叠,也可能互相冲突。一家公司内部累积下来的微调模型,大概也是这种样子。
Koç 大学与慕尼黑工业大学、Helmholtz Munich、MCML 的 Oğuz Kağan Hitit、Leander Girrbach 与 Zeynep Akata 想问一个很实际的问题。把这些「野生」的微调版本合并起来,能不能得到一个比基底模型、甚至比其中任何一个版本都更好的模型?
定义问题
论文把目标说得很具体。合并的对象是异质、可能互相冲突的微调版本,评估的是一般语言模型能力;来源各自的训练任务只涵盖其中一部分。
作者想回答三件事:
- 单纯合并多个微调版本,能不能做出比基底模型更好的模型?
- 哪些以权重插值为主的合并方法做得到?
- 近年在图像模型上表现很好的「子空间」合并方法,用在大型语言模型的野外合并上,是不是也有效?
如果合并后同时赢过基底模型和单一微调版本,就有机会观察到论文所说的建设性干扰(constructive interference)。实际评测分成两关,一关和基底比,一关和整个模型池里平均分数最高的微调版本比;这个最强版本是固定的参考模型,未必包含在某次抽到的子集里。
解决问题

这篇也没有提出新方法,重点是一套能重复的评估流程。
基底模型与微调版本:Llama-3.2-3B-Instruct、Llama-3.1-8B-Instruct、Qwen3 4B、Qwen3 8B 四个开放权重模型,每个从 Hugging Face 上找 12 个公开的微调版本,涵盖不同的目标和领域。Llama 用的是 Instruct 起点,各家族内部共用自己的基底,不把四个家族交叉混合。
合并方法:分两类,共六种。任务算术类有任务算术()、TIES-Merging(,每层保留绝对值最大的 10%)、Model Stock;子空间类有 TSV-Merge、Iso-C、Subspace Boosting。全部用 mergekit 实现,超参数事先在附录里选定后固定。
抽样:合并的版本数 取 2、4、6、8、10、12。组合太多,每个 均匀抽 15 组子集( 只有一组),各方法用同一批子集,差异只来自合并算法本身。
评测:用 lm-evaluation-harness 跑 16 个 Open LLM Leaderboard 上的标准评测,包括 ARC、HellaSwag、Winogrande、MMLU、GPQA、BBH、MMLU-Pro、TruthfulQA 等,不套对话模板,报准确率。
大多数任务是 0-shot,BBH 用 3-shot、MMLU-Pro 用 5-shot;模型评测采用 float16,batch size 由 harness 自动选。这套设计方便固定选择题与知识测试的提示格式,但没有量完整对话、工具使用或特定角色扮演需求。某个微调版本在平均分数上变弱,也可能仍然更适合它原本的用途。
任务算术的尺度要先对上
这篇实验还有一个很容易漏掉的设置,mergekit 的 normalization 开着。令第 个差值为 、配方权重为 ,实际合并改动是
当 、 时,这里取的是任务差值的平均。十二个版本的差值直接相加,更新量会是这个配方的十二倍。重现这篇结果时,光抄「TA,」还不够,必须连 normalization 一起设置。
附录也量了这件事。开 normalization, 从 0.1 到 1.9 的成绩相当平,拉到 10 才明显退步;关掉后,普通搜索范围内就会随 增加而快速恶化。这组结果让「简单任务算术最稳」有了更准确的操作范围,它是在平均与缩放的配方下得到的。
两张原图都以 为横轴、平均准确率为纵轴,各色是四种基底。上图打开 normalization,最右还加入 ;下图关闭。横轴是列出的系数位置,最右两点的实际间距尤其不同。


下面的下降是把多份改动加总后再放大的结果,和上面的平均配方有很大差别。重现时若漏抄一个布尔设置,得到的曲线就可能完全相反。
讨论
只有任务算术稳定变好
| 方法 | |||||||
|---|---|---|---|---|---|---|---|
| 任务算术 | 25 / −1.11 | 49 / −0.02 | 88 / +0.50 | 100 / +0.74 | 100 / +0.87 | 100 / +0.93 | 100 / +1.02 |
| Model Stock | 25 / −1.11 | 53 / +0.02 | 77 / +0.06 | 82 / +0.09 | 82 / +0.10 | 80 / +0.11 | 100 / +0.13 |
| TIES-Merging | 25 / −1.11 | 78 / +0.11 | 85 / +0.14 | 87 / +0.18 | 85 / +0.17 | 80 / +0.17 | 75 / +0.13 |
四个基底模型的平均,整理自原论文 Table 1。每格前一个数字是「胜过基底模型的组合比例(%)」,后一个沿用论文报告的「平均相对改善(%)」。 是单一的微调版本本身。
先看 那一列。单独拿一个微调版本出来,只有约四分之一胜过自己的基底模型,平均还退步了 1.11%。这也说明后面的进步,并不是因为刚好抽到了一个特别好的版本。
任务算术的趋势最清楚。合并两个版本时,大约一半的组合胜过基底;到 以后,四个模型的所有组合都胜过基底,平均进步随 一路上升,到 约 1%。
100% 指这次抽到的组合全部过关。每个家族在 只测 15 种子集, 更只有一种组合,没有量完 Hugging Face 上所有可能的微调版本。表中的两个量也要一起看,超过基底的比例很高,仍可能只多一点点平均分数;它们回答的是稳定性和改善幅度两个问题。
幅度是小的。作者自己的总结是,合并带来的进步,平均到所有任务上,大多不到 1%。
TIES-Merging 胜过基底的比例也不低,但进步很快就停在 0.1 到 0.2% 左右;在 Qwen3 8B 上,合并越多反而越差, 时是 +0.16,到 变成 −0.08。作者认为,TIES 在异质的版本之间,对任务向量的大小很敏感。Model Stock 则几乎一直贴着基底模型,权重本来就没走远。
有没有赢过最好的那一个
胜过基底还不够,作者也看合并模型能不能胜过整个模型池里最好的微调版本。任务算术在四个模型里有三个做到了;在 的组合里,Qwen 两组与 Llama 3.2 3B 的结果整体更有利。
例外是 Llama 3.1 8B。它的模型池里有一个特别强的微调版本,合并虽然超过基底,仍未超过这个固定参考。实现上最好把「直接挑一个现成模型」保留成基准,否则花了合并与评测时间,可能只是追近原本就有的选项。
子空间方法:越合越差
近一两年,TSV-Merge、Iso-C 这类子空间方法在图像模型的合并基准上表现很好。它们不在完整的权重空间里相加,而是对每一层的任务向量做奇异值分解,在低秩的子空间里处理干扰。TSV-Merge 保留每个任务最重要的奇异方向,再把不同任务的方向正交化;Iso-C 把奇异值的分布拉平。
搬到大型语言模型的野外合并上,结果不理想。TSV-Merge 和 Iso-C 的平均准确率,随合并的版本数增加持续下滑。作者的解释是,截断和正交化在合并多个版本时,一步步丢掉了有用的信息。
作者也量了合并后的权重离基底有多远。任务算术、TIES、Model Stock 的任务向量长度()大多在 50 以内;Iso-C 和 TSV-Merge 常常到 100 到 300,在两个 8B 模型上超过 300。距离越大,表现掉得越多。作者认为,这些方法把权重推得太远,离开了基底模型的盆地,造成灾难性遗忘。
拿一层 的任务更新 看,SVD 会把它拆成 。TSV-Merge 对每个来源保留约 的奇异方向,再把各来源的方向合起来正交化; 增加时,每个来源能留下的方向就更少。Iso-C 则在加总更新上做分解,将全部奇异值换成平均值,让弱方向相对变强。两者都改了方向的组合或强弱分布,和单纯把原来的差值平均有明显差别。
Subspace Boosting 没有一起坏掉
第三个子空间方法值得单独看。Subspace Boosting 先得到一个合并更新,再依奇异值的累积比例选截止点,把后面较弱的奇异值提升到截止点的值。它可以接在 TA 或 TIES 后面,所以实际结果分成 TA+SB 与 TIES+SB,并非另一份独立的模型选择法。
论文将门槛固定为 0.2。TA+SB 在版本较少时波动很大, 平均只有 23% 组合超过基底;到 是 100%,报告的平均改善为 +1.07。TIES+SB 较平稳,十二版本的平均改善为 +0.36;TSV-Merge 与 Iso-C 同设置分别是 −2.36 和 −5.36。这样看,子空间方法有不同结果,不能全部归成「越合越差」。TA+SB 的趋势也和 TA 本身接近,新增的奇异值谱操作没有带来明显、稳定的额外优势。
模型池换干净一些
附录另外各选三个数学、三个医疗专家,对 Qwen3 4B 与 8B 比较「同领域三个一起合」和「两领域六个一起合」。评测改成对应的数学与医疗考题。8B 上两领域混合与各自合并的表现接近;4B 的 TA、TIES 也能保留,但部分子空间版本有较大的差距。
这个对照让主结果更有意思。随机模型池可能混入彼此重叠、方向各异的训练改动;先确认来源各自擅长什么,再做有目的的组合,结果会不同。这篇主实验刻意省略对齐、分群与候选筛选,因此不能用它判定所有精心挑过的合并配方都没有价值。
距离分析也要放在这个范围内使用。相同家族里,改动范数增加与成绩下降相关,是很好的异常线索;跨参数量或不同归一化的网络, 的绝对值无法共用一个 50 或 300 的门槛。作者用它支持离开好区域的假说,并未直接量出所有候选沿途的损失障碍。
结论
这篇研究的结论分两层。
好消息是,就算是一堆目标不一、彼此可能冲突的社群微调版本,合并起来也能做出比基底模型更好的模型;用的是最早、最简单的任务算术,版本越多越稳。
改善幅度仍然有限。TIES 与 Model Stock 接近基底,部分子空间配方退步,TA+SB 又大致沿着 TA 的趋势走。选模型池、设置 normalization、固定评测提示,对解读这张成绩单都很重要。
如果你手上有一批同一个基底、来历各异的微调版本,可以先用任务算术把它们合起来看看;换成更花俏的方法之前,先量一下合并后的权重离基底有多远。