Evolutionary Optimization of Model Merging Recipes
- arXiv 首次提交
- arXiv:2403.13187
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{modelmergingevolutionarymodelmerge2024,
title = {{Evolutionary Optimization of Model Merging Recipes}},
author = {Takuya Akiba and Makoto Shing and Yujin Tang and Qi Sun and David Ha},
year = {2024},
eprint = {2403.13187},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2403.13187}
}
2024 年初,模型合并在开源社群红透半边天。Hugging Face 的 Open LLM Leaderboard 前排,大多是把几个微调模型合并出来的版本;mergekit 这类工具让人在 CPU 上就能做出一个新模型。
更早一点,Stable Diffusion 社群也走过同样的路。这篇论文提到,爱好者把好几个风格模型混出来的合并模型,曾一度成为社群最受欢迎的选择。
东京的 Sakana AI,Takuya Akiba、Makoto Shing、Yujin Tang、Qi Sun 与 David Ha,看着这股热潮,指出一个问题。合并被很多人看成一种「黑魔法或炼金术」,挑哪些模型、每层混多少、用什么方法,全靠作者的直觉;而且大家调的,大多是排行榜上那几个固定的评测。
他们想让演化算法来调配方。
定义问题
作者把合并拆成两个互相独立的空间。
参数空间(PS):每一层的权重怎么混。这是一般说的模型合并,所有来源模型的架构必须相同。
数据流空间(DFS):每一层的权重保持原样,改的是数据经过哪些层。例如 token 走完模型 A 的第 层之后,接着送进模型 B 的第 层。这和社群的「frankenmerge」叠层有点像,但要搜索的是整条推理路径。
两个空间各自都很大。作者想知道演化搜索在这两个空间里,能不能找到比人工配方更好的组合;特别是跨领域的合并,例如日文模型加上英文数学模型,人类不太知道该怎么调。
解决问题

图上的颜色是一个好用的比喻。参数空间的合并像混颜料,蓝加红变成紫;数据流空间的合并像排积木,每块积木维持原色,只是重新排顺序。
参数空间:让演化挑系数
在参数空间,作者用的是 TIES-Merging 加上 DARE,但每一层(输入与输出的嵌入层,以及每个 Transformer 区块)都有自己的稀疏化比例与混合权重。这些超参数交给 CMA-ES 演化策略去调,适应度就是目标任务的分数,例如数学题的准确率。
这是框架容许的细粒度设置。主结果最后选用的配方其实更简单,每个来源模型只用一组 density 与 weight,三个模型共 6 个搜索变量。作者试过把层分得更细,受限于搜索数据量,没有得到明显改善,因此没有把最复杂的设置当成主结果。
density 控制 DARE 后留下多少任务差值,weight 控制它在合并中的贡献,两者作用不同。演化找到的三组 weight 相近,总和却接近 2,显示有效的解包含把任务改动放大;它没有要求所有系数相加等于 1,所以超出了普通的凸组合。

横轴是三个来源,蓝柱看保留比例、橘柱看合并权重。日文模型的蓝柱较高,表示它需要保留更多差值;橘柱则没有把其中任何一个来源压到接近零。原本的两种专长都有被使用。
CMA-ES 维持一个搜索分布,每轮抽一批配方,依任务分数排序,再调整分布的中心、尺度和方向。单一候选先做权重合并,再在指定数据上生成答案、计算分数;没有对合并后模型做梯度更新。这样即使适应度是「答案数字正确且使用日文」这种离散指标,也能直接搜索。
数据流空间:让演化挑路径
数据流空间的搜索要麻烦得多。假设两个模型各 32 层,总共 层,推理路径长度 ,每一步可以选任何一层或跳过,搜索空间是 ,大得无法搜索。
作者用初步实验缩小范围。他们发现,重复或乱序地使用前面的层,往往会让表现变差。所以改成把所有层依原本的顺序排好、重复 次,得到长度 的序列,再用一个指示数组 决定每个位置的层要不要用。搜索空间变成 ,仍然很大,但演化搜索可以处理。
另一个问题是,一层收到的输入,可能来自另一个模型的层,分布和它训练时看到的不一样。作者的初步研究发现,连把相邻两层对调都会让表现下降。他们的补救是在每次从第 层跳到第 层时,把输入乘上一个缩放系数 ,这个矩阵也一起演化。
假设先把 A 的 32 层、B 的 32 层接起来,再重复 3 次,就有 192 个候选位置。指示值大于 0 的位置留下,其他跳过;同一个原始层可以在不同重复段落再被用一次。最后选中的路径是固定的,所有 token 都走同一条线,没有依输入内容选专家的 router。
搜索还固定使用模型 A 的 tokenizer、输入和输出嵌入,路径也从 A 的第一个 Transformer 层开始、在 A 的最后一层结束,维持和嵌入空间的衔接。同一模型内原本相邻的两层,缩放固定为 1;真正跨模型或跳层的地方,才让搜索调整尺度。来源模型的 hidden size 等接口仍必须接得起来,DFS 放宽了层数与路径,没有让任意模型都能直接串接。
下图把搜索初期、中期、结束的路径并排。横轴是运行的步数,纵轴是取用的来源层,蓝、红分别来自两个模型,颜色深浅对应缩放大小。

右图前段几乎连续沿用蓝色来源,之后才加入红色层与跳接。这份路径使用 PS 合并模型与日文模型作来源,最后得到的是较长的 10B 网络,已经改变了部署架构。
两者都用
两种合并可以接起来。先在参数空间合并出一个模型,把它放回候选模型的集合,再做数据流空间的合并。
讨论
日文数学模型
主要实验是做一个能用日文解数学题的模型。来源模型有三个,都从 Mistral-7B-v0.1 微调而来,分别是日文模型 Shisa Gamma 7B v1,以及英文数学模型 WizardMath 7B v1.1 和 Abel 7B 002。
评测用 MGSM 的日文测试集,250 题,是 GSM8K 测试集前 250 题的翻译。答对的条件有两个,最后的数字要正确,推理过程要用日文写。演化搜索时用的是另外翻译的 GSM8K 测试集 ID 为 250 到 1318 的 1,069 题(ID 从 0 起算),和最终评测完全不重叠。作者没有翻译 GSM8K 的训练集,因为开源的数学模型都用它训练过,拿来评估会不准。
| 模型 | 大小 | MGSM-JA | JP-LMEH |
|---|---|---|---|
| Shisa Gamma 7B v1(日文) | 7B | 9.6 | 66.1 |
| WizardMath 7B v1.1(英文数学) | 7B | 18.4 | 60.1 |
| Abel 7B 002(英文数学) | 7B | 30.0 | 56.5 |
| 合并:参数空间 | 7B | 52.0 | 70.5 |
| 合并:数据流空间 | 10B | 36.4 | 53.2 |
| 合并:两者都用 | 10B | 55.2 | 66.2 |
| Llama 2 70B | 70B | 18.0 | 64.5 |
| Japanese StableLM 70B | 70B | 17.2 | 68.3 |
| Swallow 70B | 70B | 13.6 | 71.5 |
| GPT-3.5 | – | 50.4 | – |
| GPT-4 | – | 78.8 | – |
整理自原论文 Table 1。MGSM-JA 是日文数学题的准确率;JP-LMEH 是日文语言能力评测的平均分数。
三个来源模型都不行。日文模型不会算数学,数学模型的日文不够好,MGSM-JA 都在 30 以下。
参数空间的合并一下子到了 52.0,还维持 7B 的大小。数据流空间的合并也有进步,但只到 36.4,模型还变成 10B。两者都用最好,55.2,略高于 GPT-3.5 的 50.4,离 GPT-4 的 78.8 还很远。
日文的综合能力(JP-LMEH)上,参数空间的合并是 70.5,高于 Japanese StableLM 70B 的 68.3 和 Llama 2 70B 的 64.5,但仍低于 Swallow 70B 的 71.5。论文说的「胜过一些先前的 70B 日文模型」,指的是这一列。
作者还逐题画出各模型答对的题目。合并模型保留了来源模型会做的题,也答对了一些三个来源模型都答错的题。附录里还有几个例子,题目同时需要日本文化的知识和数学能力;作者认为,这类题目就算翻成英文交给英文数学模型,也可能因为不懂背景而答错。
和手调配方、微调相比
演化到底帮了多少?作者用 mergekit 做了三个没有经过优化的基准,超参数照一份广为流传的 mergekit 教学(Maxime Labonne 在 Hugging Face 博客上的文章)设置,来源模型和演化合并相同:
| 方法 | MGSM-JA | JP-LMEH |
|---|---|---|
| TIES-Merging(教学默认值) | 4.4 | 63.7 |
| DARE-TIES(教学默认值) | 35.2 | 66.3 |
| Frankenmerge 叠层(教学默认值) | 0.0 | 16.1 |
| 演化合并:参数空间 | 52.0 | 70.5 |
| 演化合并:两者都用 | 55.2 | 66.2 |
| 用同样 1,069 题做 LoRA 或全参数微调,最好的一组 | 43.2 | 55.9 |
整理自原论文 Table 3。
照默认值合并,TIES 几乎把数学能力合没了,叠层的版本更是一题都答不出来;DARE-TIES 好一些,只比来源模型略高。同样的模型、同样的方法,配方调得好不好,差距可以有几十分。
微调也比不上。作者用演化搜索时用的同一批 1,069 题,对三个来源模型分别做 LoRA 和全参数微调,最好的只有 43.2;而且微调后,日文综合能力常常明显下降,作者认为这反映了微调需要更多数据,也容易遗忘。
作者也测了在候选模型里混进无关的模型。混进 8 个无关模型时,参数空间合并的 MGSM-JA 从 50.0 降到 40.8,仍然高于所有来源模型。
这个无关模型实验另外加了 weight normalization,因此起点是 50.0,和主结果的 52.0 分开比较。模型池增加到最多十一个,搜索也多了选择负担;它显示错放一些来源仍能得到可用结果,同时也保留了人工选模的重要性。
LoRA 与全参数微调的对照则固定数据量,分别搜索三个学习率、跑 3 个 epochs。它能回答「只有这 1,069 题时,哪种利用方式较有效」,尚未比较把所有来源模型的完整训练数据集中后重练;后者的数据大多没有公开。演化搜索本身还做了许多次评测,整体计算量也要和单次微调分开算。
为什么能合并
这组实验能成立,有一个容易被忽略的前提,三个来源模型都从同一个 Mistral-7B-v0.1 出发。参数空间的合并仍然是任务向量相加那一套,演化则替它搜索配方中的系数。
作者也提到一个困难。Shisa Gamma 7B v1 的基底经过了 1,000 亿个日文 token 的持续预训练,和原始 Mistral 的权重差距比一般微调大得多,比较不好稀疏化。这和 DARE 论文的观察一致,delta 越大,越难靠丢弃来减少干扰。
日文视觉语言模型
同样的方法也用在视觉语言模型上。VLM 把图片送进视觉编码器,再经投影网络转成语言模型能接收的表示,最后由语言模型作答。作者固定前面两个组件,只把 LLaVA-1.6-Mistral-7B 里的语言模型和 Shisa Gamma 合并,做出 EvoVLM-JP。两者仍共享 Mistral 基底,视觉编码器本身没有被平均。
搜索用 Japanese Visual Genome 的另一份子集,测试则分成一般 VQA 的 500 题,以及作者整理的日本文化场景,后者有 42 张图片、50 道问题,经过人工过滤。指标是日文 ROUGE-L;检测到非日文回答时原则上给 0,参考答案本来就使用 UFO 这类常见外语缩写时另有例外。
| 模型 | 大小 | JA-VG-VQA-500 | 日本文化场景 |
|---|---|---|---|
| LLaVA-1.6-Mistral-7B | 8B | 14.3 | 41.1 |
| Japanese Stable VLM | 8B | – | 40.5 |
| EvoVLM,PS | 8B | 19.7 | 51.2 |
| EvoVLM,DFS | 12B | 16.8 | 46.5 |
| EvoVLM,PS+DFS | 11B | 20.4 | 47.6 |
ROUGE-L,越高越好,整理自原论文 Table 5。Japanese Stable VLM 训练使用过 Japanese Visual Genome,因此其对应项未评测。
一般 VQA 是 PS+DFS 最好,文化场景却是 PS 最好;路径更深、组合更复杂,没有在所有测试都占优势。ROUGE-L 量的是和参考答案的文本重合,再加上语言限制,还不能涵盖文化理解的所有面向。附录的鲤鱼旗、日文交通标志颜色称呼等案例,可以补充看它到底改好了哪些回答。
路径与缩放,各有多少作用
作者把同一套方法放到 Llama-2-13B 的日文与数学专家上。来源模型 MGSM-JA 分别是 13.2% 和 8.0%,PS 合并到 31.2%,PS+DFS 到 34.0%,后者有 21B 参数。它比这两个来源好,仍低于 Mistral 系列的 7B/10B 合并结果,显示来源模型能力的重要性。
DFS 的起始顺序也会影响搜索。13B 那组把两个来源的顺序对调,测试成绩从 23.2% 变成 12.8%;初始化偏向先保留模型 A 的原始路径,能减少一开始就生成乱文的候选,代价是顺序偏好。这是缩小搜索空间换来的限制。
在 PS+DFS 中拿掉跨层缩放,MGSM-JA 是 26.4%,完整版本是 34.0%;两者搜索出的模型大小也不同,分别为 19B 与 21B。这组消融支持尺度对齐有帮助,不能把全部差距都当成固定架构下单一缩放参数的效果。作者也观察到,来源微调得太久、表示差异太大时,单一缩放仍不足以衔接。
代价与限制
演化合并利用已训练模型,省下重新学习这些能力的梯度训练。作者拿来比较的 japanese-stablelm-base-gamma-7b,日文持续预训练用了 1,000 亿个 token,估计超过一万个 GPU 小时;这个估计和演化搜索的实测时间并未做成同硬件的成本对照。
PS 做 1,000 次配方试验,每次用全部 1,069 题算适应度;DFS 用 128 个候选、100 个世代,训练子集里保留最后 200 题当验证,搜索时每批评测 200 题。前者把权重混合好再评,后者还得保存来源层与运行变长路径,GPU 内存需求更高。无关模型的 DFS 实验就因这项需求而没有做。真正昂贵的部分,是大量候选的生成与评分。
作者也坦白写了限制。合并模型会继承来源模型的缺点,有时答案缺乏逻辑一致性;这项研究也没有做指令微调或对齐,输出可能有事实错误。
结论
这篇论文把社群里靠直觉调的合并配方,交给演化算法去搜索。参数空间的部分是 TIES 加 DARE,主结果只搜索每个来源模型的 density 与 weight;数据流空间的部分则是重新安排推理路径。日文数学这个例子里,三个都不及格的 7B 模型,合并后超过了 GPT-3.5。
成本也要算清楚。合并本身不用训练,但演化搜索需要反复评估候选模型,参数空间跑了 1,000 次试验,每次都要在一千多题上评分;换一个任务,就得重新搜索一次。
想照着做,可以先把来源模型控制在少数几个,从全模型的 density 与 weight 搜索开始,留一份完全不参与搜索的测试数据。等这组比较有收益,再增加逐层自由度或 DFS 路径,会比较容易知道多花的评测到底换到了什么。