返回论文笔记资料库
arXiv 2024Nat Mach Intell 2025模型合并论文笔记

Evolutionary Model Merge

配方交给演化

原始论文

Evolutionary Optimization of Model Merging Recipes

论文作者

Takuya Akiba · Makoto Shing · Yujin Tang · Qi Sun · David Ha

arXiv 首次提交
arXiv:2403.13187
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{modelmergingevolutionarymodelmerge2024,
  title = {{Evolutionary Optimization of Model Merging Recipes}},
  author = {Takuya Akiba and Makoto Shing and Yujin Tang and Qi Sun and David Ha},
  year = {2024},
  eprint = {2403.13187},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2403.13187}
}
本页内容

2024 年初,模型合并在开源社群红透半边天。Hugging Face 的 Open LLM Leaderboard 前排,大多是把几个微调模型合并出来的版本;mergekit 这类工具让人在 CPU 上就能做出一个新模型。

更早一点,Stable Diffusion 社群也走过同样的路。这篇论文提到,爱好者把好几个风格模型混出来的合并模型,曾一度成为社群最受欢迎的选择。

东京的 Sakana AI,Takuya Akiba、Makoto Shing、Yujin Tang、Qi Sun 与 David Ha,看着这股热潮,指出一个问题。合并被很多人看成一种「黑魔法或炼金术」,挑哪些模型、每层混多少、用什么方法,全靠作者的直觉;而且大家调的,大多是排行榜上那几个固定的评测。

他们想让演化算法来调配方。

定义问题

作者把合并拆成两个互相独立的空间。

参数空间(PS):每一层的权重怎么混。这是一般说的模型合并,所有来源模型的架构必须相同。

数据流空间(DFS):每一层的权重保持原样,改的是数据经过哪些层。例如 token 走完模型 A 的第 ii 层之后,接着送进模型 B 的第 jj 层。这和社群的「frankenmerge」叠层有点像,但要搜索的是整条推理路径。

两个空间各自都很大。作者想知道演化搜索在这两个空间里,能不能找到比人工配方更好的组合;特别是跨领域的合并,例如日文模型加上英文数学模型,人类不太知道该怎么调。

解决问题

原论文 Figure 1:演化模型合并的概观。左边是来源模型的集合,蓝色模型(例如日文模型)答对第一题、答错第二题,准确率 0.18;红色模型(例如数学模型)答错第一题、答对第二题,准确率 0.31。右边是三种合并:在参数空间合并,每层的颜色变成蓝红混合的紫色,准确率 0.52;在数据流空间合并,层的颜色不变、只是把蓝色与红色的层串成一条新路径,准确率 0.36;两者都用,准确率 0.56。
原论文 Figure 1(Akiba 等人),取自 PDF 第 5 页。

图上的颜色是一个好用的比喻。参数空间的合并像混颜料,蓝加红变成紫;数据流空间的合并像排积木,每块积木维持原色,只是重新排顺序。

参数空间:让演化挑系数

在参数空间,作者用的是 TIES-Merging 加上 DARE,但每一层(输入与输出的嵌入层,以及每个 Transformer 区块)都有自己的稀疏化比例与混合权重。这些超参数交给 CMA-ES 演化策略去调,适应度就是目标任务的分数,例如数学题的准确率。

这是框架容许的细粒度设置。主结果最后选用的配方其实更简单,每个来源模型只用一组 density 与 weight,三个模型共 6 个搜索变量。作者试过把层分得更细,受限于搜索数据量,没有得到明显改善,因此没有把最复杂的设置当成主结果。

density 控制 DARE 后留下多少任务差值,weight 控制它在合并中的贡献,两者作用不同。演化找到的三组 weight 相近,总和却接近 2,显示有效的解包含把任务改动放大;它没有要求所有系数相加等于 1,所以超出了普通的凸组合。

三个来源模型最后选出的 density 与 weight,日文 Shisa 的 density 高于两个数学模型,三组 weight 都有明显贡献。
原论文 Figure 3(Akiba 等人),取自 PDF 第 10 页。

横轴是三个来源,蓝柱看保留比例、橘柱看合并权重。日文模型的蓝柱较高,表示它需要保留更多差值;橘柱则没有把其中任何一个来源压到接近零。原本的两种专长都有被使用。

CMA-ES 维持一个搜索分布,每轮抽一批配方,依任务分数排序,再调整分布的中心、尺度和方向。单一候选先做权重合并,再在指定数据上生成答案、计算分数;没有对合并后模型做梯度更新。这样即使适应度是「答案数字正确且使用日文」这种离散指标,也能直接搜索。

数据流空间:让演化挑路径

数据流空间的搜索要麻烦得多。假设两个模型各 32 层,总共 M=64M=64 层,推理路径长度 T=60T=60,每一步可以选任何一层或跳过,搜索空间是 (M+1)T(M+1)^T,大得无法搜索。

作者用初步实验缩小范围。他们发现,重复或乱序地使用前面的层,往往会让表现变差。所以改成把所有层依原本的顺序排好、重复 rr 次,得到长度 T=M×rT = M\times r 的序列,再用一个指示数组 II 决定每个位置的层要不要用。搜索空间变成 2T2^T,仍然很大,但演化搜索可以处理。

另一个问题是,一层收到的输入,可能来自另一个模型的层,分布和它训练时看到的不一样。作者的初步研究发现,连把相邻两层对调都会让表现下降。他们的补救是在每次从第 ii 层跳到第 jj 层时,把输入乘上一个缩放系数 WijW_{ij},这个矩阵也一起演化。

假设先把 A 的 32 层、B 的 32 层接起来,再重复 3 次,就有 192 个候选位置。指示值大于 0 的位置留下,其他跳过;同一个原始层可以在不同重复段落再被用一次。最后选中的路径是固定的,所有 token 都走同一条线,没有依输入内容选专家的 router。

搜索还固定使用模型 A 的 tokenizer、输入和输出嵌入,路径也从 A 的第一个 Transformer 层开始、在 A 的最后一层结束,维持和嵌入空间的衔接。同一模型内原本相邻的两层,缩放固定为 1;真正跨模型或跳层的地方,才让搜索调整尺度。来源模型的 hidden size 等接口仍必须接得起来,DFS 放宽了层数与路径,没有让任意模型都能直接串接。

下图把搜索初期、中期、结束的路径并排。横轴是运行的步数,纵轴是取用的来源层,蓝、红分别来自两个模型,颜色深浅对应缩放大小。

DFS 在搜索初期、中期、结束时选出的来源层与运行顺序,最后保留前段连续层,后段交错使用两个来源。
原论文 Figure 4(Akiba 等人),取自 PDF 第 10 页。

右图前段几乎连续沿用蓝色来源,之后才加入红色层与跳接。这份路径使用 PS 合并模型与日文模型作来源,最后得到的是较长的 10B 网络,已经改变了部署架构。

两者都用

两种合并可以接起来。先在参数空间合并出一个模型,把它放回候选模型的集合,再做数据流空间的合并。

讨论

日文数学模型

主要实验是做一个能用日文解数学题的模型。来源模型有三个,都从 Mistral-7B-v0.1 微调而来,分别是日文模型 Shisa Gamma 7B v1,以及英文数学模型 WizardMath 7B v1.1 和 Abel 7B 002。

评测用 MGSM 的日文测试集,250 题,是 GSM8K 测试集前 250 题的翻译。答对的条件有两个,最后的数字要正确,推理过程要用日文写。演化搜索时用的是另外翻译的 GSM8K 测试集 ID 为 250 到 1318 的 1,069 题(ID 从 0 起算),和最终评测完全不重叠。作者没有翻译 GSM8K 的训练集,因为开源的数学模型都用它训练过,拿来评估会不准。

模型大小MGSM-JAJP-LMEH
Shisa Gamma 7B v1(日文)7B9.666.1
WizardMath 7B v1.1(英文数学)7B18.460.1
Abel 7B 002(英文数学)7B30.056.5
合并:参数空间7B52.070.5
合并:数据流空间10B36.453.2
合并:两者都用10B55.266.2
Llama 2 70B70B18.064.5
Japanese StableLM 70B70B17.268.3
Swallow 70B70B13.671.5
GPT-3.5–50.4–
GPT-4–78.8–

整理自原论文 Table 1。MGSM-JA 是日文数学题的准确率;JP-LMEH 是日文语言能力评测的平均分数。

三个来源模型都不行。日文模型不会算数学,数学模型的日文不够好,MGSM-JA 都在 30 以下。

参数空间的合并一下子到了 52.0,还维持 7B 的大小。数据流空间的合并也有进步,但只到 36.4,模型还变成 10B。两者都用最好,55.2,略高于 GPT-3.5 的 50.4,离 GPT-4 的 78.8 还很远。

日文的综合能力(JP-LMEH)上,参数空间的合并是 70.5,高于 Japanese StableLM 70B 的 68.3 和 Llama 2 70B 的 64.5,但仍低于 Swallow 70B 的 71.5。论文说的「胜过一些先前的 70B 日文模型」,指的是这一列。

作者还逐题画出各模型答对的题目。合并模型保留了来源模型会做的题,也答对了一些三个来源模型都答错的题。附录里还有几个例子,题目同时需要日本文化的知识和数学能力;作者认为,这类题目就算翻成英文交给英文数学模型,也可能因为不懂背景而答错。

和手调配方、微调相比

演化到底帮了多少?作者用 mergekit 做了三个没有经过优化的基准,超参数照一份广为流传的 mergekit 教学(Maxime Labonne 在 Hugging Face 博客上的文章)设置,来源模型和演化合并相同:

方法MGSM-JAJP-LMEH
TIES-Merging(教学默认值)4.463.7
DARE-TIES(教学默认值)35.266.3
Frankenmerge 叠层(教学默认值)0.016.1
演化合并:参数空间52.070.5
演化合并:两者都用55.266.2
用同样 1,069 题做 LoRA 或全参数微调,最好的一组43.255.9

整理自原论文 Table 3。

照默认值合并,TIES 几乎把数学能力合没了,叠层的版本更是一题都答不出来;DARE-TIES 好一些,只比来源模型略高。同样的模型、同样的方法,配方调得好不好,差距可以有几十分。

微调也比不上。作者用演化搜索时用的同一批 1,069 题,对三个来源模型分别做 LoRA 和全参数微调,最好的只有 43.2;而且微调后,日文综合能力常常明显下降,作者认为这反映了微调需要更多数据,也容易遗忘。

作者也测了在候选模型里混进无关的模型。混进 8 个无关模型时,参数空间合并的 MGSM-JA 从 50.0 降到 40.8,仍然高于所有来源模型。

这个无关模型实验另外加了 weight normalization,因此起点是 50.0,和主结果的 52.0 分开比较。模型池增加到最多十一个,搜索也多了选择负担;它显示错放一些来源仍能得到可用结果,同时也保留了人工选模的重要性。

LoRA 与全参数微调的对照则固定数据量,分别搜索三个学习率、跑 3 个 epochs。它能回答「只有这 1,069 题时,哪种利用方式较有效」,尚未比较把所有来源模型的完整训练数据集中后重练;后者的数据大多没有公开。演化搜索本身还做了许多次评测,整体计算量也要和单次微调分开算。

为什么能合并

这组实验能成立,有一个容易被忽略的前提,三个来源模型都从同一个 Mistral-7B-v0.1 出发。参数空间的合并仍然是任务向量相加那一套,演化则替它搜索配方中的系数。

作者也提到一个困难。Shisa Gamma 7B v1 的基底经过了 1,000 亿个日文 token 的持续预训练,和原始 Mistral 的权重差距比一般微调大得多,比较不好稀疏化。这和 DARE 论文的观察一致,delta 越大,越难靠丢弃来减少干扰。

日文视觉语言模型

同样的方法也用在视觉语言模型上。VLM 把图片送进视觉编码器,再经投影网络转成语言模型能接收的表示,最后由语言模型作答。作者固定前面两个组件,只把 LLaVA-1.6-Mistral-7B 里的语言模型和 Shisa Gamma 合并,做出 EvoVLM-JP。两者仍共享 Mistral 基底,视觉编码器本身没有被平均。

搜索用 Japanese Visual Genome 的另一份子集,测试则分成一般 VQA 的 500 题,以及作者整理的日本文化场景,后者有 42 张图片、50 道问题,经过人工过滤。指标是日文 ROUGE-L;检测到非日文回答时原则上给 0,参考答案本来就使用 UFO 这类常见外语缩写时另有例外。

模型大小JA-VG-VQA-500日本文化场景
LLaVA-1.6-Mistral-7B8B14.341.1
Japanese Stable VLM8B–40.5
EvoVLM,PS8B19.751.2
EvoVLM,DFS12B16.846.5
EvoVLM,PS+DFS11B20.447.6

ROUGE-L,越高越好,整理自原论文 Table 5。Japanese Stable VLM 训练使用过 Japanese Visual Genome,因此其对应项未评测。

一般 VQA 是 PS+DFS 最好,文化场景却是 PS 最好;路径更深、组合更复杂,没有在所有测试都占优势。ROUGE-L 量的是和参考答案的文本重合,再加上语言限制,还不能涵盖文化理解的所有面向。附录的鲤鱼旗、日文交通标志颜色称呼等案例,可以补充看它到底改好了哪些回答。

路径与缩放,各有多少作用

作者把同一套方法放到 Llama-2-13B 的日文与数学专家上。来源模型 MGSM-JA 分别是 13.2% 和 8.0%,PS 合并到 31.2%,PS+DFS 到 34.0%,后者有 21B 参数。它比这两个来源好,仍低于 Mistral 系列的 7B/10B 合并结果,显示来源模型能力的重要性。

DFS 的起始顺序也会影响搜索。13B 那组把两个来源的顺序对调,测试成绩从 23.2% 变成 12.8%;初始化偏向先保留模型 A 的原始路径,能减少一开始就生成乱文的候选,代价是顺序偏好。这是缩小搜索空间换来的限制。

在 PS+DFS 中拿掉跨层缩放,MGSM-JA 是 26.4%,完整版本是 34.0%;两者搜索出的模型大小也不同,分别为 19B 与 21B。这组消融支持尺度对齐有帮助,不能把全部差距都当成固定架构下单一缩放参数的效果。作者也观察到,来源微调得太久、表示差异太大时,单一缩放仍不足以衔接。

代价与限制

演化合并利用已训练模型,省下重新学习这些能力的梯度训练。作者拿来比较的 japanese-stablelm-base-gamma-7b,日文持续预训练用了 1,000 亿个 token,估计超过一万个 GPU 小时;这个估计和演化搜索的实测时间并未做成同硬件的成本对照。

PS 做 1,000 次配方试验,每次用全部 1,069 题算适应度;DFS 用 128 个候选、100 个世代,训练子集里保留最后 200 题当验证,搜索时每批评测 200 题。前者把权重混合好再评,后者还得保存来源层与运行变长路径,GPU 内存需求更高。无关模型的 DFS 实验就因这项需求而没有做。真正昂贵的部分,是大量候选的生成与评分。

作者也坦白写了限制。合并模型会继承来源模型的缺点,有时答案缺乏逻辑一致性;这项研究也没有做指令微调或对齐,输出可能有事实错误。

结论

这篇论文把社群里靠直觉调的合并配方,交给演化算法去搜索。参数空间的部分是 TIES 加 DARE,主结果只搜索每个来源模型的 density 与 weight;数据流空间的部分则是重新安排推理路径。日文数学这个例子里,三个都不及格的 7B 模型,合并后超过了 GPT-3.5。

成本也要算清楚。合并本身不用训练,但演化搜索需要反复评估候选模型,参数空间跑了 1,000 次试验,每次都要在一千多题上评分;换一个任务,就得重新搜索一次。

想照着做,可以先把来源模型控制在少数几个,从全模型的 density 与 weight 搜索开始,留一份完全不参与搜索的测试数据。等这组比较有收益,再增加逐层自由度或 DFS 路径,会比较容易知道多花的评测到底换到了什么。