返回论文笔记资料库
arXiv 2025模型合并论文笔记

Assembly of Experts

缝合怪

原始论文

Assembly of Experts: Linear-time construction of the Chimera LLM variants with emergent and adaptable behaviors

论文作者

Henrik Klagges · Robert Dahlke · Fabian Klemm …

查看全部 7 位作者

Henrik Klagges · Robert Dahlke · Fabian Klemm · Benjamin Merkel · Daniel Klingmann · David A. Reiss · Dan Zecha

发表版本
正式发表信息尚未核实
arXiv 首次提交
arXiv:2506.14794
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{modelmergingassemblyofexperts2025,
  title = {{Assembly of Experts: Linear-time construction of the Chimera LLM variants with emergent and adaptable behaviors}},
  author = {Henrik Klagges and Robert Dahlke and Fabian Klemm and Benjamin Merkel and Daniel Klingmann and David A. Reiss and Dan Zecha},
  year = {2025},
  eprint = {2506.14794},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2506.14794}
}
本页内容

DeepSeek 曾经同时有两个很像、个性却很不一样的模型。

一个是 DeepSeek-R1,推理模型,回答前会先在 <think> 和 </think> 之间写一大段思考过程,数学题做得很好,但话很多。另一个是 2025 年 3 月更新的 DeepSeek-V3-0324,一般的对话模型,不写思考过程,回答直接,速度快。

两者的架构完全相同,都从 DeepSeek-V3 的基底出发,总共 6,710 亿个参数。如果能把 R1 的推理能力和 V3-0324 的简洁合在一起,不用重新训练,那就太划算了。

德国的软件咨询公司 TNG Technology Consulting 真的这样做了。他们在 2025 年 4 月把合并出来的 DeepSeek-R1T-Chimera 放上 Hugging Face,一个多月后才补上这篇论文,说明他们怎么做、以及沿途看到的现象。

定义问题

先回顾一下 DeepSeek-V3 的架构,这是理解整篇论文的关键。

它是一个混合专家(MoE)Transformer,共 61 个解码器层。前 3 层是一般的稠密层,后 58 层的前馈网络换成专家:每层有共享专家,每个 token 都会经过;还有 256 个路由专家,由一个路由器替每个 token 挑出 8 个来用。所以总参数 671B,每个 token 实际用到的只有约 37B。

一个模型拆开来,就是一堆张量文件。DeepSeek-V3 家族的 safetensors 权重文件里共有 91,991 个张量,可以分成几类:前 3 层的稠密层、各层的注意力、共享专家、路由专家,以及路由器的门控。

合并两个模型时,每一类张量都可以分开处理。这就是作者说的「组装」:不只决定两个模型各给多少权重,还决定哪些零件要合并、哪些直接沿用其中一方。

之前也有人用合并来缩短推理模型的回答,例如 Wu 等人在 7B 到 14B 的模型上做得不错,但在 32B 以上的模型遇到困难,很难在大幅缩短回答的同时保住推理质量。这篇要回答的是,671B 的模型能不能这样组装,组出来的模型行为又会怎么变。

解决问题

合并规则

令 M(1)M^{(1)} 是基底模型(这里是 V3-0324),M(i)M^{(i)} 是其他模型(这里只有 R1)。对每一个张量 ll,合并后的张量是

Wl(∗)={∑i=1nλiWl(i)若 l∈S 且 max⁡i≥2∥Wl(1)−Wl(i)∥F,norm>δWl(1)其他情况W^{(*)}_l= \begin{cases} \displaystyle\sum_{i=1}^{n}\lambda_i W^{(i)}_l & \text{若 } l\in S \text{ 且 } \max_{i\ge2}\big\lVert W^{(1)}_l-W^{(i)}_l\big\rVert_{F,\text{norm}}>\delta\\[8pt] W^{(1)}_l & \text{其他情况} \end{cases}

这里有三个可以调的东西:

  1. λi\lambda_i:各模型的权重,通常是凸组合,λi≥0\lambda_i\ge0、总和为 1。两个模型时,λ2\lambda_2 就是 R1 的比例。
  2. SS:要合并的张量集合。作者比较两种,一种是全部张量(full merging),一种是只有路由专家,不含门控(expert merging)。
  3. δ\delta:门槛。只有和基底差得够多的张量才合并,差异以归一化的 Frobenius 范数度量,也就是范数除以张量元素个数的平方根。

门槛借用了 TIES-Merging 的修剪想法,但 TIES 是逐个参数修剪,这里是整个张量一起决定要不要合并。

实现上就是逐一读取 91,991 个张量,算出合并结果再写回同样格式的文件,用 vLLM 就能直接加载。运算量和模型大小成正比,所以标题说是「线性时间」,完全不需要梯度计算。

先看看两个模型差在哪

作者先量了 R1 和 V3-0324 每个张量的差异。结果很有规律。路由专家在整个模型里的差异都相当平均,只在最前与最后几层有明显的模式;共享专家的门控投影在前面几层几乎一样,到了最后几层差异很大;注意力层也有类似的趋势。

这张差异分布,后来成为选择门槛 δ\delta 的依据。

怎么评估

每个合并模型都在 8 张 H100 或 8 张 MI325X 上用 vLLM 推理,主要测两个基准:MT-Bench(多轮对话质量)和 AIME-2024(数学竞赛题)。两者平均起来,作者称为「智力分数」。

成本则用平均输出 token 数衡量,以 R1 的输出量为 100%。

另外还有一个行为指标。作者强制每个回答都以 <think> 开头,再看回答里有没有出现收尾的 </think>。R1 一定会出现,V3-0324 从不出现,这个比例就代表模型有多「像推理模型」。

讨论

几乎每个组合都能用

原论文 Figure 4:散点图,横轴是推理成本(R1 输出 token 数的百分比,0 到 100),纵轴是智力分数(AIME24 与 MT-Bench 平均,0.55 到 1)。深红叉是 DeepSeek-R1,位于约 100%、0.85;橙叉是 V3-0324,位于约 31%、0.69。方块是全张量合并,圆圈是只合并路由专家,大多落在 35% 到 90% 的成本、0.71 到 0.88 的分数之间,不少点在 50% 左右的成本就有 0.82 以上的分数。
原论文 Figure 4(Klagges 等人),取自 PDF 第 8 页,CC BY 4.0。

这张图的理想位置是左上角,分数高、成本低。

R1 在右边,分数约 0.85,成本 100%;V3-0324 在左下,分数约 0.69,成本约 31%。各种合并模型散在两者之间,没有任何一个掉到底下去。作者特别强调,他们搜索过的整个参数空间里,没有出现坏掉的模型。

有好几个点落在成本 50% 左右、分数 0.82 以上的位置,用一半的 token 拿到接近 R1 的分数。还有一个全张量合并的点,成本约 80%,分数将近 0.88,比 R1 本身还高。

作者把这解释为 V3、V3-0324、R1 都位于同一个低损失的谷底里,凸组合不会跑出谷外。这和 Model Soups 的观察一致,只是规模大了好几个数量级。

推理行为是突然出现的

原论文 Figure 5:散点图,横轴是 R1 的比例(0 到 1),纵轴是推理成本(R1 输出 token 的百分比)。比例 0 的 V3-0324 约 31%,比例 1 的 R1 是 100%。方块(全张量合并)在比例 0.5 之前都在 35% 到 55% 之间,过了 0.5 之后快速升到 75% 到 91%;圆圈(只合并路由专家)同样在 0.5 附近跳升,但最高只到约 63%。
原论文 Figure 5(Klagges 等人),取自 PDF 第 9 页,CC BY 4.0。

横轴是 R1 的比例 λ2\lambda_2。输出长度在 0.5 附近急剧跳升,前后两段都比较平,形状像一条 S 形曲线。

</think> 标签更明显。R1 比例在 0.504 以上的合并模型,通常会写出完整的思考过程并以 </think> 收尾;比例低一点点的,通常就不会。这个转折点只在 0.5 附近一个很窄的范围内。

所以合并模型的不同性质,变化方式也不同。一般的推理能力随比例平滑变化,「写不写思考过程」这种行为特征则像开关一样,越过门槛才出现。

图中另一个重点是两种符号的差距。只合并路由专家(圆圈)的成本,整体比全张量合并(方块)低很多。就算路由专家全部换成 R1 的,成本也只有 R1 的六成左右。

门槛:哪些零件重要

固定 λ=(1/2,1/2)\lambda=(1/2,1/2) 的全张量合并,作者逐步提高门槛 δ\delta。门槛低时,大部分注意力与路由专家张量都会被合并;门槛提高到某个程度,多数共享专家张量被排除,保留 V3-0324 的值;再提高,注意力张量也被排除,只剩差异最大的路由专家还在合并。

结果是成本随门槛一路下降,智力分数则一直维持稳定,直到门槛高到开始排除大量 R1 路由专家时,分数才开始掉。

R1T-Chimera

把以上观察放在一起,作者提出两个假说。第一,R1 的推理能力主要放在路由专家里。第二,V3-0324 其余的部分,包括注意力、共享专家与稠密层,足以和这些专家协作,不会明显降低表现。

于是他们试了最极端的设置:只合并路由专家,而且 λ=(0,1)\lambda=(0,1),路由专家完全换成 R1 的,其他全部沿用 V3-0324。这就是 DeepSeek-R1T-Chimera。

原论文 Figure 8:柱状图,比较 V3-0324(橙)、R1(深红)与 R1T-Chimera(蓝)在六项评测的分数。MT-Bench 三者都在 88 到 90 之间;AIME 2024 是 V3-0324 约 59、R1 约 80、Chimera 约 73;BigCodeBench 的四个子项中,Chimera 大致与 R1 相当或略高。
原论文 Figure 8(Klagges 等人),取自 PDF 第 11 页,CC BY 4.0。

MT-Bench 上三者几乎一样。AIME 2024 上 Chimera 约 73 分,比 V3-0324 的约 59 分高很多,但仍落后 R1 的约 80 分。BigCodeBench 的四个子项,Chimera 大致和 R1 持平。输出 token 则少了大约四成。

作者说 Chimera 的思考过程比两个父模型都更精简、更有条理;这是定性的观察,论文没有量化。

TNG 先在内部 GPU 集群上用 Chimera 取代 R1,再公开权重。根据论文,2025 年 5 月底它每天通过 Chutes 这个无服务器推理平台处理近 50 亿个 token。

证据的范围

这篇的实验设计相当简略,有几件事要记得。

  1. 评测太少:整个参数搜索只用 MT-Bench 和 AIME-2024 两个基准,AIME-2024 只有 30 题,一两题的差距就是好几个百分点;论文没有报告重复次数或方差。
  2. 「智力分数」是自定义指标:把一个由模型评审的对话分数和一个数学竞赛分数直接平均,用来排序可以,拿来当能力的绝对标尺则太粗。
  3. 只有一对父模型:所有观察都来自 V3-0324 和 R1,「推理能力放在路由专家」的假说,在其他模型家族上还没有验证。

在相关研究里作者也提到,Kimi k1.5 的团队比较过,用长度惩罚的损失来微调,比合并长短两种推理模型更能产出省 token 的模型。合并的优势在于便宜,不一定在于最好。

TNG 在 2025 年 7 月又发布了 R1T2 Chimera,改成三个父模型(R1-0528、R1、V3-0324),同样沿用 V3-0324 的注意力与共享层。

结论

这篇论文把模型合并做到了 671B 的规模,而且利用 MoE 的结构,把「合并」细分成「选零件」。把 R1 的路由专家换进 V3-0324 的身体里,得到一个推理能力接近 R1、输出短四成的模型,全程没有任何梯度计算。

最有意思的是沿途观察到的相变。推理能力平滑变化,写思考过程的习惯却在 R1 比例过半的瞬间突然出现。

MoE 模型的零件可以这样拆开来换,前提是两个模型来自同一个基底。拿两个不同家族的 MoE 来缝,那就真的只是缝合怪了。