返回論文筆記資料庫
arXiv 2025TMLR 2026模型合併論文筆記

In-the-Wild Merging

野外求生

原始論文

A Systematic Study of In-the-Wild Model Merging for Large Language Models

論文作者

Oğuz Kağan Hitit · Leander Girrbach · Zeynep Akata

arXiv 首次提交
arXiv:2511.21437
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{modelmerginginthewildmerging2025,
  title = {{A Systematic Study of In-the-Wild Model Merging for Large Language Models}},
  author = {Oğuz Kağan Hitit and Leander Girrbach and Zeynep Akata},
  year = {2025},
  eprint = {2511.21437},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2511.21437}
}
本頁內容

模型合併的論文,實驗通常設計得很乾淨。每個專家在一個清楚分開的任務上微調,例如八個影像分類資料集、七個 NLP 任務,合併之後再逐一測這些任務。

真實世界不是這樣。打開 Hugging Face,同一個 Llama 或 Qwen 底下有成百上千個社群微調的版本,有的做數學,有的做角色扮演,有的只是換了一份指令資料;它們的目標可能重疊,也可能互相衝突。一家公司內部累積下來的微調模型,大概也是這種樣子。

Koç 大學與慕尼黑工業大學、Helmholtz Munich、MCML 的 Oğuz Kağan Hitit、Leander Girrbach 與 Zeynep Akata 想問一個很實際的問題。把這些「野生」的微調版本合併起來,能不能得到一個比基底模型、甚至比其中任何一個版本都更好的模型?

定義問題

論文把目標說得很具體。合併的對象是異質、可能互相衝突的微調版本,評估的是一般語言模型能力;來源各自的訓練任務只涵蓋其中一部分。

作者想回答三件事:

  1. 單純合併多個微調版本,能不能做出比基底模型更好的模型?
  2. 哪些以權重插值為主的合併方法做得到?
  3. 近年在影像模型上表現很好的「子空間」合併方法,用在大型語言模型的野外合併上,是不是也有效?

如果合併後同時贏過基底模型和單一微調版本,就有機會觀察到論文所說的建設性干擾(constructive interference)。實際評測分成兩關,一關和基底比,一關和整個模型池裡平均分數最高的微調版本比;這個最強版本是固定的參考模型,未必包含在某次抽到的子集裡。

解決問題

原論文 Figure 1:評估流程。左邊是四個基底模型(Llama-3.2 3B、Llama-3.1 8B、Qwen3 4B、Qwen3 8B),每個配上 12 個公開的微調版本;中間從中抽出 2、4、到 12 個版本的子集;接著用 mergekit 以三種任務算術類方法(任務算術、TIES-Merging、Model Stock)與三種子空間方法(TSV-Merge、Iso-C、Subspace Boosting)合併;最右邊用 lm-eval-harness 在 TruthfulQA、MMLU、MedMCQA、HellaSwag 等評測上打分。
原論文 Figure 1(Hitit 等人),取自 PDF 第 3 頁。

這篇也沒有提出新方法,重點是一套能重複的評估流程。

基底模型與微調版本:Llama-3.2-3B-Instruct、Llama-3.1-8B-Instruct、Qwen3 4B、Qwen3 8B 四個開放權重模型,每個從 Hugging Face 上找 12 個公開的微調版本,涵蓋不同的目標和領域。Llama 用的是 Instruct 起點,各家族內部共用自己的基底,不把四個家族交叉混合。

合併方法:分兩類,共六種。任務算術類有任務算術(λ=1.0\lambda=1.0)、TIES-Merging(λ=0.1\lambda=0.1,每層保留絕對值最大的 10%)、Model Stock;子空間類有 TSV-Merge、Iso-C、Subspace Boosting。全部用 mergekit 實作,超參數事先在附錄裡選定後固定。

抽樣:合併的版本數 nn 取 2、4、6、8、10、12。組合太多,每個 nn 均勻抽 15 組子集(n=12n=12 只有一組),各方法用同一批子集,差異只來自合併演算法本身。

評測:用 lm-evaluation-harness 跑 16 個 Open LLM Leaderboard 上的標準評測,包括 ARC、HellaSwag、Winogrande、MMLU、GPQA、BBH、MMLU-Pro、TruthfulQA 等,不套對話模板,報準確率。

大多數任務是 0-shot,BBH 用 3-shot、MMLU-Pro 用 5-shot;模型評測採 float16,batch size 由 harness 自動選。這套設計方便固定選擇題與知識測試的提示格式,但沒有量完整對話、工具使用或特定角色扮演需求。某個微調版本在平均分數上變弱,也可能仍然更適合它原本的用途。

任務算術的尺度要先對上

這篇實驗還有一個很容易漏掉的設定,mergekit 的 normalization 開著。令第 ii 個差值為 δi\delta_i、配方權重為 αi\alpha_i,實際合併改動是

Δnorm=∑iαiδi∑iαi,θm=θ0+λΔnorm.\Delta_{\text{norm}}=\frac{\sum_i\alpha_i\delta_i}{\sum_i\alpha_i}, \qquad \theta_m=\theta_0+\lambda\Delta_{\text{norm}}.

當 αi=1\alpha_i=1、λ=1\lambda=1 時,這裡取的是任務差值的平均。十二個版本的差值直接相加,更新量會是這個配方的十二倍。重現這篇結果時,光抄「TA,λ=1\lambda=1」還不夠,必須連 normalization 一起設定。

附錄也量了這件事。開 normalization,λ\lambda 從 0.1 到 1.9 的成績相當平,拉到 10 才明顯退步;關掉後,普通搜尋範圍內就會隨 λ\lambda 增加而快速惡化。這組結果讓「簡單任務算術最穩」有了更準確的操作範圍,它是在平均與縮放的配方下得到的。

兩張原圖都以 λ\lambda 為橫軸、平均準確率為縱軸,各色是四種基底。上圖開啟 normalization,最右還加入 λ=10\lambda=10;下圖關閉。橫軸是列出的係數位置,最右兩點的實際間距尤其不同。

開啟 normalization 後,四種基底的任務算術在一般係數範圍內相當平穩,係數十時部分模型大幅退化。
原論文 Figure 11(Hitit 等人),取自 PDF 第 26 頁。
關閉 normalization 後,隨係數從零點一往上增加,四種基底的合併平均準確率明顯下降。
原論文 Figure 12(Hitit 等人),取自 PDF 第 26 頁。

下面的下降是把多份改動加總後再放大的結果,和上面的平均配方有很大差別。重現時若漏抄一個布林設定,得到的曲線就可能完全相反。

討論

只有任務算術穩定變好

方法n=1n=1n=2n=2n=4n=4n=6n=6n=8n=8n=10n=10n=12n=12
任務算術25 / −1.1149 / −0.0288 / +0.50100 / +0.74100 / +0.87100 / +0.93100 / +1.02
Model Stock25 / −1.1153 / +0.0277 / +0.0682 / +0.0982 / +0.1080 / +0.11100 / +0.13
TIES-Merging25 / −1.1178 / +0.1185 / +0.1487 / +0.1885 / +0.1780 / +0.1775 / +0.13

四個基底模型的平均,整理自原論文 Table 1。每格前一個數字是「勝過基底模型的組合比例(%)」,後一個沿用論文報告的「平均相對改善(%)」。n=1n=1 是單一的微調版本本身。

先看 n=1n=1 那一欄。單獨拿一個微調版本出來,只有約四分之一勝過自己的基底模型,平均還退步了 1.11%。這也說明後面的進步,並不是因為剛好抽到了一個特別好的版本。

任務算術的趨勢最清楚。合併兩個版本時,大約一半的組合勝過基底;到 n=6n=6 以後,四個模型的所有組合都勝過基底,平均進步隨 nn 一路上升,到 n=12n=12 約 1%。

100% 指這次抽到的組合全部過關。每個家族在 n=6n=6 只測 15 種子集,n=12n=12 更只有一種組合,沒有量完 Hugging Face 上所有可能的微調版本。表中的兩個量也要一起看,超過基底的比例很高,仍可能只多一點點平均分數;它們回答的是穩定性和改善幅度兩個問題。

幅度是小的。作者自己的總結是,合併帶來的進步,平均到所有任務上,大多不到 1%。

TIES-Merging 勝過基底的比例也不低,但進步很快就停在 0.1 到 0.2% 左右;在 Qwen3 8B 上,合併越多反而越差,n=4n=4 時是 +0.16,到 n=12n=12 變成 −0.08。作者認為,TIES 在異質的版本之間,對任務向量的大小很敏感。Model Stock 則幾乎一直貼著基底模型,權重本來就沒走遠。

有沒有贏過最好的那一個

勝過基底還不夠,作者也看合併模型能不能勝過整個模型池裡最好的微調版本。任務算術在四個模型裡有三個做到了;在 n≥4n\ge4 的組合裡,Qwen 兩組與 Llama 3.2 3B 的結果整體更有利。

例外是 Llama 3.1 8B。它的模型池裡有一個特別強的微調版本,合併雖然超過基底,仍未超過這個固定參考。實作上最好把「直接挑一個現成模型」保留成基準,否則花了合併與評測時間,可能只是追近原本就有的選項。

子空間方法:越合越差

近一兩年,TSV-Merge、Iso-C 這類子空間方法在影像模型的合併基準上表現很好。它們不在完整的權重空間裡相加,而是對每一層的任務向量做奇異值分解,在低秩的子空間裡處理干擾。TSV-Merge 保留每個任務最重要的奇異方向,再把不同任務的方向正交化;Iso-C 把奇異值的分布拉平。

搬到大型語言模型的野外合併上,結果不理想。TSV-Merge 和 Iso-C 的平均準確率,隨合併的版本數增加持續下滑。作者的解釋是,截斷和正交化在合併多個版本時,一步步丟掉了有用的資訊。

作者也量了合併後的權重離基底有多遠。任務算術、TIES、Model Stock 的任務向量長度(∥θmerged−θbase∥2\lVert\theta_{\text{merged}} - \theta_{\text{base}}\rVert_2)大多在 50 以內;Iso-C 和 TSV-Merge 常常到 100 到 300,在兩個 8B 模型上超過 300。距離越大,表現掉得越多。作者認為,這些方法把權重推得太遠,離開了基底模型的盆地,造成災難性遺忘。

拿一層 m×dm\times d 的任務更新 ΔW\Delta W 看,SVD 會把它拆成 UΣV⊤U\Sigma V^\top。TSV-Merge 對每個來源保留約 1/n1/n 的奇異方向,再把各來源的方向合起來正交化;nn 增加時,每個來源能留下的方向就更少。Iso-C 則在加總更新上做分解,將全部奇異值換成平均值,讓弱方向相對變強。兩者都改了方向的組合或強弱分布,和單純把原來的差值平均有明顯差別。

Subspace Boosting 沒有一起壞掉

第三個子空間方法值得單獨看。Subspace Boosting 先得到一個合併更新,再依奇異值的累積比例選截止點,把後面較弱的奇異值提升到截止點的值。它可以接在 TA 或 TIES 後面,所以實際結果分成 TA+SB 與 TIES+SB,並非另一份獨立的模型選擇法。

論文將門檻固定為 0.2。TA+SB 在少量版本時變異很大,n=2n=2 平均只有 23% 組合超過基底;到 n=12n=12 是 100%,報告的平均改善為 +1.07。TIES+SB 較平穩,十二版本的平均改善為 +0.36;TSV-Merge 與 Iso-C 同設定分別是 −2.36 和 −5.36。這樣看,子空間方法有不同結果,不能全部歸成「越合越差」。TA+SB 的趨勢也和 TA 本身接近,新增的奇異值譜操作沒有帶來明顯、穩定的額外優勢。

模型池換乾淨一些

附錄另外各選三個數學、三個醫療專家,對 Qwen3 4B 與 8B 比較「同領域三個一起合」和「兩領域六個一起合」。評測改成對應的數學與醫療考題。8B 上兩領域混合與各自合併的表現接近;4B 的 TA、TIES 也能保留,但部分子空間版本有較大的差距。

這個對照讓主結果更有意思。隨機模型池可能混入彼此重疊、方向各異的訓練改動;先確認來源各自擅長什麼,再做有目的的組合,結果會不同。這篇主實驗刻意省略對齊、分群與候選篩選,因此不能用它判定所有精心挑過的合併配方都沒有價值。

距離分析也要放在這個範圍內使用。相同家族裡,改動範數增加與成績下降相關,是很好的異常線索;跨參數量或不同正規化的網路,L2L_2 的絕對值無法共用一個 50 或 300 的門檻。作者用它支持離開好區域的假說,並未直接量出所有候選沿途的損失障礙。

結論

這篇研究的結論分兩層。

好消息是,就算是一堆目標不一、彼此可能衝突的社群微調版本,合併起來也能做出比基底模型更好的模型;用的是最早、最簡單的任務算術,版本越多越穩。

改善幅度仍然有限。TIES 與 Model Stock 接近基底,部分子空間配方退步,TA+SB 又大致沿著 TA 的趨勢走。選模型池、設定 normalization、固定評測提示,對解讀這張成績單都很重要。

如果你手上有一批同一個基底、來歷各異的微調版本,可以先用任務算術把它們合起來看看;換成更花俏的方法之前,先量一下合併後的權重離基底有多遠。