返回論文筆記資料庫
arXiv 2024EMNLP Industry 2024模型合併論文筆記

MergeKit

一份 YAML 的事

原始論文

Arcee's MergeKit: A Toolkit for Merging Large Language Models

論文作者

Charles Goddard · Shamane Siriwardhana · Malikeh Ehghaghi …

查看全部 8 位作者

Charles Goddard · Shamane Siriwardhana · Malikeh Ehghaghi · Luke Meyers · Vlad Karpukhin · Brian Benedict · Mark McQuade · Jacob Solawetz

arXiv 首次提交
arXiv:2403.13257
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{modelmergingmergekit2024,
  title = {{Arcee's MergeKit: A Toolkit for Merging Large Language Models}},
  author = {Charles Goddard and Shamane Siriwardhana and Malikeh Ehghaghi and Luke Meyers and Vlad Karpukhin and Brian Benedict and Mark McQuade and Jacob Solawetz},
  year = {2024},
  eprint = {2403.13257},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2403.13257}
}
本頁內容

Hugging Face 上曾經冒出一大批名字很長的模型,時間大約在 2023 年底到 2024 年初。

它們的名字常常帶著 slerp、ties、dare 這類字樣,或者乾脆把兩三個模型的名字串在一起。這些模型沒有經過新的訓練,作者只是把幾個現成的微調模型權重混在一起,就上傳了;其中不少還一度爬上 Open LLM Leaderboard 的前段。

背後的工具多半是同一個,Arcee 的 Charles Goddard 等人開發的開源函式庫 MergeKit。這篇論文是它的正式介紹,篇幅不長,主要在講工具怎麼設計、支援哪些方法,再附上一組醫學領域的合併實驗。

讀這篇的價值,在於看清楚「模型合併」從論文走到社群日常時,實際長成什麼樣子。

定義問題

模型合併的研究已經累積了好幾年,從權重平均、Model Soups、任務算術,到 TIES-Merging 與 DARE。但每篇論文的程式碼各寫各的,大多針對特定模型與資料集,要拿來合併兩個 70B 的語言模型,會遇到很實際的問題:

  1. 記憶體:兩個 70B 模型以 16 位元存放就是兩三百 GB,一般機器載不下,更別說同時放好幾個。
  2. 架構差異:Llama、Mistral、Qwen 的權重命名與層結構不同,每種都要個別處理。
  3. 配方難以重現:哪個模型給多少權重、哪幾層用什麼方法,寫在臨時腳本裡,別人很難照做。

作者想做的,是一個讓不會寫程式的人也能合併模型、讓研究者能方便加入新方法的共用工具。

解決問題

論文怎麼分類合併方法

作者先替合併方法做了一個分類,也標出 MergeKit 支援到哪裡。

原論文 Figure 1:合併方法的分類樹。根節點「模型合併方法」分成兩支。左支「相同架構與相同初始化」下有 SLERP、DARE、Model Soup、TIES、演化合併、Model Breadcrumbs、Model Stock 七種,以淺粉紅色標示為已支援。右支「相同架構、不同初始化」再分成「相似任務」與「不同任務」,前者底下是 OT Fusion 與 Git Re-Basin,後者是 ZipIt,以黑色標示為尚未支援。
原論文 Figure 1(Goddard 等人),取自 PDF 第 4 頁,CC BY-SA 4.0。

分類的依據是兩件事:模型的架構是否相同,以及是否來自同一個初始化。

左邊那一支是 MergeKit 實際支援的範圍,全部要求「架構相同、從同一個基底模型出發」。這正是線性模式連通與任務算術成立的條件。右邊那一支處理獨立訓練的模型,需要先做神經元對齊,論文寫作時還沒支援。作者也坦白說,右邊這些方法目前還沒有左邊那樣的廣泛使用。

架構完全不同的模型,例如 CALM 用交叉注意力把兩個模型接起來、FuseLLM 對齊兩個模型的輸出分布,都需要額外訓練,作者把它們列為「融合」而不是合併。

合併配方就是一份 YAML

MergeKit 的主要介面是 YAML 設定檔。設定檔裡寫明合併方法、輸入模型,以及方法需要的參數,執行時只要一行指令:

bash
mergekit-yaml path/to/your/config.yml ./output-model-directory

一份 TIES 合併的設定,可以寫成這樣(取自官方 examples/ties.yml):

yaml
models:
  - model: psmathur/orca_mini_v3_13b
    parameters:
      density: [1, 0.7, 0.1] # density gradient
      weight: 1.0
  - model: garage-bAInd/Platypus2-13B
    parameters:
      density: 0.5
      weight: [0, 0.3, 0.7, 1] # weight gradient
  - model: WizardLM/WizardMath-13B-V1.0
    parameters:
      density: 0.33
      weight:
        - filter: mlp
          value: 0.5
        - value: 0
merge_method: ties
base_model: TheBloke/Llama-2-13B-fp16
parameters:
  normalize: true
  int8_mask: true
dtype: float16

三個 13B 模型都是從同一個 Llama-2-13B 微調出來的,base_model 指定這個共同基底,任務向量就是各模型和它的差。density 是 TIES 修剪後保留的比例,weight 是每個任務向量的權重。

這份設定檔還用到兩個功能。

第一,參數可以寫成列表。density: [1, 0.7, 0.1] 會沿著層的深度插值成一條「梯度」,淺層保留全部、越深層保留越少。

第二,參數可以用 filter 指定作用範圍。WizardMath 的設定是 MLP 層給 0.5 的權重,其他張量給 0,也就是只取它 MLP 層的改動。

設定檔的好處,是合併配方變成可以分享、重現、改寫的文字。社群裡很多合併模型的模型卡,直接附上了這樣一份 YAML。

SLERP 為什麼常見

MergeKit 支援的方法中,社群最常用的之一是 SLERP(spherical linear interpolation,球面線性插值)。它來自 1985 年的電腦動畫研究,原本用來平滑插值旋轉。

兩個張量 v0v_0、v1v_1 之間,一般的線性插值是 (1−t)v0+t v1(1-t)v_0+t\,v_1。SLERP 則先算出兩者正規化後的夾角 θ\theta,再沿著球面走:

slerp(v0,v1;t)=sin⁡((1−t)θ)sin⁡θ v0+sin⁡(tθ)sin⁡θ v1,cos⁡θ=v0⋅v1∥v0∥ ∥v1∥\text{slerp}(v_0,v_1;t)=\frac{\sin\big((1-t)\theta\big)}{\sin\theta}\,v_0+\frac{\sin(t\theta)}{\sin\theta}\,v_1,\qquad \cos\theta=\frac{v_0\cdot v_1}{\lVert v_0\rVert\,\lVert v_1\rVert}

兩者差在哪裡?取兩個長度為 1、夾角 90 度的向量,線性插值的中點長度只剩 2/2≈0.707\sqrt2/2\approx0.707;SLERP 的中點長度仍是 1。夾角越大,線性插值把權重「縮短」得越多。

但從同一個基底微調出來的語言模型,權重之間的夾角通常很小。夾角只有 2 度時,線性插值的中點長度是 cos⁡(1∘)≈0.99985\cos(1^\circ)\approx0.99985,兩種方法幾乎沒有差別。MergeKit 的實作也考慮到這點,當兩個張量的正規化內積超過 0.9995 時,直接退回一般的線性插值。

論文說 SLERP 的成功顯示「球面路徑常常比直線有更低的損失障礙」,這是作者的說法,論文裡沒有提供對應的障礙量測。

另外,SLERP 一次只能合併兩個模型,所以前面的範例改用 TIES。官方 gradient-slerp.yml 範例則示範了 SLERP 的另一種用法,讓 attention 和 MLP 用不同的插值係數,而且係數沿層深度變化,例如 attention 從 t=0t=0 漸變到 t=1t=1,MLP 反過來。

不做加減的兩種合併

MergeKit 還有兩種方法完全不在參數空間做運算。

Passthrough,社群叫它「FrankenMerging」,把不同模型的層直接拼接起來,做出一個層數不尋常的新模型。熱門的 Goliath-120B 把 Xwin 與 Euryale 兩個 Llama-2 70B 微調模型的層段,每段 16 層左右、前後部分重疊地交錯接起來。SOLAR-10.7B 的 Depth Up-Scaling 第一步也是這樣,把同一個 32 層模型複製兩份,一份去掉最後 8 層、一份去掉最前 8 層,接成 48 層,之後再繼續預訓練。

mergekit-moe,社群叫「FrankenMoE」,把幾個稠密模型當成專家,組成一個混合專家(MoE)模型。路由器可以用提示詞的隱藏狀態做語意路由,也可以隨機初始化,之後再訓練。

這兩種方法都不涉及任何對齊或插值的理論,拼出來能不能用,只能靠評測說話。

在筆電上合併 70B 模型

MergeKit 的效率來自「out-of-core」的設計。它不會一次把整個模型載入記憶體,而是只載入當下這個運算需要的張量。

一次合併在內部被表示成一張有向無環圖(DAG),每個節點是一個運算。排程器依照這張圖決定執行順序,讓同一時間需要放在記憶體裡的資料越少越好,用不到的中間結果也會自動釋放。作者說這讓 MergeKit 可以從研究叢集一路縮到沒有 GPU、記憶體有限的筆電上執行。

原論文 Figure 2:MergeKit 的軟體架構圖。最上方的使用者介面是 YAML 設定檔,往下交給核心合併流程中的 Merge Planner,由它排程任務、查詢架構資訊,交給 Execution Engine 執行。下方的可擴充模組包含 Linear、SLERP、TIES 等合併方法與自訂方法,以及 Tokenizer Handler;右側的專門工具有 MoE Builder、Token Surgeon、LoRA Extractor,共用元件則是 I/O 操作、延遲載入張量與高效寫入張量。
原論文 Figure 2(Goddard 等人),取自 PDF 第 5 頁,CC BY-SA 4.0。

這張架構圖對想加入新方法的人最有用。作者列出幾個要先熟悉的模組:merge_methods/base.py 定義新方法要實作的介面,graph.py 負責排程與資料搬移,plan.py 建立運算圖,architecture.py 描述各種模型的結構,大多數架構只用一個簡單的 JSON 檔定義。

討論

一組醫學實驗

論文唯一的實驗,是把醫學模型 Meditron-7B 和 Llama2-7B-Chat 合併。兩者都從 Llama2-7B 基底出發,Meditron 另外在大量醫學語料上繼續預訓練。

模型USMLEMedMCQAPubMedQAARC-CHellaSwagMMLU
Llama2-7B-Chat35.9035.4573.4044.2055.4046.37
Meditron-7B38.4024.0771.4040.2054.5033.06
LERP39.1036.6575.6046.7658.6648.44
SLERP39.2036.9175.6046.8458.6747.97
DARE-TIES36.3727.5672.2042.9254.7941.17
TIES38.7332.2775.6045.0558.2345.03

前三欄是醫學考題與問答,後三欄是一般能力。

除了 DARE-TIES 在 USMLE 上低於 Meditron-7B(36.37 對 38.40),合併模型在三項醫學題上都比 Meditron-7B 好;LERP 和 SLERP 在一般能力上也超過 Llama2-7B-Chat。作者據此認為醫學領域上 SLERP 最好。

但讀這張表要小心幾件事。第一,LERP 和 SLERP 的差距大多在 0.5 個百分點以內,MMLU 甚至是 LERP 比較高,這和前面算的「夾角很小時兩者幾乎一樣」一致。第二,表中沒有交代合併係數、評測的提示格式與重複次數,也沒有變異數,無法判斷這些差距是否穩定。第三,只有一組模型、一個領域。這組實驗比較像使用範例,不足以拿來比較方法的優劣。

排行榜上的合併熱潮

論文說 MergeKit「促成了數千個模型的合併」。這股熱潮也帶來問題。

2024 年 3 月,有使用者在 Open LLM Leaderboard 的討論區抱怨,排行榜預設隱藏帶有「merge」標籤的模型,讓他們的合併模型失去曝光。維護排行榜的 Hugging Face 人員回覆,隱藏的原因是合併模型的血緣幾乎無法追溯,一層層合併下來,很難知道裡面混進了哪些資料,很容易意外污染評測集;而且這類模型的分數,常常無法轉化成實際使用上的能力(討論串)。

這不是 MergeKit 本身的錯,但它說明了一件事。合併讓產生新模型的成本趨近於零,評測的可信度卻沒有跟著提高。把一堆在排行榜上分數高的模型合在一起,分數也許會更高,但那可能只是把每個模型各自沾到的考題加在一起。

授權的轉折

MergeKit 一開始以 LGPL v3 釋出。2025 年 2 月,Arcee 在發布 v0.1 時改用 Business Source License,理由是要支撐長期開發;同年 10 月 31 日又宣布改回 LGPL v3,舊版的 BSL 釋出保留在版本歷史中。如果你的專案固定在某個舊版本,可以先確認那個版本適用哪一種授權。

結論

MergeKit 這篇論文沒有提出新的合併理論,它的貢獻是工程上的。把各篇論文的方法收進同一個框架,用 YAML 讓合併配方可以分享,用延遲載入讓大模型可以在小機器上合併。

正因為它太好用,模型合併才會在 2024 年從論文變成社群的日常。後來的 Llama 3、Tülu 3 等模型的技術報告裡,也都可以看到合併被寫進正式的訓練流程。

自己動手前,先記得一件事。MergeKit 讓合併只剩一份 YAML 的工夫,評測可不會跟著變簡單。