返回論文筆記資料庫
arXiv 2023NeurIPS 2023模型合併論文筆記

TIES-Merging

你們先別吵

原始論文

TIES-Merging: Resolving Interference When Merging Models

論文作者

Prateek Yadav · Derek Tam · Leshem Choshen · Colin Raffel · Mohit Bansal

發表版本
NeurIPS 2023會議
arXiv 首次提交
arXiv:2306.01708
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{modelmergingtiesmerging2023,
  title = {{TIES-Merging: Resolving Interference When Merging Models}},
  author = {Prateek Yadav and Derek Tam and Leshem Choshen and Colin Raffel and Mohit Bansal},
  year = {2023},
  eprint = {2306.01708},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2306.01708}
}
本頁內容

任務算術把每個微調模型寫成一個任務向量 τt=θt−θinit\tau_t = \theta_t - \theta_{\text{init}},加起來再乘一個係數,就得到一個多任務模型。兩個任務時效果很好,任務一多,合併模型和各自微調的專家之間,差距就越拉越大。

北卡羅萊納大學教堂山分校(UNC)的 Prateek Yadav、Derek Tam、Colin Raffel、Mohit Bansal,以及 IBM Research 與 MIT 的 Leshem Choshen,想知道這些損失是從哪裡來的。

他們的答案是,向量相加的時候,參數之間在打架。

定義問題

作者把干擾分成兩種。

原論文 Figure 2:左邊是兩個模型(粉紅與紫色箭頭)在三個參數上的變化量;方形參數兩者都往上,沒有干擾;圓形參數只有紫色有大的變化,粉紅的是一個很小的虛線箭頭;菱形參數一個往上、一個往下。右邊是合併結果,橘色箭頭是直接平均,綠色是 TIES;圓形與菱形參數上,直接平均的箭頭明顯變短,TIES 保留了較長的箭頭。
原論文 Figure 2(Yadav 等人),取自 PDF 第 2 頁。

冗餘參數(圓形)。微調時,很多參數只動了一點點,這些小變化對任務幾乎沒有影響。可是合併時,一個參數對模型 A 很重要、對模型 B 只是雜訊,平均下來,A 的重要變化就被 B 的雜訊稀釋,變短了。

正負號衝突(菱形)。同一個參數,A 要它變大,B 要它變小,直接平均,兩者互相抵消。

兩種情況,結果都是合併後的參數變小,原本的差別被抹平。

作者先用數據確認這兩件事都存在。第一,只保留每個任務向量絕對值最大的 20%,其餘歸零,十一個任務的平均表現和全部保留差不多;可見大部分的變化確實是冗餘的。第二,修剪到 20% 之後,合併兩個模型就有約 2% 的參數正負號衝突,合併十一個模型時升到約 30%。

這裡的十一個任務用的是 T0-3B 上的 (IA)3^3 微調。它只訓練一組縮放中間啟動值的小向量,主模型固定,因此「保留 20%」指的是微調參數的改動。作者後面另外驗證全參數的 T5 與 CLIP,不能把這張圖直接解讀成所有大模型都能固定刪掉 80% 改動。

解決問題

原論文 Figure 1:TIES-Merging 的流程圖。左邊是三個模型的任務向量,每個方格是一個參數,彩色箭頭是各模型的變化,實線是重要的值、虛線是冗餘的值。(1) Trim 刪掉虛線,得到修剪後的任務向量;(2) Elect Sign 依各參數的總量選出正負號,形成綠色的符號向量 γm;(3) Disjoint Merge 只保留和選出的正負號一致的值,平均成最右邊的合併任務向量 τm。
原論文 Figure 1(Yadav 等人),取自 PDF 第 2 頁。

TIES 的名字來自三個步驟,Trim、Elect Sign、Disjoint Merge。先把每個任務向量拆成正負號 γt=sgn(τt)\gamma_t=\text{sgn}(\tau_t) 和大小 μt=∣τt∣\mu_t=\lvert\tau_t\rvert,τt=γt⊙μt\tau_t = \gamma_t\odot\mu_t。

  1. 修剪(Trim):每個任務向量只保留絕對值最大的 k%k\%,其餘設成 0,得到 τ^t\hat\tau_t。
  2. 選正負號(Elect):對每個參數 pp,把各任務在這個參數上的值加起來,總和的正負號就是這個參數最後的方向:
γmp=sgn(∑t=1nτ^tp)\gamma_m^p = \text{sgn}\Big(\sum_{t=1}^n \hat\tau_t^p\Big)

這等於比較往正方向和往負方向的「總量」,哪邊大就聽哪邊的。

  1. 不相交平均(Disjoint Merge):每個參數只平均和選出的方向一致的值,被修剪成 0 的值不算:
Ap={t∣γ^tp=γmp},τmp=1∣Ap∣∑t∈Apτ^tp\mathcal{A}^p = \{t \mid \hat\gamma_t^p = \gamma_m^p\},\qquad \tau_m^p = \frac{1}{\lvert\mathcal{A}^p\rvert}\sum_{t\in\mathcal{A}^p}\hat\tau_t^p

最後一樣乘上係數加回去,θm=θinit+λ τm\theta_m = \theta_{\text{init}} + \lambda\,\tau_m。

Trim 歸零的是差值,對應的微調權重會回到初始化值,基底參數還在。Disjoint Merge 的分母則是這一格實際留下、且方向相符的成員數。假設一格只有一個任務留下 +0.4+0.4,另外十個任務都歸零,結果仍是 +0.4+0.4;若除以十一,就又把修剪想消除的稀釋加回去了。各格的分母可以不同。

手算一次

拿三個任務、六個參數算一次,數字是為了示範編的,每個任務保留絕對值最大的一半:

python
import numpy as np

tau = np.array([[ 0.8, -0.1,  0.5,   0.02, -0.6, 0.3 ],   # 任務 A
                [-0.7,  0.4,  0.6,  -0.03,  0.1, 0.05],   # 任務 B
                [ 0.9, -0.2, -0.05,  0.01, -0.5, 0.4 ]])  # 任務 C

print("直接平均:", tau.mean(0).round(3))

# 1. Trim:每個任務只留絕對值最大的一半
k = tau.shape[1] // 2
cut = np.sort(np.abs(tau), axis=1)[:, -k][:, None]
trimmed = np.where(np.abs(tau) >= cut, tau, 0.0)
print(trimmed)

# 2. Elect:每個參數用剩下數值的總和投票,決定正負號
sign = np.sign(trimmed.sum(0))

# 3. Merge:只平均和投票結果同號的值
agree = (np.sign(trimmed) == sign) & (trimmed != 0)
ties = (trimmed * agree).sum(0) / np.maximum(agree.sum(0), 1)
print("TIES    :", ties.round(3))
text
直接平均: [ 0.333  0.033  0.35   0.    -0.333  0.25 ]
[[ 0.8  0.   0.5  0.  -0.6  0. ]
 [-0.7  0.4  0.6  0.   0.   0. ]
 [ 0.9  0.   0.   0.  -0.5  0.4]]
TIES    : [ 0.85  0.4   0.55  0.   -0.55  0.4 ]

第 0 個參數是正負號衝突。A、C 要它變大,B 要它變小,直接平均只剩 0.333;投票的結果是正,只平均 A 和 C,得到 0.85。

第 1 個參數是冗餘。只有 B 認真改了它,A、C 的 −0.1、−0.2 是小雜訊,直接平均被抵消成 0.033;修剪掉雜訊後,B 的 0.4 完整保留。

第 3 個參數三個任務都只動了零點零幾,修剪後歸零,乾脆不動。

注意第 2 步用的是總和,不是單純數人頭。第 0 個參數兩正一負,數人頭也會選正;但如果是一個 +0.9 對兩個 −0.1,總和仍然是正的,大的變化說了算。

若某一格全被修剪掉,程式就讓它保持 0;這份示範也把正負總量剛好相消的格子留在 0,避免空集合除法。以門檻篩 top-k 時,相同大小的值可能一起留下,實際實作也要決定如何處理門檻同值。這些分支通常只占少數,卻會影響兩份合併程式能否重現同一組權重。

此外,TIES 的 λ\lambda 和任務算術的 λ\lambda 不能直接共用。前者先做逐格平均,後者先把任務向量相加;即使先忽略修剪與符號篩選,nn 個任務的加總也比平均大 nn 倍。固定配方的 TIES 取 1、任務算術取 0.4,是各自的建議設定,並非相同尺度的控制實驗。

討論

實驗設定

作者在三種設定上測:

  • 參數高效微調:T0-3B 上用 (IA)3^3 微調十一個任務,包括句子補完、自然語言推論、共指消解與詞義消歧。
  • 全參數微調的語言模型:T5-base 與 T5-large,七個任務。
  • 全參數微調的影像模型:CLIP 的 ViT-B/32 與 ViT-L/14,八個影像分類任務。

比較的對象有簡單平均、Fisher Merging、RegMean 與任務算術。

Fisher 與 RegMean 還需要資料導出的統計量,分別估計參數重要性與線性層輸入的內積;TIES 的三個合併步驟只讀權重。若要用驗證集挑 kk 和 λ\lambda,評測資料仍然需要,論文因此把有、無驗證集兩種結果分開列。

主要結果

有驗證集可以調超參數時(TIES 的 kk 與 λ\lambda、任務算術的 λ\lambda 等):

方法(IA)3^3T5-baseT5-largeViT-B/32ViT-L/14
各自微調的專家71.482.888.890.594.2
多任務聯合訓練73.183.688.188.993.5
Fisher Merging62.268.964.668.382.2
RegMean58.071.273.271.883.7
任務算術63.973.273.370.184.5
TIES-Merging66.473.976.973.686.0

各任務的平均表現,整理自原論文 Table 1。

TIES 在五個設定上都是合併方法裡最好的,比次佳的方法高 0.7 到 3.6 個百分點。但表格最上面兩列提醒我們,合併和專家之間還有一大段距離;ViT-B/32 上,專家平均 90.5,TIES 是 73.6。

作者也做了一個不用驗證集的固定配方,k=20k=20、λ=1\lambda=1。這組數字是在參數高效微調的設定上挑的,再拿去全參數微調的模型上測。和任務算術建議的 λ=0.4\lambda=0.4 相比,TIES 在 ViT-B/32 上是 72.4 對 60.4,ViT-L/14 是 86.0 對 83.3,T5-large 是 74.4 對 73.5;T5-base 則反過來,69.7 對 73.2,TIES 輸了。

任務數量的影響也是重點。作者把合併的任務數從 2 個逐步增加,任務越多,TIES 領先任務算術的幅度越大,這和前面「模型越多,正負號衝突越多」的觀察一致。

這組任務數分析用七個 T5-large 任務,每個任務數最多抽十種子集,縱軸先把各任務分數除以專家分數,再在本次合併的任務上平均。兩個任務時 TIES 與任務算術都接近 1;任務增加後兩者都下降,TIES 掉得較慢。它和 Task Arithmetic 筆記中「每次都在全部八個任務上評測」的圖,平均的範圍不同,所以曲線方向也不同。

沒看過的任務呢?

作者把七個任務合併好的 T5,拿到六個未參與微調的資料集評測,包括 Cosmos QA、Social IQA、QuAIL 的問答,WiC 的詞義,以及 COPA、H-SWAG 的句子補完。T5-base 上,最強比較方法 RegMean 是 34.3,TIES 是 35.3;T5-large 則從 36.0 到 40.4。這裡改善的是對這六個保留任務的泛化,與前面合併任務內的七十幾分不是同一組考題。

同任務的多個 checkpoint 也會互相干擾。作者從 Hugging Face 取每個任務十個 BERT 模型,RTE 上 TIES 72.2、任務算術 71.8;MRPC 是 86.8 對 86.0;WNLI 則是 58.8 對 59.2。TIES 在多數設定更好,仍有方法排名反過來的情況。

每一步都有用嗎

作者逐一拿掉 TIES 的元件。少了係數縮放(直接用 λ=1\lambda=1)和不相交平均,影響最大,T5-base 上分別少 2.5 和 1.9 個百分點,(IA)3^3 上分別少 5.2 和 3.2。修剪和選正負號拿掉也會變差,只是幅度小一些。

這組消融用驗證分數,完整方法是 T5-base 74.5、(IA)3^3 70.7,和前面主表的測試平均分開看。拿掉 Elect 時,作者仍排除被修剪的 0,只把正負值一起平均;拿掉 Disjoint Mean 時,則保留方向篩選,卻讓被修剪位置的 0 進入分母。這樣才能分辨「方向相消」與「被零值稀釋」各自造成多少損失。

另一組實驗直接檢驗「方向」有多重要。把任務向量中絕對值最大的 20% 或 30%,以機率 pp 翻轉正負號,表現隨 pp 單調下降;翻轉其餘 70% 到 80% 的小值,幾乎沒有影響。大的值方向錯了,任務就壞了。

如果正負號都選對

最後作者問了一個假設性的問題。如果每個參數的正負號都選對,合併能做到多好?

他們在十一個 (IA)3^3 任務上另外訓練一個多任務模型,直接拿它的正負號當作「正確答案」,跳過投票。這樣合併出來的模型是 72.0%,多任務模型是 73.1%,只差 1.1 個百分點;TIES 自己投票的版本是 66.4%。

作者的結論是,只要能拿到正確的方向,合併幾乎能追上多任務訓練。附錄裡他們也試了用少量資料去估計這個正負號向量。

但 oracle 已經看過多任務訓練結果,用途是量還有多少改善空間。附錄改成每個任務 32 筆資料估計符號,從頭訓練只能到 66.5,從平均模型初始化則到 67.7,完整 oracle 是 72.0。只要少量資料就能可靠選對方向,仍然是一項待解問題。

結論

TIES-Merging 用三個很便宜的步驟處理任務向量相加時的干擾。小的變化丟掉,方向用總量投票,只平均站在同一邊的值。固定配方只需要相容的微調權重與共同基底;想挑更合適的配方,就要把驗證評測的成本一起算進去。

它的實驗也把邊界畫得很清楚。合併方法之間的差距是幾個百分點,合併和專家之間的差距常常是十幾個百分點。

一年多後,Yadav 和 Google 的合作者把合併放大到 640 億參數重新測了一次,發現到了大模型,各種合併方法的差別越來越小。