返回論文筆記資料庫
arXiv 2022ICLR 2023模型合併論文筆記

Task Arithmetic

權重的加減法

原始論文

Editing Models with Task Arithmetic

論文作者

Gabriel Ilharco · Marco Tulio Ribeiro · Mitchell Wortsman …

查看全部 7 位作者

Gabriel Ilharco · Marco Tulio Ribeiro · Mitchell Wortsman · Suchin Gururangan · Ludwig Schmidt · Hannaneh Hajishirzi · Ali Farhadi

發表版本
ICLR 2023會議
arXiv 首次提交
arXiv:2212.04089
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{modelmergingtaskarithmetic2022,
  title = {{Editing Models with Task Arithmetic}},
  author = {Gabriel Ilharco and Marco Tulio Ribeiro and Mitchell Wortsman and Suchin Gururangan and Ludwig Schmidt and Hannaneh Hajishirzi and Ali Farhadi},
  year = {2022},
  eprint = {2212.04089},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2212.04089}
}
本頁內容

預訓練模型拿到手,通常還要改一改。讓它在某個任務上更好、讓它少說一些有毒的話、讓它跟上新的資料,這些都屬於論文說的「編輯」。

最常見的編輯方法是微調。微調一次,就多一個模型;想要模型同時會兩件事,常見做法是把兩份資料湊在一起做多任務訓練。每增加一種能力,資料與訓練流程又得調整一輪。

華盛頓大學、Microsoft Research 與 AI2 的 Ilharco、Ribeiro、Wortsman 等人,之前剛做完 WiSE-FT 和 Model Soups,都在研究權重的線性混合。這次他們換一個角度,把「微調改了什麼」單獨拿出來,當成一個向量來操作。

定義問題

令 θpre\theta_{\text{pre}} 是預訓練權重,θftt\theta^t_{\text{ft}} 是在任務 tt 上微調後的權重。任務向量(task vector)定義為兩者的差:

τt=θftt−θpre\tau_t = \theta^t_{\text{ft}} - \theta_{\text{pre}}

這是一個和整個模型一樣大的向量,記錄為了任務 tt,每個權重往哪個方向移、移了多少。

把任務向量加回某組權重 θ\theta,可以帶一個縮放係數 λ\lambda:

θnew=θ+λ τ\theta_{\text{new}} = \theta + \lambda\,\tau

θ=θpre\theta=\theta_{\text{pre}}、λ=1\lambda=1 時,就剛好回到微調後的模型。λ\lambda 由保留的驗證資料決定。

這裡有一個前提。任務向量是逐個權重相減,所以必須是同一個架構,而且微調時不能多出新的參數。作者因此選了兩類「開放式」的模型,一類是開放詞彙的影像分類器(如 CLIP,換任務只要換類別名稱,用文字編碼器生出分類頭),一類是 text-to-text 的語言模型(如 T5、GPT-2)。

這些向量能不能像數字一樣相加、相減,讓模型的行為也跟著照做?

解決問題

原論文 Figure 1:四格示意圖。(a) 任務向量是從預訓練權重 θpre 指向微調權重 θft 的箭頭,τ = θft − θpre。(b) 取負號的任務向量往反方向走,例子是讓語言模型少產生有毒內容。(c) 兩個任務向量 τA、τB 相加,得到一個多任務模型。(d) 任務類比,τnew = τC + (τB − τA),例子是改善在新領域上的泛化。
原論文 Figure 1(Ilharco 等人),取自 PDF 第 2 頁,CC BY 4.0。

作者研究三種運算,全都是逐個權重做的:

  1. 取負號(遺忘):τnew=−τ\tau_{\text{new}} = -\tau。從預訓練權重往微調的反方向走,模型在那個任務上變差,其他任務盡量不受影響。
  2. 相加(學習):τnew=∑iτi\tau_{\text{new}} = \sum_i \tau_i。把幾個任務的向量加起來,得到一個同時處理這些任務的模型。
  3. 類比:如果四個任務滿足「A 之於 B,如同 C 之於 D」,就用 τnew=τC+(τB−τA)\tau_{\text{new}} = \tau_C + (\tau_B - \tau_A) 去改善 D,即使 D 幾乎沒有資料。

三種運算最後都是 θnew=θpre+λ τnew\theta_{\text{new}} = \theta_{\text{pre}} + \lambda\,\tau_{\text{new}}。整個編輯只是向量運算,推論時的記憶體和計算量都和原本的模型一樣。

這裡很容易把「任務相加」和「平均兩個微調模型」混在一起。設 θA=θ0+τA\theta_A=\theta_0+\tau_A、θB=θ0+τB\theta_B=\theta_0+\tau_B,我們有

θA+θB2=θ0+τA+τB2,θ0+τA+τB=θA+θB−θ0.\frac{\theta_A+\theta_B}{2}=\theta_0+\frac{\tau_A+\tau_B}{2}, \qquad \theta_0+\tau_A+\tau_B=\theta_A+\theta_B-\theta_0.

直接平均等於任務算術取 λ=0.5\lambda=0.5;取 λ=1\lambda=1 則保留兩個完整的微調改動。例如基底參數是 [1,1][1,1],兩個任務分別改成 [1.2,1][1.2,1] 和 [1,1.4][1,1.4],平均得到 [1.1,1.2][1.1,1.2],任務相加得到 [1.2,1.4][1.2,1.4]。對大網路而言,尺度差一倍足以改變成績,所以係數選擇是方法的一部分。

類比聽起來最抽象,舉論文的例子比較好懂。想做 Yelp 評論的情感分類,手上卻只有 Amazon 評論的情感標註,Yelp 只有沒標註的文字。作者這樣組:

τ^yelp;sent=τamazon;sent+(τyelp;lm−τamazon;lm)\hat\tau_{\text{yelp;sent}} = \tau_{\text{amazon;sent}} + \big(\tau_{\text{yelp;lm}} - \tau_{\text{amazon;lm}}\big)

τamazon;sent\tau_{\text{amazon;sent}} 是在 Amazon 上做情感分類學到的;括號裡兩個向量,是分別在 Yelp 和 Amazon 的文字上做語言模型訓練學到的,不需要標註。括號的差,大致就是「從 Amazon 換到 Yelp」這個領域變化的方向。

討論

取負號:忘掉一個任務

影像分類用 CLIP,目標任務有八個資料集,汽車型號(Cars)、紋理(DTD)、衛星影像(EuroSAT、RESISC45)、交通號誌(GTSRB)、手寫數字(MNIST)、場景(SUN397)、門牌數字(SVHN)。對照任務是 ImageNet,用來確認其他能力沒被弄壞。

ViT-L/14 減去任務向量之後,八個目標任務的平均準確率從 64.8% 降到 19.0%,掉了 45.8 個百分點;控制任務 ImageNet 從 75.5% 降到 72.9%,代價是 2.6 個百分點。作為對照,改成在目標任務上做梯度上升(把損失往上推),目標任務也會變差,但 ImageNet 跟著嚴重退步到 16.3%;加一個大小相同的隨機向量,則對目標任務效果很小。

文字生成上,作者在 Civil Comments 毒性分數高於 0.8 的留言上微調 GPT-2 Large,得到「說有毒的話」的任務向量,再把它減掉。生成內容被判定為有毒的比例從 4.8% 降到 0.8%,WikiText-103 的困惑度從 16.4 變成 16.9。梯度上升同樣能降毒性,但困惑度壞到不能用。

這組實驗用固定的爭議性前綴產生 1,000 段文字,再用 Detoxify 分類器評分;λ\lambda 是在困惑度惡化不超過 0.5 的條件下挑出的最大值。對照的「直接用無毒留言微調」得到 1.8% 毒性比例、17.2 困惑度,取反向量在這組取捨上更好。附錄換過其他提示與 RealToxicityPrompts,也量了不同大小的 GPT-2;困難提示上的毒性仍有改善空間。

因此這裡的「遺忘」是可測量的行為退化,證據是指定任務與提示下的輸出。若目的是移除某筆訓練資料或保證特定資訊無法被取出,這篇沒有提供那種形式的驗證。

相加:一個模型做好幾件事

原論文 Figure 3:散佈圖,橫軸是加進去的任務向量數量(0 到 8),縱軸是八個任務的平均正規化準確率。每個淡藍色的點是一種任務組合,實線連接每個數量的平均值,從 0 個向量的約 0.69 一路升到 8 個向量的約 0.90。
原論文 Figure 3(Ilharco 等人),取自 PDF 第 5 頁,CC BY 4.0。

各任務的難度不同,作者用正規化準確率來比,也就是把合併模型在每個任務上的準確率,除以該任務單獨微調的模型的準確率。100% 代表和各自的專家一樣好。

兩兩相加,在那兩個對應任務上平均保留了專家 98.9% 的準確率。上圖換了一個量法,每個點是一種向量子集,但成績一律平均在全部八個任務上。作者掃過 282^8 種子集;0 個向量就是零樣本的預訓練模型,大約 69%,任務覆蓋增加後,整體平均也提高。八個任務向量都可供選擇時,找到的最佳多任務模型達到 91.2% 正規化準確率。

一個模型做八件事,和八個專家各自上場相比,差不到一成。但要注意,這也代表合併確實有損失,任務越多,越難完全保住。

正規化要先逐任務相除,再取平均。例如專家在兩個任務分別是 80% 和 100%,合併後是 72% 和 95%,保留率是 (72/80+95/100)/2=92.5%(72/80+95/100)/2=92.5\%;原始平均準確率則是 83.5%,兩者用途不同。論文的 91.2% 用來衡量保留各專家的程度。

係數用驗證資料從 0 到 1、每次增加 0.05 搜尋,所有相加向量共用一個 λ\lambda,避免每個任務獨立調係數導致組合爆炸。附錄發現 0.3 到 0.5 是不少組合的好區域,但不同子集的最佳值差異仍大;可用向量越多,也未必全部放進去最好。

還有一個強基準不能漏。用全部八個任務資料直接做多任務微調,正規化準確率是 99.4%,高於任務算術最佳的 91.2%。任務算術換到的是模組化、不必重新取得各任務訓練資料,以及合併時免訓練的便利。資料可以集中、願意再訓練一次時,多任務微調仍值得優先比較。

自然語言方面,作者先在四個 GLUE 任務上微調 T5-base,再從 Hugging Face 上找了 427 個相容的公開模型,把它們的任務向量一個一個加到自己的模型上,用驗證集挑最好的那一個和係數。加上別人任務的向量,有時能讓目標任務比單純微調更好。

這次四個任務的平均分數從 78.1 到 78.6,MRPC 從 88.5 到 89.3,其餘增幅約 0.2 到 0.7。它是「搜尋很多候選,再選有幫助的向量」的結果。附錄另外合併六個公開 T5 checkpoint 的成對組合,涵蓋問答、摘要、情緒與文字生成,依任務使用 accuracy、exact match 或 ROUGE-2;不能拿同一個準確率數字概括全部文字任務。

類比:沒有目標標註也能學

前面的 Yelp 與 Amazon 例子,在多種大小的 T5 上都比只用 Amazon 情感資料微調好,接近直接在目標資料上微調的表現。作者發現情感分類的向量要給比較大的權重,所以用了兩個獨立的係數。

例如以 Amazon 為目標的 T5-base,只用 Yelp 的情緒標註微調是 90.8%,加入領域類比後是 92.7%,直接在 Amazon 標註上微調是 93.2%。兩個語言模型向量要有目標與輔助領域的無標註文字;「沒有目標標註」仍然用到了目標領域資料。類比的作用,是用這些無標註文字估計領域移動,再把已學到的情緒分類方向接過去。

另一組實驗用 ImageNet 和手繪素描資料集共有的 125 個類別,切成「照片/素描」×「兩組類別」四個子族群。要改善「素描的獅子」這一類,就用

τ^sketch lion=τsketch dog+(τreal lion−τreal dog)\hat\tau_{\text{sketch lion}} = \tau_{\text{sketch dog}} + \big(\tau_{\text{real lion}} - \tau_{\text{real dog}}\big)

平均下來,比預訓練模型高 3.4 個百分點,效果大約相當於替目標子族群多蒐集並標註一百張左右的訓練樣本。

為什麼加得起來

作者量了 CLIP 在九個任務上的任務向量,兩兩之間的餘弦相似度。大多數組合只有 0.01 到 0.03,幾乎互相垂直。比較高的都是語意相近的任務。MNIST 和 SVHN 都是認數字,是 0.18;GTSRB 的交通號誌也要認數字,和這兩者是 0.06;EuroSAT 和 RESISC45 都是衛星影像,是 0.05。

作者推測,正是這種接近垂直的關係,讓向量相加時互相干擾很少。這只是觀察上的推測;後來 Ortiz-Jimenez 等人進一步分析,認為關鍵在權重的「解耦」,而且這種性質是預訓練帶來的,在隨機初始化的模型上做不到。

另外兩個觀察對實作很有用。第一,學習率越大,相加的效果退化得越快,比單一微調模型更敏感;作者建議用任務向量時,微調的學習率要保守一點。第二,任務向量在微調早期就朝最終的方向收斂,只微調幾百步、拿中間的任務向量來加,準確率就差不多飽和了。

限制

作者自己列的限制很直接。任務向量只能用在同一個架構上;所有實驗也都是從同一個預訓練權重出發的模型。

他們也注意到,這個限制在實務上沒那麼嚴格。寫論文的時候,Hugging Face 上已經有三千多個從同一個 BERT-base 微調出來的模型,從同一個 T5-small 出發的也有八百多個。

結論

任務算術把微調的結果寫成一個向量,然後告訴我們,這些向量可以加、可以減、可以做類比,模型的行為大致也跟著照做。

它沒有發明新的訓練方法,用的仍然是一般的微調;新的是看待微調結果的方式。之後的 TIES-Merging、DARE 都從這個框架出發,各自處理向量相加時的干擾。

下次在 Hugging Face 上看到一個從你熟悉的基底微調出來的模型,可以先把它和基底相減,看看那個向量長什麼樣子。