Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Models
- 發表版本
- NeurIPS 2023會議
- arXiv 首次提交
- arXiv:2305.12827
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{modelmergingtangenttaskarithmetic2023,
title = {{Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Models}},
author = {Guillermo Ortiz-Jimenez and Alessandro Favero and Pascal Frossard},
year = {2023},
eprint = {2305.12827},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2305.12827}
}
任務算術告訴我們,把微調前後的權重相減得到「任務向量」,這些向量可以加、可以減。加上兩個任務的向量,模型兩件事都會做;減掉一個,模型就忘了那件事。
效果很好,但原因一直不太清楚。
當時比較流行的解釋是這樣的。大型預訓練模型微調時,權重只移動一點點,網路在這個小範圍內大致是線性的;既然是線性的,權重相加,輸出當然也跟著相加。
EPFL 的 Ortiz-Jimenez、Favero 與 Frossard 決定認真檢查這個說法。結果他們發現這個解釋是錯的,但順著錯誤的方向走下去,反而得到一個更好的方法。
定義問題
任務算術要成立,需要什麼
先把「任務算術成立」寫清楚。令 是預訓練權重,任務 微調後是 ,任務向量 。每個任務有自己的輸入範圍 ,例如 EuroSAT 的衛星影像、SVHN 的門牌數字,而且不同任務的輸入範圍互不重疊。
作者把任務算術寫成一個性質:
白話來說,把好幾個任務向量同時加上去之後,看到衛星影像時,模型的行為要和「只加了衛星影像那個向量」一樣;看到不屬於任何任務的輸入時,要和預訓練模型一樣。每個向量只改自己那一塊,不打擾別人。
線性的假說
神經網路在 附近可以做一階泰勒展開:
右邊對 是線性的,等價於一個核方法,核函數就是神經切線核(neural tangent kernel, NTK)。
如果微調真的發生在這個線性範圍裡,加上 時,輸出的變化就是兩個任務各自變化的總和,任務算術看起來就會自動成立。
那麼,CLIP 微調時到底是不是線性的?
解決問題
檢查一:微調不是線性的
如果微調是線性的,把微調後的任務向量 套到線性近似上,結果應該和原本的微調模型差不多。作者把這叫做事後線性化(post-hoc linearization):
實驗沿用任務算術原論文的設定,CLIP 的 ViT-B/32、ViT-B/16、ViT-L/14,在 Cars、DTD、SUN397、EuroSAT、GTSRB、MNIST、SVHN、RESISC45 八個資料集上微調。
結果是事後線性化的單任務準確率明顯低於原本的微調模型,三種大小的 ViT 都一樣。作者稱這個落差為「非線性優勢」。微調並沒有留在線性範圍內。
還有一種可能是,非線性的部分雖然對單一任務重要,但任務算術只用到線性的部分。作者也檢查了這一點。拿非線性微調的任務向量,在事後線性化的模型上做八個任務相加:
| 模型 | ViT-B/32 | ViT-B/16 | ViT-L/14 |
|---|---|---|---|
| 預訓練(零樣本) | 48.4 | 55.2 | 64.4 |
| 非線性微調 | 71.4 | 75.5 | 85.1 |
| 事後線性化 | 57.1 | 65.0 | 75.2 |
表中是八個任務的平均絕對準確率(%)。事後線性化掉了 10 個百分點以上,任務算術顯然也用到了非線性的部分。線性假說不成立。
但表格裡還藏著一個奇怪的地方。若改看正規化準確率,也就是除以各自單任務微調的準確率,事後線性化反而比較高。ViT-B/32 上非線性微調是 76.5%,事後線性化是 81.9%。任務遺忘也一樣,事後線性化忘得更乾淨。
線性化的模型雖然每個任務都做得比較差,「相加之後保留多少」卻做得比較好。
權重解耦
作者認為任務算術需要的條件是權重解耦(weight disentanglement):
其中 只在 上不為零, 只在所有任務範圍之外不為零。模型的輸出可以拆成幾塊互不重疊的局部函數,每一塊只由自己的任務向量控制。
這個條件和前面的任務算術性質是等價的,而且它不要求線性, 對參數可以是任何形狀的函數。作者還特別提醒,權重解耦說的是「互不干擾」,和每個任務做得好不好是兩件事。
要量測解耦程度,作者定義兩個任務之間的解耦誤差:
意思是在任務 的資料上,「只加自己的向量」和「兩個都加」預測不一樣的比例。誤差越小,兩個向量越互不干擾。

每張圖的中心是預訓練權重 ,兩個紅色箭頭是兩個任務向量。上排的非線性模型只在原點附近一小塊是淺色的, 超過 1 之後誤差就快速上升。這解釋了任務算術原論文的兩個經驗觀察:最佳係數通常小於 1,而且微調時學習率要小、步數要少。
下排的事後線性化模型,淺色區域大了很多。線性化讓任務向量之間更互不干擾,這就是它正規化準確率較高的原因。
問題變得很清楚。線性化的模型解耦得好,但單任務太弱;非線性模型單任務強,但解耦較差。能不能兩邊都要?
直接在切線空間裡微調
作者的做法是不要事後才線性化,而是一開始就用線性化的模型來微調。

這張圖把三種做法放在一起。彎曲的曲面 是所有網路函數,平面 是在 處的切線空間。一般微調沿著曲面走到 ;事後線性化是把這個終點投影到平面上,所以會掉準確率;線性化微調則從頭到尾都在平面上走,優化的目標就是平面上的最佳點 。
兩種線性模型的核函數相同,但任務向量 是直接針對線性模型最佳化出來的,所以單任務表現好很多。
實作上,線性化模型就是一個「固定 、訓練位移量」的網路。PyTorch 的 torch.func.jvp 可以在一次前向傳播中同時算出 和 Jacobian 乘上位移的結果。用一個小 MLP 看看線性近似什麼時候準:
import torch
from torch.func import functional_call, jvp
torch.manual_seed(0)
net = torch.nn.Sequential(torch.nn.Linear(4, 16), torch.nn.Tanh(), torch.nn.Linear(16, 2))
theta0 = {k: v.detach().clone() for k, v in net.named_parameters()}
x = torch.randn(8, 4)
def f(params):
return functional_call(net, params, (x,))
def f_lin(params):
delta = {k: params[k] - theta0[k] for k in params}
out, dp = jvp(f, (theta0,), (delta,)) # f(θ0) 與 J·(θ − θ0),一次前向就算完
return out + dp
direction = {k: torch.randn_like(v) for k, v in theta0.items()}
for scale in [0.01, 0.1, 1.0]:
theta = {k: theta0[k] + scale * direction[k] for k in theta0}
gap = (f(theta) - f_lin(theta)).abs().max().item()
print(f"位移倍率 {scale:<4} 原模型與線性化模型的最大差距 {gap:.5f}")
位移倍率 0.01 原模型與線性化模型的最大差距 0.00152
位移倍率 0.1 原模型與線性化模型的最大差距 0.13638
位移倍率 1.0 原模型與線性化模型的最大差距 8.19715
位移小的時候兩者幾乎一樣,位移一大,差距就快速拉開。一般微調走到哪裡,線性模型管不著;線性化微調則把模型綁在切線空間裡,不管走多遠,權重和輸出的關係都是線性的。
在論文的實驗中,作者只線性化 CLIP 的影像編碼器,文字編碼器本來就凍結。訓練設定和一般微調完全相同,2,000 步、批次 128、學習率 、AdamW 搭配 cosine 排程,也沒有另外調超參數。
討論
加法與減法都變好了
最後一列是線性化微調的結果:
| 任務相加(絕對/正規化 %) | ViT-B/32 | ViT-B/16 | ViT-L/14 |
|---|---|---|---|
| 非線性微調 | 71.4/76.5 | 75.5/80.0 | 85.1/88.8 |
| 線性化微調 | 76.5/85.4 | 81.3/86.0 | 88.5/93.5 |
八個任務相加的平均絕對準確率,三種模型分別提升 5.1、5.8、3.4 個百分點。
任務遺忘的評估方式,是減掉某個任務向量後,在控制任務 ImageNet 至少保留 95% 預訓練準確率的條件下,看目標任務能降到多低。非線性微調在 ViT-B/32 上把目標任務降到 24.0%,線性化微調降到 10.9%,多忘掉 13.1 個百分點;ViT-L/14 從 18.0% 降到 7.9%。控制任務的準確率幾乎一樣。
係數的選法和原論文一致,所有任務共用一個 ,在 0 到 1 之間以 0.05 為間隔,用一小部分訓練資料挑最好的值。
線性化的好處在小模型上最大,模型越大,差距越小。附錄也發現越大的模型本身就越解耦。
代價
線性化不是免費的。附錄說明,推論時每一步運算都要多算一次導數,大約是原模型的二到三倍時間;訓練時梯度的計算量與記憶體也大約加倍。作者把這寫成「只有常數倍的增加」,但對大型模型來說,兩三倍的推論成本會直接反映在部署上。
後來的研究也是從這裡切入。像 Partial Linearization 只線性化 LoRA 的 adapter,把成本壓在一小部分參數上。
為什麼會解耦
作者最後從核方法的角度給了一個解釋。核函數可以分解成一組特徵函數 。如果每個任務只用到「只在自己輸入範圍內不為零」的那些特徵函數,不同任務之間就不會互相干擾。
他們在 ViT-B/32 上實際檢查。在 RESISC45 上做線性化微調,對它的 NTK 做特徵分解,再計算每個輸入點上特徵函數的能量總和。RESISC45 的資料點能量明顯較高,當作對照的 Cars 資料點則很低。用來表示 RESISC45 的特徵函數,確實集中在 RESISC45 的資料上。
作者也說明,這種局部化不是任務算術的必要條件,特徵函數在其他區域也可能互相抵銷;只在特徵函數於各區域內線性獨立時,它才變成必要條件。
解耦是預訓練學來的
最後一個實驗把預訓練拿掉。從隨機初始化的 ViT 出發,各自在八個任務上微調得到任務向量,再相加。
結果任務算術完全失效。ViT-B/32 隨機初始化後非線性微調的單任務平均是 48.5%,八個向量相加之後只剩 5.5%,和隨機初始化、還沒微調的模型(5.3%)差不多;線性化微調也一樣。
所以權重解耦是在預訓練時出現的。預訓練不只學出把語意分開的特徵,也讓控制這些語意區域的權重方向彼此分開。
證據的範圍
主要實驗都在 CLIP ViT 與八個影像分類資料集上,附錄另外做了 T5 與卷積網路。任務之間「輸入範圍互不重疊」是整套定義的前提,這在八個資料集上大致成立;當兩個任務的輸入本來就重疊,例如同一份文字的兩種標註,這套分析不能直接套用。
結論
這篇論文先推翻了「任務算術來自線性微調」的說法,再把任務算術需要的條件寫成權重解耦,也就是不同的任務向量各自只影響自己的輸入範圍。
線性化的模型解耦得比較好,只是單任務太弱。把微調直接搬到切線空間做,兩邊的好處就能一起拿到,代價是推論多花兩三倍的時間。
如果你的部署預算吃得下這個倍數,又常常需要把一堆任務向量加在一起,線性化微調值得一試,官方程式碼把線性化模型包成一般的 nn.Module,訓練腳本幾乎不用改。
預算吃不下也沒關係,把係數壓在 1 以內就好。超過 1,任務向量就開始互相打架了。