返回論文筆記資料庫
arXiv 2023NeurIPS 2023模型合併論文筆記

Tangent Task Arithmetic

各管各的

原始論文

Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Models

論文作者

Guillermo Ortiz-Jimenez · Alessandro Favero · Pascal Frossard

發表版本
NeurIPS 2023會議
arXiv 首次提交
arXiv:2305.12827
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{modelmergingtangenttaskarithmetic2023,
  title = {{Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Models}},
  author = {Guillermo Ortiz-Jimenez and Alessandro Favero and Pascal Frossard},
  year = {2023},
  eprint = {2305.12827},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2305.12827}
}
本頁內容

任務算術告訴我們,把微調前後的權重相減得到「任務向量」,這些向量可以加、可以減。加上兩個任務的向量,模型兩件事都會做;減掉一個,模型就忘了那件事。

效果很好,但原因一直不太清楚。

當時比較流行的解釋是這樣的。大型預訓練模型微調時,權重只移動一點點,網路在這個小範圍內大致是線性的;既然是線性的,權重相加,輸出當然也跟著相加。

EPFL 的 Ortiz-Jimenez、Favero 與 Frossard 決定認真檢查這個說法。結果他們發現這個解釋是錯的,但順著錯誤的方向走下去,反而得到一個更好的方法。

定義問題

任務算術要成立,需要什麼

先把「任務算術成立」寫清楚。令 θ0\theta_0 是預訓練權重,任務 tt 微調後是 θt⋆\theta_t^\star,任務向量 τt=θt⋆−θ0\tau_t = \theta_t^\star - \theta_0。每個任務有自己的輸入範圍 Dt\mathcal{D}_t,例如 EuroSAT 的衛星影像、SVHN 的門牌數字,而且不同任務的輸入範圍互不重疊。

作者把任務算術寫成一個性質:

f(x; θ0+∑t=1Tαtτt)={f(x; θ0+αtτt)x∈Dtf(x; θ0)x∉⋃tDtf\Big(x;\ \theta_0+\sum_{t=1}^{T}\alpha_t\tau_t\Big)= \begin{cases} f(x;\ \theta_0+\alpha_t\tau_t) & x\in\mathcal{D}_t\\[2pt] f(x;\ \theta_0) & x\notin\bigcup_t\mathcal{D}_t \end{cases}

白話來說,把好幾個任務向量同時加上去之後,看到衛星影像時,模型的行為要和「只加了衛星影像那個向量」一樣;看到不屬於任何任務的輸入時,要和預訓練模型一樣。每個向量只改自己那一塊,不打擾別人。

線性的假說

神經網路在 θ0\theta_0 附近可以做一階泰勒展開:

f(x;θ)≈f(x;θ0)+(θ−θ0)⊤∇θf(x;θ0)f(x;\theta) \approx f(x;\theta_0) + (\theta-\theta_0)^\top\nabla_\theta f(x;\theta_0)

右邊對 θ\theta 是線性的,等價於一個核方法,核函數就是神經切線核(neural tangent kernel, NTK)k(x,x′)=∇θf(x;θ0)⊤∇θf(x′;θ0)k(x,x')=\nabla_\theta f(x;\theta_0)^\top\nabla_\theta f(x';\theta_0)。

如果微調真的發生在這個線性範圍裡,加上 τ1+τ2\tau_1+\tau_2 時,輸出的變化就是兩個任務各自變化的總和,任務算術看起來就會自動成立。

那麼,CLIP 微調時到底是不是線性的?

解決問題

檢查一:微調不是線性的

如果微調是線性的,把微調後的任務向量 τ\tau 套到線性近似上,結果應該和原本的微調模型差不多。作者把這叫做事後線性化(post-hoc linearization):

flin(x;θ0+τ)=f(x;θ0)+τ⊤∇θf(x;θ0)f_{\text{lin}}(x;\theta_0+\tau) = f(x;\theta_0) + \tau^\top\nabla_\theta f(x;\theta_0)

實驗沿用任務算術原論文的設定,CLIP 的 ViT-B/32、ViT-B/16、ViT-L/14,在 Cars、DTD、SUN397、EuroSAT、GTSRB、MNIST、SVHN、RESISC45 八個資料集上微調。

結果是事後線性化的單任務準確率明顯低於原本的微調模型,三種大小的 ViT 都一樣。作者稱這個落差為「非線性優勢」。微調並沒有留在線性範圍內。

還有一種可能是,非線性的部分雖然對單一任務重要,但任務算術只用到線性的部分。作者也檢查了這一點。拿非線性微調的任務向量,在事後線性化的模型上做八個任務相加:

模型ViT-B/32ViT-B/16ViT-L/14
預訓練(零樣本)48.455.264.4
非線性微調71.475.585.1
事後線性化57.165.075.2

表中是八個任務的平均絕對準確率(%)。事後線性化掉了 10 個百分點以上,任務算術顯然也用到了非線性的部分。線性假說不成立。

但表格裡還藏著一個奇怪的地方。若改看正規化準確率,也就是除以各自單任務微調的準確率,事後線性化反而比較高。ViT-B/32 上非線性微調是 76.5%,事後線性化是 81.9%。任務遺忘也一樣,事後線性化忘得更乾淨。

線性化的模型雖然每個任務都做得比較差,「相加之後保留多少」卻做得比較好。

權重解耦

作者認為任務算術需要的條件是權重解耦(weight disentanglement):

f(x; θ0+∑tαtτt)=∑tgt(x; αtτt)+g0(x)f\Big(x;\ \theta_0+\sum_t\alpha_t\tau_t\Big)=\sum_t g_t(x;\ \alpha_t\tau_t)+g_0(x)

其中 gtg_t 只在 Dt\mathcal{D}_t 上不為零,g0g_0 只在所有任務範圍之外不為零。模型的輸出可以拆成幾塊互不重疊的局部函數,每一塊只由自己的任務向量控制。

這個條件和前面的任務算術性質是等價的,而且它不要求線性,gtg_t 對參數可以是任何形狀的函數。作者還特別提醒,權重解耦說的是「互不干擾」,和每個任務做得好不好是兩件事。

要量測解耦程度,作者定義兩個任務之間的解耦誤差:

ξ(α1,α2)=∑t=12Ex∼μt[1(f(x;θ0+αtτt)≠f(x;θ0+α1τ1+α2τ2))]\xi(\alpha_1,\alpha_2)=\sum_{t=1}^{2}\mathbb{E}_{x\sim\mu_t}\Big[\mathbb{1}\big(f(x;\theta_0+\alpha_t\tau_t)\neq f(x;\theta_0+\alpha_1\tau_1+\alpha_2\tau_2)\big)\Big]

意思是在任務 tt 的資料上,「只加自己的向量」和「兩個都加」預測不一樣的比例。誤差越小,兩個向量越互不干擾。

原論文 Figure 3:六張熱力圖,橫軸 α1、縱軸 α2 都從 −3 到 3,顏色代表解耦誤差 ξ,淺色是誤差小、深色是誤差大。三欄分別是 EuroSAT 與 SVHN、DTD 與 SUN397、Cars 與 RESISC45 三組任務。上排是非線性微調的 CLIP ViT-B/32,淺色區只集中在原點附近的小範圍;下排是事後線性化的模型,淺色區明顯擴大。紅色虛線框標出搜尋最佳係數時使用的範圍。
原論文 Figure 3(Ortiz-Jimenez 等人),取自 PDF 第 6 頁,arXiv 授權,學術引用。

每張圖的中心是預訓練權重 θ0\theta_0,兩個紅色箭頭是兩個任務向量。上排的非線性模型只在原點附近一小塊是淺色的,α\alpha 超過 1 之後誤差就快速上升。這解釋了任務算術原論文的兩個經驗觀察:最佳係數通常小於 1,而且微調時學習率要小、步數要少。

下排的事後線性化模型,淺色區域大了很多。線性化讓任務向量之間更互不干擾,這就是它正規化準確率較高的原因。

問題變得很清楚。線性化的模型解耦得好,但單任務太弱;非線性模型單任務強,但解耦較差。能不能兩邊都要?

直接在切線空間裡微調

作者的做法是不要事後才線性化,而是一開始就用線性化的模型來微調。

原論文 Figure 4:概念示意圖。藍綠色的彎曲曲面 N 代表所有神經網路函數,橘色平面 K 是在 f(θ0) 處與曲面相切的切線空間。三條虛線路徑從 f(θ0) 出發:藍色沿曲面走到非線性微調的 f(θ*);從 f(θ*) 垂直投影到平面上得到事後線性化的 flin(θ*);橘紅色則直接在平面上走到線性化微調的 flin(θ*lin)。
原論文 Figure 4(Ortiz-Jimenez 等人),取自 PDF 第 6 頁,arXiv 授權,學術引用。

這張圖把三種做法放在一起。彎曲的曲面 N\mathcal{N} 是所有網路函數,平面 K\mathcal{K} 是在 θ0\theta_0 處的切線空間。一般微調沿著曲面走到 f(θ⋆)f(\theta^\star);事後線性化是把這個終點投影到平面上,所以會掉準確率;線性化微調則從頭到尾都在平面上走,優化的目標就是平面上的最佳點 θlin⋆\theta^\star_{\text{lin}}。

兩種線性模型的核函數相同,但任務向量 τlin=θlin⋆−θ0\tau_{\text{lin}}=\theta^\star_{\text{lin}}-\theta_0 是直接針對線性模型最佳化出來的,所以單任務表現好很多。

實作上,線性化模型就是一個「固定 θ0\theta_0、訓練位移量」的網路。PyTorch 的 torch.func.jvp 可以在一次前向傳播中同時算出 f(x;θ0)f(x;\theta_0) 和 Jacobian 乘上位移的結果。用一個小 MLP 看看線性近似什麼時候準:

python
import torch
from torch.func import functional_call, jvp

torch.manual_seed(0)
net = torch.nn.Sequential(torch.nn.Linear(4, 16), torch.nn.Tanh(), torch.nn.Linear(16, 2))
theta0 = {k: v.detach().clone() for k, v in net.named_parameters()}
x = torch.randn(8, 4)

def f(params):
    return functional_call(net, params, (x,))

def f_lin(params):
    delta = {k: params[k] - theta0[k] for k in params}
    out, dp = jvp(f, (theta0,), (delta,))     # f(θ0) 與 J·(θ − θ0),一次前向就算完
    return out + dp

direction = {k: torch.randn_like(v) for k, v in theta0.items()}
for scale in [0.01, 0.1, 1.0]:
    theta = {k: theta0[k] + scale * direction[k] for k in theta0}
    gap = (f(theta) - f_lin(theta)).abs().max().item()
    print(f"位移倍率 {scale:<4}  原模型與線性化模型的最大差距 {gap:.5f}")
text
位移倍率 0.01  原模型與線性化模型的最大差距 0.00152
位移倍率 0.1   原模型與線性化模型的最大差距 0.13638
位移倍率 1.0   原模型與線性化模型的最大差距 8.19715

位移小的時候兩者幾乎一樣,位移一大,差距就快速拉開。一般微調走到哪裡,線性模型管不著;線性化微調則把模型綁在切線空間裡,不管走多遠,權重和輸出的關係都是線性的。

在論文的實驗中,作者只線性化 CLIP 的影像編碼器,文字編碼器本來就凍結。訓練設定和一般微調完全相同,2,000 步、批次 128、學習率 10−510^{-5}、AdamW 搭配 cosine 排程,也沒有另外調超參數。

討論

加法與減法都變好了

最後一列是線性化微調的結果:

任務相加(絕對/正規化 %)ViT-B/32ViT-B/16ViT-L/14
非線性微調71.4/76.575.5/80.085.1/88.8
線性化微調76.5/85.481.3/86.088.5/93.5

八個任務相加的平均絕對準確率,三種模型分別提升 5.1、5.8、3.4 個百分點。

任務遺忘的評估方式,是減掉某個任務向量後,在控制任務 ImageNet 至少保留 95% 預訓練準確率的條件下,看目標任務能降到多低。非線性微調在 ViT-B/32 上把目標任務降到 24.0%,線性化微調降到 10.9%,多忘掉 13.1 個百分點;ViT-L/14 從 18.0% 降到 7.9%。控制任務的準確率幾乎一樣。

係數的選法和原論文一致,所有任務共用一個 α\alpha,在 0 到 1 之間以 0.05 為間隔,用一小部分訓練資料挑最好的值。

線性化的好處在小模型上最大,模型越大,差距越小。附錄也發現越大的模型本身就越解耦。

代價

線性化不是免費的。附錄說明,推論時每一步運算都要多算一次導數,大約是原模型的二到三倍時間;訓練時梯度的計算量與記憶體也大約加倍。作者把這寫成「只有常數倍的增加」,但對大型模型來說,兩三倍的推論成本會直接反映在部署上。

後來的研究也是從這裡切入。像 Partial Linearization 只線性化 LoRA 的 adapter,把成本壓在一小部分參數上。

為什麼會解耦

作者最後從核方法的角度給了一個解釋。核函數可以分解成一組特徵函數 ϕρ\phi_\rho。如果每個任務只用到「只在自己輸入範圍內不為零」的那些特徵函數,不同任務之間就不會互相干擾。

他們在 ViT-B/32 上實際檢查。在 RESISC45 上做線性化微調,對它的 NTK 做特徵分解,再計算每個輸入點上特徵函數的能量總和。RESISC45 的資料點能量明顯較高,當作對照的 Cars 資料點則很低。用來表示 RESISC45 的特徵函數,確實集中在 RESISC45 的資料上。

作者也說明,這種局部化不是任務算術的必要條件,特徵函數在其他區域也可能互相抵銷;只在特徵函數於各區域內線性獨立時,它才變成必要條件。

解耦是預訓練學來的

最後一個實驗把預訓練拿掉。從隨機初始化的 ViT 出發,各自在八個任務上微調得到任務向量,再相加。

結果任務算術完全失效。ViT-B/32 隨機初始化後非線性微調的單任務平均是 48.5%,八個向量相加之後只剩 5.5%,和隨機初始化、還沒微調的模型(5.3%)差不多;線性化微調也一樣。

所以權重解耦是在預訓練時出現的。預訓練不只學出把語意分開的特徵,也讓控制這些語意區域的權重方向彼此分開。

證據的範圍

主要實驗都在 CLIP ViT 與八個影像分類資料集上,附錄另外做了 T5 與卷積網路。任務之間「輸入範圍互不重疊」是整套定義的前提,這在八個資料集上大致成立;當兩個任務的輸入本來就重疊,例如同一份文字的兩種標註,這套分析不能直接套用。

結論

這篇論文先推翻了「任務算術來自線性微調」的說法,再把任務算術需要的條件寫成權重解耦,也就是不同的任務向量各自只影響自己的輸入範圍。

線性化的模型解耦得比較好,只是單任務太弱。把微調直接搬到切線空間做,兩邊的好處就能一起拿到,代價是推論多花兩三倍的時間。

如果你的部署預算吃得下這個倍數,又常常需要把一堆任務向量加在一起,線性化微調值得一試,官方程式碼把線性化模型包成一般的 nn.Module,訓練腳本幾乎不用改。

預算吃不下也沒關係,把係數壓在 1 以內就好。超過 1,任務向量就開始互相打架了。