論文ノートライブラリに戻る
arXiv 2023NeurIPS 2023モデルマージ論文ノート

Tangent Task Arithmetic

それぞれの持ち場

原論文

Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Models

論文の著者

Guillermo Ortiz-Jimenez · Alessandro Favero · Pascal Frossard

発表先
NeurIPS 2023国際会議
arXiv への初回投稿
arXiv:2305.12827
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{modelmergingtangenttaskarithmetic2023,
  title = {{Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Models}},
  author = {Guillermo Ortiz-Jimenez and Alessandro Favero and Pascal Frossard},
  year = {2023},
  eprint = {2305.12827},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2305.12827}
}
このページの内容

タスク算術によれば、微調整の前後の重みを引き算すると「タスクベクトル」が得られ、これらは足すことも引くこともできる。二つのタスクのベクトルを足せば、モデルは両方をこなせる。一つを引けば、モデルはそのタスクを忘れる。

効果は高いが、理由はずっとよくわかっていなかった。

当時よく言われていた説明では、大規模な事前訓練モデルを微調整しても重みはわずかしか動かず、ネットワークはこの狭い範囲でほぼ線形だとされた。線形なら、重みを足せば出力も当然足し合わされる。

EPFL の Ortiz-Jimenez、Favero、Frossard は、この説明を真剣に検証することにした。その結果、説明は誤りだとわかったが、誤った方向をそのまま進んだ先で、かえってよりよい方法にたどり着いた。

問題の定義

タスク算術が成り立つには何が必要か

まず「タスク算術が成り立つ」とは何かを明確にする。θ0\theta_0 を事前訓練重み、タスク tt で微調整した重みを θt⋆\theta_t^\star とし、タスクベクトルを τt=θt⋆−θ0\tau_t = \theta_t^\star - \theta_0 とする。各タスクには固有の入力範囲 Dt\mathcal{D}_t がある。例えば EuroSAT の衛星画像や SVHN の番地の数字だ。異なるタスクの入力範囲は互いに重ならない。

著者らはタスク算術を次の性質として書く。

f(x; θ0+∑t=1Tαtτt)={f(x; θ0+αtτt)x∈Dtf(x; θ0)x∉⋃tDtf\Big(x;\ \theta_0+\sum_{t=1}^{T}\alpha_t\tau_t\Big)= \begin{cases} f(x;\ \theta_0+\alpha_t\tau_t) & x\in\mathcal{D}_t\\[2pt] f(x;\ \theta_0) & x\notin\bigcup_t\mathcal{D}_t \end{cases}

平たく言えば、複数のタスクベクトルを同時に加えた後、衛星画像を見たときのモデルの振る舞いは「衛星画像のベクトルだけを加えた」ものと同じでなければならない。どのタスクにも属さない入力を見たときは、事前訓練モデルと同じでなければならない。各ベクトルは自分の領域だけを変え、他を邪魔しない。

線形性の仮説

ニューラルネットワークは θ0\theta_0 の近くで一次のテイラー展開ができる。

f(x;θ)≈f(x;θ0)+(θ−θ0)⊤∇θf(x;θ0)f(x;\theta) \approx f(x;\theta_0) + (\theta-\theta_0)^\top\nabla_\theta f(x;\theta_0)

右辺は θ\theta について線形で、カーネル法と等価だ。カーネル関数はニューラルタンジェントカーネル(neural tangent kernel、NTK)k(x,x′)=∇θf(x;θ0)⊤∇θf(x′;θ0)k(x,x')=\nabla_\theta f(x;\theta_0)^\top\nabla_\theta f(x';\theta_0) である。

微調整が本当にこの線形な範囲で起きているなら、τ1+τ2\tau_1+\tau_2 を加えたときの出力の変化は、二つのタスクそれぞれの変化の和になり、タスク算術は自動的に成り立つように見える。

では、CLIP の微調整は本当に線形なのだろうか。

問題を解く

検証その一:微調整は線形ではない

微調整が線形なら、微調整後のタスクベクトル τ\tau を線形近似に当てはめた結果は、元の微調整モデルとほぼ同じになるはずだ。著者らはこれを事後線形化(post-hoc linearization)と呼ぶ。

flin(x;θ0+τ)=f(x;θ0)+τ⊤∇θf(x;θ0)f_{\text{lin}}(x;\theta_0+\tau) = f(x;\theta_0) + \tau^\top\nabla_\theta f(x;\theta_0)

実験はタスク算術の元論文の設定を踏襲し、CLIP の ViT-B/32、ViT-B/16、ViT-L/14 を、Cars、DTD、SUN397、EuroSAT、GTSRB、MNIST、SVHN、RESISC45 の八つのデータセットで微調整する。

結果、事後線形化の単一タスク精度は元の微調整モデルより明らかに低く、三つのサイズの ViT すべてで同じだった。著者らはこの差を「非線形の優位性」と呼ぶ。微調整は線形な範囲にとどまっていない。

もう一つの可能性として、非線形な部分は単一タスクには重要でも、タスク算術は線形な部分しか使っていないのかもしれない。著者らはこれも調べた。非線形な微調整で得たタスクベクトルを使い、事後線形化したモデルで八タスクを加算する。

モデルViT-B/32ViT-B/16ViT-L/14
事前訓練(ゼロショット)48.455.264.4
非線形な微調整71.475.585.1
事後線形化57.165.075.2

表は八タスクの平均絶対精度(%)だ。事後線形化では 10 ポイント以上落ちており、タスク算術は明らかに非線形な部分も使っている。線形性の仮説は成り立たない。

ただし、表には奇妙な点も隠れている。正規化精度、つまりそれぞれの単一タスク微調整の精度で割った値で見ると、事後線形化のほうがむしろ高い。ViT-B/32 では非線形な微調整が 76.5%、事後線形化が 81.9% だ。タスクの忘却も同じで、事後線形化のほうがきれいに忘れる。

線形化したモデルはどのタスクでも成績が劣るが、「加算後にどれだけ保てるか」では勝っている。

重みの分離性

著者らは、タスク算術に必要な条件は重みの分離性(weight disentanglement)だと考える。

f(x; θ0+∑tαtτt)=∑tgt(x; αtτt)+g0(x)f\Big(x;\ \theta_0+\sum_t\alpha_t\tau_t\Big)=\sum_t g_t(x;\ \alpha_t\tau_t)+g_0(x)

ここで gtg_t は Dt\mathcal{D}_t 上でのみ非ゼロ、g0g_0 はすべてのタスク範囲の外でのみ非ゼロだ。モデルの出力は互いに重ならない局所的な関数に分解でき、それぞれは自分のタスクベクトルだけで制御される。

この条件は先ほどのタスク算術の性質と等価で、しかも線形性を要求しない。gtg_t はパラメータについてどんな形の関数でもよい。著者らはさらに、重みの分離性が述べているのは「互いに干渉しない」ことで、各タスクの成績がよいかどうかとは別の話だと念を押している。

分離の度合いを測るため、著者らは二つのタスクの間の分離誤差を定義する。

ξ(α1,α2)=∑t=12Ex∼μt[1(f(x;θ0+αtτt)≠f(x;θ0+α1τ1+α2τ2))]\xi(\alpha_1,\alpha_2)=\sum_{t=1}^{2}\mathbb{E}_{x\sim\mu_t}\Big[\mathbb{1}\big(f(x;\theta_0+\alpha_t\tau_t)\neq f(x;\theta_0+\alpha_1\tau_1+\alpha_2\tau_2)\big)\Big]

これはタスク tt のデータ上で、「自分のベクトルだけを加えた」場合と「両方を加えた」場合で予測が異なる割合だ。誤差が小さいほど、二つのベクトルは互いに干渉しない。

原論文 Figure 3:六枚のヒートマップ。横軸 α1、縦軸 α2 はいずれも −3 から 3 で、色は分離誤差 ξ を表し、淡い色は誤差が小さく、濃い色は誤差が大きい。三列はそれぞれ EuroSAT と SVHN、DTD と SUN397、Cars と RESISC45 の三組のタスク。上段は非線形に微調整した CLIP ViT-B/32 で、淡い領域は原点付近の狭い範囲に集中する。下段は事後線形化したモデルで、淡い領域が明らかに広がる。赤い破線の枠は最適な係数を探索するときに使う範囲を示す。
原論文 Figure 3(Ortiz-Jimenez ら)、PDF 6 ページより。arXiv ライセンス、学術引用。

各図の中心が事前訓練重み θ0\theta_0 で、二本の赤い矢印が二つのタスクベクトルだ。上段の非線形モデルは原点付近の小さな範囲だけが淡い色で、α\alpha が 1 を超えると誤差は急速に上がる。これでタスク算術の元論文の二つの経験的な観察が説明できる。最適な係数はたいてい 1 未満であること、そして微調整では学習率を小さく、ステップ数を少なくすべきことだ。

下段の事後線形化モデルでは、淡い領域がずっと広い。線形化するとタスクベクトル同士が干渉しにくくなる。これが正規化精度の高さの理由だ。

問題ははっきりした。線形化したモデルは分離性に優れるが単一タスクで弱すぎ、非線形モデルは単一タスクで強いが分離性に劣る。両方を取れないだろうか。

接空間で直接微調整する

著者らのやり方は、事後に線形化するのではなく、最初から線形化したモデルで微調整することだ。

原論文 Figure 4:概念図。青緑の曲がった曲面 N はすべてのニューラルネットワーク関数を表し、オレンジの平面 K は f(θ0) で曲面に接する接空間。三本の破線の経路が f(θ0) から出る。青は曲面に沿って非線形な微調整の f(θ*) へ進む。f(θ*) を平面へ垂直に射影すると事後線形化の flin(θ*) になる。赤橙は平面上を直接進み、線形化微調整の flin(θ*lin) に至る。
原論文 Figure 4(Ortiz-Jimenez ら)、PDF 6 ページより。arXiv ライセンス、学術引用。

この図は三つのやり方を並べている。曲がった曲面 N\mathcal{N} はすべてのネットワーク関数、平面 K\mathcal{K} は θ0\theta_0 での接空間だ。通常の微調整は曲面に沿って f(θ⋆)f(\theta^\star) まで進む。事後線形化はこの終点を平面へ射影するので、精度が落ちる。線形化微調整は最初から最後まで平面上を進み、最適化の目標は平面上の最適点 θlin⋆\theta^\star_{\text{lin}} そのものだ。

二つの線形モデルのカーネル関数は同じだが、タスクベクトル τlin=θlin⋆−θ0\tau_{\text{lin}}=\theta^\star_{\text{lin}}-\theta_0 は線形モデルに対して直接最適化したものなので、単一タスクの性能がずっとよい。

実装上、線形化モデルは「θ0\theta_0 を固定し、変位を訓練する」ネットワークだ。PyTorch の torch.func.jvp を使えば、一回の順伝播で f(x;θ0)f(x;\theta_0) と、Jacobian に変位を掛けた結果を同時に計算できる。小さな MLP で、線形近似がいつ正確かを見てみよう。

python
import torch
from torch.func import functional_call, jvp

torch.manual_seed(0)
net = torch.nn.Sequential(torch.nn.Linear(4, 16), torch.nn.Tanh(), torch.nn.Linear(16, 2))
theta0 = {k: v.detach().clone() for k, v in net.named_parameters()}
x = torch.randn(8, 4)

def f(params):
    return functional_call(net, params, (x,))

def f_lin(params):
    delta = {k: params[k] - theta0[k] for k in params}
    out, dp = jvp(f, (theta0,), (delta,))     # f(θ0) と J·(θ − θ0) を一回の順伝播で計算する
    return out + dp

direction = {k: torch.randn_like(v) for k, v in theta0.items()}
for scale in [0.01, 0.1, 1.0]:
    theta = {k: theta0[k] + scale * direction[k] for k in theta0}
    gap = (f(theta) - f_lin(theta)).abs().max().item()
    print(f"変位の倍率 {scale:<4}  元モデルと線形化モデルの最大差 {gap:.5f}")
text
変位の倍率 0.01  元モデルと線形化モデルの最大差 0.00152
変位の倍率 0.1   元モデルと線形化モデルの最大差 0.13638
変位の倍率 1.0   元モデルと線形化モデルの最大差 8.19715

変位が小さいうちは両者はほぼ同じだが、変位が大きくなると差は急速に開く。通常の微調整がどこまで進もうと、線形モデルはそれを追えない。線形化微調整はモデルを接空間に縛りつけるので、どれだけ遠くへ進んでも、重みと出力の関係は線形のままだ。

論文の実験では、著者らは CLIP の画像エンコーダだけを線形化し、テキストエンコーダはもともと凍結している。訓練設定は通常の微調整とまったく同じで、2,000 ステップ、バッチ 128、学習率 10−510^{-5}、AdamW と cosine スケジュールを使い、ハイパーパラメータの追加調整もしていない。

議論

加算も減算もよくなった

最後の行が線形化微調整の結果だ。

タスク加算(絶対/正規化 %)ViT-B/32ViT-B/16ViT-L/14
非線形な微調整71.4/76.575.5/80.085.1/88.8
線形化微調整76.5/85.481.3/86.088.5/93.5

八タスクを加算したときの平均絶対精度は、三つのモデルでそれぞれ 5.1、5.8、3.4 ポイント上がる。

タスクの忘却は、あるタスクベクトルを引いた後、対照タスクの ImageNet で事前訓練時の精度の少なくとも 95% を保つという条件のもとで、対象タスクをどこまで下げられるかで評価する。ViT-B/32 では、非線形な微調整で対象タスクは 24.0% まで、線形化微調整では 10.9% まで下がり、13.1 ポイント多く忘れる。ViT-L/14 では 18.0% から 7.9% になる。対照タスクの精度はほぼ同じだ。

係数の選び方は元論文と同じで、すべてのタスクで一つの α\alpha を共有し、0~1 を 0.05 刻みで探して、訓練データの一部で最良の値を選ぶ。

線形化の利点は小さなモデルで最も大きく、モデルが大きいほど差は小さい。付録でも、大きなモデルほどもともと分離性が高いことが見つかっている。

代償

線形化はただではない。付録によれば、推論時には各演算でもう一度導関数を計算する必要があり、元のモデルのおよそ二~三倍の時間がかかる。訓練時の勾配の計算量とメモリもおよそ倍になる。著者らはこれを「定数倍の増加にすぎない」と書くが、大きなモデルでは、二~三倍の推論コストはそのままデプロイに響く。

後の研究もここを切り口にした。例えば Partial Linearization は LoRA の adapter だけを線形化し、コストを一部のパラメータに抑えている。

なぜ分離するのか

著者らは最後に、カーネル法の観点から説明を与える。カーネル関数は固有関数の組 ϕρ\phi_\rho に分解できる。各タスクが「自分の入力範囲内でのみ非ゼロ」の固有関数だけを使うなら、異なるタスク同士は干渉しない。

著者らは ViT-B/32 で実際に確かめた。RESISC45 で線形化微調整を行い、その NTK を固有分解して、各入力点での固有関数のエネルギーの総和を計算する。RESISC45 のデータ点ではエネルギーが明らかに高く、対照の Cars のデータ点では低かった。RESISC45 を表す固有関数は、確かに RESISC45 のデータに集中している。

著者らは、この局所化はタスク算術の必要条件ではないとも説明している。固有関数は他の領域で互いに打ち消し合うこともありうる。固有関数が各領域内で線形独立な場合に限り、必要条件になる。

分離性は事前訓練で身につく

最後の実験では事前訓練を取り除く。ランダム初期化の ViT から出発し、八つのタスクでそれぞれ微調整してタスクベクトルを得て、加算する。

結果、タスク算術はまったく機能しなかった。ランダム初期化の ViT-B/32 を非線形に微調整した単一タスクの平均は 48.5% だが、八つのベクトルを加算すると 5.5% しか残らず、ランダム初期化のまま微調整していないモデル(5.3%)とほぼ同じだ。線形化微調整でも同じだった。

したがって、重みの分離性は事前訓練の過程で生まれる。事前訓練は意味を切り分ける特徴を学ぶだけでなく、それらの意味領域を制御する重みの方向も互いに分ける。

証拠の範囲

主な実験はすべて CLIP ViT と八つの画像分類データセットで行い、付録で T5 と畳み込みネットワークも扱っている。タスク同士の「入力範囲が互いに重ならない」ことが定義全体の前提で、八つのデータセットではおおむね成り立つ。二つのタスクの入力がもともと重なる場合、例えば同じテキストに対する二種類のラベル付けでは、この分析はそのまま当てはめられない。

結論

この論文はまず「タスク算術は線形な微調整から来る」という説明を覆し、次にタスク算術に必要な条件を重みの分離性、つまり異なるタスクベクトルがそれぞれ自分の入力範囲だけに影響することとして定式化した。

線形化したモデルは分離性に優れるが、単一タスクでは弱すぎる。微調整を接空間へそのまま移せば両方の利点を同時に得られ、代償は推論に二~三倍の時間がかかることだ。

デプロイの予算がこの倍率を許し、しかも大量のタスクベクトルをよく足し合わせるなら、線形化微調整は試す価値がある。公式コードは線形化モデルを通常の nn.Module として包んでいるので、訓練スクリプトはほとんど変えなくてよい。

予算が足りなくても構わない。係数を 1 以内に抑えておけばよい。1 を超えると、タスクベクトル同士がけんかを始める。