返回論文筆記資料庫
arXiv 2021CVPR 2022模型合併論文筆記

WiSE-FT

往回走一半

原始論文

Robust fine-tuning of zero-shot models

論文作者

Mitchell Wortsman · Gabriel Ilharco · Jong Wook Kim …

查看全部 11 位作者

Mitchell Wortsman · Gabriel Ilharco · Jong Wook Kim · Mike Li · Simon Kornblith · Rebecca Roelofs · Raphael Gontijo-Lopes · Hannaneh Hajishirzi · Ali Farhadi · Hongseok Namkoong · Ludwig Schmidt

發表版本
CVPR 2022會議
arXiv 首次提交
arXiv:2109.01903
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{modelmergingwiseft2021,
  title = {{Robust fine-tuning of zero-shot models}},
  author = {Mitchell Wortsman and Gabriel Ilharco and Jong Wook Kim and Mike Li and Simon Kornblith and Rebecca Roelofs and Raphael Gontijo-Lopes and Hannaneh Hajishirzi and Ali Farhadi and Hongseok Namkoong and Ludwig Schmidt},
  year = {2021},
  eprint = {2109.01903},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2109.01903}
}
本頁內容

CLIP 剛出來的時候,大家最驚訝的一點是它的穩。

它還沒用 ImageNet 的標籤做任務微調,就能靠圖文預訓練學到的表示,把「a photo of a {類別}」的文字向量當成分類器,做零樣本分類。更特別的是,換到 ImageNet 的各種變體上,例如重新蒐集的 ImageNetV2、素描版的 ImageNet-Sketch、藝術風格的 ImageNet-R,它的準確率掉得比一般 ImageNet 模型少很多。

這份穩定,一微調就不見了。CLIP 原論文和 BASIC 的實驗都發現,在 ImageNet 上微調之後,ImageNet 本身的準確率大幅提升,好幾個分布偏移資料集上的準確率卻比零樣本模型還低。

華盛頓大學、OpenAI、Columbia、Google 與 AI2 等單位的 Wortsman、Ilharco 等人,想要兩者兼得。

定義問題

論文先引入一個量法,叫有效穩健性(effective robustness)。

把一堆在 ImageNet 上訓練的一般模型畫成散佈圖,橫軸是 ImageNet 準確率,縱軸是分布偏移資料集的平均準確率。這些點大致落在一條直線上(座標軸做過 logit 縮放)。有效穩健性就是一個模型高出這條線的距離:

ρ(f)=Accshift(f)−β(Accref(f))\rho(f) = \text{Acc}_{\text{shift}}(f) - \beta\big(\text{Acc}_{\text{ref}}(f)\big)

β\beta 是那條一般模型的趨勢線。零樣本 CLIP 落在另一條更高的線上,有效穩健性很大;微調之後,點往右移(ImageNet 變高),卻往下掉向一般模型那條線。

作者在微調時還觀察到兩個麻煩。第一,超參數稍微一變,偏移資料上的準確率就差很多,例如兩個學習率在 ImageNet 上只差 0.3 個百分點,偏移資料上卻差到 8 個百分點,而且光看 ImageNet 的表現挑不出來。第二,微調得越用力,例如學習率越大,ImageNet 進步越多,穩健性也掉得越多。

解決問題

兩步

WiSE-FT(weight-space ensembles for fine-tuning)只有兩步:

  1. 照一般方式微調零樣本模型。
  2. 把零樣本模型和微調後的模型,在權重空間線性混合:
θα=(1−α)⋅θzero-shot+α⋅θfine-tuned,α∈[0,1]\theta_\alpha = (1-\alpha)\cdot\theta_{\text{zero-shot}} + \alpha\cdot\theta_{\text{fine-tuned}},\qquad \alpha\in[0,1]

α=0\alpha=0 是零樣本模型,α=1\alpha=1 是微調後的模型,中間的值不需要再訓練,混出來就是一個模型,推論成本和原本一樣。

分類頭怎麼辦?

要混合,兩個模型的每一組權重都得對得上。CLIP 的零樣本分類器其實就是一個線性層 Wzero-shot∈Rd×kW_{\text{zero-shot}}\in\mathbb{R}^{d\times k},每一欄是一個類別描述「a photo of a {類別}」的文字向量;輸出是影像特徵和每一欄的內積。

端到端微調時,作者用這個零樣本分類器初始化最後的分類層,再連同影像編碼器一起訓練。兩個模型的結構和參數形狀完全相同,起點也相同,逐個權重混合就沒有問題。

實驗的分類頭還包含 CLIP 學到的溫度尺度,類別文字則用多種 prompt 的向量平均來建構,ImageNet 使用原作者提供的 80 種模板。做合併時,類別順序、特徵正規化與尺度都得沿用同一套定義。只確認矩陣都是 d×kd\times k,還沒確認第 jj 欄是否仍然代表同一個類別。

把 LC 的情況攤開來算,固定影像表示 g(x)g(x) 後:

g(x)⊤((1−α)W0+αW1)=(1−α)g(x)⊤W0+αg(x)⊤W1.g(x)^\top\big((1-\alpha)W_0+\alpha W_1\big) =(1-\alpha)g(x)^\top W_0+\alpha g(x)^\top W_1.

等號右邊就是兩組 logits 的加權平均。例如某張圖的兩類分數分別是 [4,1][4,1] 和 [0,3][0,3],α=0.5\alpha=0.5 時得到 [2,2][2,2];把兩個分類頭先平均,會得到同樣的分數。先對各自 logits 做 softmax 再平均機率,則是另一個運算。

端到端微調會改變 gg,上面那個分配律就不能把整個網路拆成兩個輸出。因此論文分開量權重平均與輸出集成。兩種方法都能改善穩健性,端到端的權重平均在比較中更有利,且只跑一個編碼器;輸出集成需要兩次影像編碼。LC 則可共用固定特徵,差別主要在分類頭的計算。

討論

散佈圖上的曲線

原論文 Figure 1:上排是兩張示意圖。左圖的紫色星號是零樣本 CLIP,位在較高的趨勢線上;藍點是在 ImageNet 上訓練的一般模型,位在較低的趨勢線上;橘色方塊是微調後的 CLIP,往右移、往下掉。右圖加上 WiSE-FT,粉紅色的點沿 α 從零樣本走到微調模型,形成一條往右上拱起的曲線。下排是真實資料,縱軸是五個分布偏移資料集的平均準確率,放大圖用青色線段標出,α=0.5 的端到端混合比只微調線性分類器的模型,ImageNet 多 1.6 個百分點、分布偏移多 4.5 個百分點。
原論文 Figure 1(Wortsman 等人),取自 PDF 第 2 頁。

上排是示意。左圖裡,零樣本 CLIP(紫色星號)在一般模型的趨勢線上方,綠色箭頭的長度就是有效穩健性;微調後的 CLIP(橘色方塊)往右移,卻往下掉。右圖是 WiSE-FT,α\alpha 從 0 調到 1,粉紅色的點畫出一條往右上拱起的曲線,中間有一段同時比兩端更右、更高。

下排換成真實資料,ViT-L/14@336px。右下的放大圖裡,粉紅色方塊是端到端微調的混合,從零樣本的紫色星號出發,往右上拱,最後才落回微調模型的橘色方塊。

數字

作者主要使用的 CLIP ViT-L/14@336px,在 ImageNet 與五個衍生的分布偏移資料集上:

模型ImageNet五個偏移資料集平均
零樣本(PyTorch 重現)76.673.4
微調線性分類器85.272.6
端到端微調86.268.6
WiSE-FT,端到端,α=0.5\alpha=0.586.876.9
WiSE-FT,端到端,每欄最佳的 α\alpha87.177.4

準確率(%),整理自原論文 Table 1。最後一列的 α\alpha 各欄分別挑選。

端到端微調讓 ImageNet 從 76.6% 升到 86.2%,五個偏移資料集的平均卻從 73.4% 掉到 68.6%。WiSE-FT 取 α=0.5\alpha=0.5,ImageNet 是 86.8%,比端到端微調還高一點;偏移資料平均 76.9%,比零樣本模型也高。對照 CLIP 原論文的線性分類器微調,偏移資料集上高出 4 到 6 個百分點。

五個偏移資料集考的是不同變化。ImageNetV2 重新蒐集相近分布的照片;ImageNet-R 換成雕塑、繪畫等呈現,只有 200 個類別;Sketch 換成素描;ObjectNet 測不同背景與視角,和 ImageNet 重疊 113 類;ImageNet-A 則挑出一組原本會被 ResNet-50 誤判的自然影像,也涵蓋 200 類。評測要限制在各自對應的類別集合,不能把它們當成同一個一千類測試集。

資料集零樣本端到端微調WiSE-FT,α=0.5\alpha=0.5
ImageNetV270.576.879.5
ImageNet-R89.079.889.4
ImageNet-Sketch60.957.964.7
ObjectNet69.163.371.1
ImageNet-A77.765.479.9

準確率(%),同一個 ViT-L/14@336px,整理自原論文 Table 1。

ImageNetV2 的微調本來就有幫助,混合後再進步;ImageNet-R 和 ImageNet-A 則先因微調掉了許多,再由混合拉回。只報五個資料集平均,會把這兩種情況混在一起。也別把每欄各選最佳 α\alpha 的一列當成同一個模型的成績,那一列包含各自對不同目標最有利的選擇。

結果不只在 CLIP 成立。作者在 ALIGN、BASIC 與 JFT 預訓練的 ViT 上看到類似的趨勢;另外六個分布偏移(WILDS 的衛星影像與野生動物相機、CIFAR-10.1 與 10.2、影片幀的擾動),以及七個一般的遷移學習資料集,WiSE-FT 也都有幫助,後者相對錯誤率降低 4% 到 49%。

超參數變簡單了

我們把散佈圖改成直接對 α\alpha 畫準確率。六張圖的橫軸都從零樣本的 0 走到微調後的 1,粉紅線是權重插值;斜虛線是把端點準確率線性混合的基準,水平虛線是兩端較好的那一個。

ImageNet 與五種自然分布偏移上的準確率隨混合係數 alpha 變化,並與端點準確率插值和最佳端點比較。
原論文 Figure 6(Wortsman 等人),取自 PDF 第 11 頁。

粉紅線在中間拱起,六個資料集各有一段超過兩個端點,最佳位置卻不完全一樣。它讓我們看到取捨曲線,也提醒我們單一最佳係數取決於要服務的資料。

回到前面的第一個麻煩。超參數變一點,偏移資料上的表現就差很多,而且從 ImageNet 看不出來。

WiSE-FT 把這個問題換成只調一個 α\alpha。作者發現,即使用一個讓微調模型穩健性很差的學習率,套上 WiSE-FT 調整 α\alpha,也能在 ImageNet 與偏移資料之間拿回好的取捨;而且調 α\alpha 不需要重新訓練。在他們的實驗裡,能達到這條最佳曲線的方法,只有平均權重這一類,WiSE-FT 或對所有迭代點取指數移動平均。

不過 α=0.5\alpha=0.5 是好用的起點,副標題裡的「一半」也從這裡來,沒有推導要求它永遠最好。附錄比較過固定一半和各設定的最佳值,在 ImageNet 與五個偏移資料的綜合平均上,差距約 0 到 0.4 個百分點。若已有代表部署情境的驗證集,就沿插值線掃係數;每個候選仍要做前向評測,省下的是重新微調的時間。

互補究竟發生在哪裡

作者先在固定特徵的 LC 設定分析兩個分類器。除了計算預測分歧,也看分歧時哪個分類器決定集成結果。在 ImageNet 上,微調分類器較常占上風;在多數偏移資料上,零樣本分類器較常占上風,ImageNetV2 是例外。

這和分數的信心尺度有關。作者用最高與次高 logit 的差距當 margin,發現微調模型在參考分布上 margin 較大,零樣本模型在偏移資料上較大。當兩者對不同樣本各有擅長之處,加權的 logits 就有機會保留這種互補。這是 LC 的實驗分析,端到端微調還牽涉表示的變化,作者把後者留在誤差地形的經驗觀察。

其他基線也有認真比。作者掃過學習率、訓練長度、提早停止,以及向零樣本權重的 L2L_2 正則化;在 LC 設定還比過向零樣本輸出蒸餾、label smoothing、L1L_1 與 weight decay。這些方法有的能取回部分穩健性,仍要重新訓練或選正則化強度。WiSE-FT 的實用處,是先把微調做完,再用便宜的權重插值調整取捨。

它處理的範圍也很具體。主結果針對自然分布偏移,沒有把對抗攻擊或所有未知分布都涵蓋進來;權重混合要求相容架構與類別語意。若兩個模型連編碼器都不同,就只能改比輸出層的集成,不能照抄這一行權重平均。

結論

WiSE-FT 的做法用一行公式就寫得完。微調完,往回走一半。

在這篇的設定裡,零樣本 CLIP 和微調後的 CLIP 共享預訓練權重,分類頭也從同一個零樣本分類器出發;沿線的實驗確認中間有好用的區域。拿自己的模型試時,先保留微調前的 checkpoint,再用驗證資料把那條線走一遍,通常比再猜一輪正則化係數省事。

同一組作者半年後又往前走了一步。被丟掉的那些不同超參數的微調模型,能不能也一起加進來平均?那篇論文叫 Model Soups。