返回論文筆記資料庫
arXiv 2021ICCV 2021對比學習論文筆記

DINO

無標籤的自蒸餾

原始論文

Emerging Properties in Self-Supervised Vision Transformers

論文作者

Mathilde Caron · Hugo Touvron · Ishan Misra …

查看全部 7 位作者

Mathilde Caron · Hugo Touvron · Ishan Misra · Hervé Jégou · Julien Mairal · Piotr Bojanowski · Armand Joulin

發表版本
ICCV 2021會議
arXiv 首次提交
arXiv:2104.14294
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{contrastivelearningdino2021,
  title = {{Emerging Properties in Self-Supervised Vision Transformers}},
  author = {Mathilde Caron and Hugo Touvron and Ishan Misra and Hervé Jégou and Julien Mairal and Piotr Bojanowski and Armand Joulin},
  year = {2021},
  eprint = {2104.14294},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2104.14294}
}
本頁內容

這篇論文和 MoCo v3 同一時期發表的論文,但效果要好得多。

論文名稱的縮寫雖然是來自於 self-distillation with no labels,簡稱 DINO。但是讀音卻是要按照恐龍的英文來讀,叫做 DI-NO,而不是 Dee-No。

定義問題

還記得 BYOL 嗎?

不記得沒關係,簡單介紹一下, BYOL 的架構長這樣:

BYOL 首先提出了在表徵學習的訓練過程中,負樣本的存在「非必要」的經典論文。

其中的核心要素有三個:

  1. 孿生網路:線上網路與目標網路,其中目標網路透過指數移動平均(exponential moving average, EMA)進行參數更新。
  2. 停止梯度:目標網路在訓練過程中不回傳梯度。
  3. 額外 MLP 層:線上網路與目標網路的架構差異只在於線上網路多了一層額外的 MLP 預測。

在這篇論文中,作者受到 BYOL 的啟發,決定對這個結構稍作修改。

改動的地方也不多,就兩個:

  1. 換個損失函數:BYOL 採用 MSE,這裡改為相似性匹配損失。
  2. 移除額外 MLP 層:也就是說,這裡的孿生網路的架構是一模一樣的神經網路。

看起來好像沒什麼,但這個形式並非毫無根據,而是作者參考了這篇論文:

這篇論文證明了在 Teacher-Student 的網路架構中,Teacher 網路採用移動平均的形式比起採用固定的網路參數來得效果更好。

解決問題

把剛才提到的 BYOL 架構修改後,就成了上面這個樣子。

給定一張輸入圖像 xx,兩個網絡會分別輸出一個 KK 維的特徵向量,並通過 softmax 函數轉換為概率分布。對於學生網絡(上圖左),其第 ii 個維度的概率 Ps(x)(i)P_s(x)(i) 定義為:

Ps(x)(i)=exp⁡(gθs(x)(i)τs)∑k=1Kexp⁡(gθs(x)(k)τs)P_s(x)^{(i)} = \frac{\exp\left(\frac{g_{\theta_s}(x)^{(i)}}{\tau_s}\right)}{\sum_{k=1}^{K} \exp\left(\frac{g_{\theta_s}(x)^{(k)}}{\tau_s}\right)}

其中,τs>0\tau_s > 0 是溫度參數,用於控制輸出分布的銳利度;同理,教師網絡(上圖右) gθtg_{\theta_t} 的概率分布 PtP_t 也按類似公式定義,但使用的溫度為 τt\tau_t。

在教師網絡不接受此損失的梯度更新的前提下,我們希望學生網絡的輸出分布 Ps(x)P_s(x) 與教師網絡的輸出分布 Pt(x)P_t(x) 盡可能一致,這通過最小化它們之間的交叉熵損失來實現,即:

min⁡θsH(Pt(x),Ps(x))\min_{\theta_s} H(P_t(x), P_s(x))

其中,交叉熵 H(a,b)=−∑alog⁡bH(a, b) = -\sum a \log b 用來衡量兩個分布之間的差異。

由於自監督學習不使用標籤,作者在這裡也是利用對比學習的常用的方法,即同一圖像套用不同的影像增強,來生成不同的「視角」視圖。

在這個架構中,所有的視圖都會輸入學生網絡,只有全局視圖會輸入教師網絡,這樣設計可以鼓勵「局部到全局」的對應關係。

針對每一個全局視圖 x∈{x1g,x2g}x \in \{x^g_1, x^g_2\},以及學生網絡處理的其他視圖 x′x'(要求 x′≠xx' \neq x),計算交叉熵損失,並最小化總損失:

min⁡θs∑x∈{x1g,x2g}∑x′∈Vx′≠xH(Pt(x),Ps(x′))\min_{\theta_s} \sum_{x \in \{x^g_1, x^g_2\}} \sum_{\substack{x' \in V \\ x' \neq x}} H(P_t(x), P_s(x'))

此損失函數在視圖數量上是通用的,即使只有兩個視圖也可以使用;在本論文的標準設定下會使用兩個全局視圖及多個局部視圖作為基本參數化設定。

學生網絡的參數 θs\theta_s 通過梯度最佳化來最小化上述損失函數;論文中的 ViT 實驗使用 AdamW。

教師網絡的參數 θt\theta_t 通過學生網絡參數 θs\theta_s 的 EMA 更新,具體更新規則為:

θt←λθt+(1−λ)θs\theta_t \leftarrow \lambda \theta_t + (1 - \lambda) \theta_s

這種更新方法與動量編碼器(momentum encoder)類似,其中係數 λ\lambda 在訓練過程中按照 cosine schedule 從 0.996 變化到 1。

避免模型崩潰

這種孿生網路的自監督方法的問題通常是:模型一言不合就崩潰。之前的研究中大多使用對比損失、聚類等方法來防止模型崩塌到常數解。不過這裡作者採用了中心化與銳化策略。

  • 中心化(Centering):

    中心化操作是在教師網絡的 logits 進入 softmax 前減去中心向量 cc,公式為:

    gt(x)←gt(x)−cg_t(x) \leftarrow g_t(x) - c

    這樣可以防止某個維度過度主導輸出,但同時可能促使輸出趨向均勻分布。另外,為了讓中心化操作能夠在不同批次大小下穩定工作,中心 cc 使用指數移動平均進行更新:

    c←mc+(1−m)1B∑i=1Bgθt(xi)c \leftarrow m c + (1 - m) \frac{1}{B} \sum_{i=1}^{B} g_{\theta_t}(x_i)

    其中,0≤m<10 \leq m < 1 是移動平均係數,BB 為批次大小。這樣更新後,中心 cc 只依賴於批次的一階統計量。論文正文將偏置寫為 +c+c,但其 Algorithm 1 與作者程式均對這個由平均值更新的 cc 做減法。

  • 銳化(Sharpening):

    銳化操作通過在教師 softmax 正規化中採用較低的溫度 τt\tau_t 實現,使得教師輸出的概率分布更為銳利,這與中心化的均勻傾向相互平衡,共同避免模型崩潰。

討論

和其他方法的比較

根據實驗結果,作者這裡分成對「同架構」的比較和「跨架構」的比較:

  1. 同一架構下的比較:

    • ResNet-50 架構: DINO 在 ResNet-50 上的效果與現有最佳自監督方法相當,驗證了 DINO 在標準設定下能達到與現有方法媲美的表現。
    • ViT-S 架構: 當採用 ViT-S(設計參照 DeiT-S)時,DINO 的表現明顯超越了 BYOL、MoCov2 和 SwAV。
      • 線性分類為 77.0%,比表中 ViT-S 的 SwAV 73.5% 高 3.5 個百分點。
      • k-NN 為 74.5%,比表中 ViT-S 的 BYOL 66.6% 高 7.9 個百分點。 此外,DINO ViT-S 的 k-NN 分類器成績(74.5%)與線性分類器(77.0%)相差 2.5 個百分點;這個接近程度在表中的其他方法及 DINO ResNet-50 上未見。
  2. 跨架構的比較:

    此部分主要探討 DINO 訓練的 ViT 模型在不同規模架構下的極限表現,而非直接比較各種方法。

    從實驗結果看來,擴大 ViT 模型確實能進一步提升性能,但減少 patch 尺寸(即“/8”變體)的影響更顯著。對同一個 ViT 架構而言,縮小 patch 不增加模型參數量,卻會使 token 數增加、推論吞吐量下降,記憶體用量也較高。

    ViT-B/8 以 DINO 訓練後,線性分類 top-1 達到 80.1%,k-NN 達到 77.4%。與表中的 SimCLRv2 RN152w3+SK 相比,其特徵抽取器參數量為 85M 對 794M,推論吞吐量為 63 對 46 im/s;這是跨架構比較。

DINO 在標準 ResNet-50 架構下與 SwAV 同為 75.3% 線性分類準確率;在 ViT 架構中,較小的 patch 提升了表中準確率,但同一架構的推論吞吐量也隨之下降。

不同組件的重要性

作者做了一系列的實驗來探討不同組件的重要性:

  • 無動量(Momentum)的情況(表格第 2 行): 在第 2 行只移除動量教師、其餘設定維持不變時,k-NN 與線性評估都降至 0.1%。
  • 防止崩潰的操作(例如 SK): 第 9 行的 SwAV 不使用動量,但有 Sinkhorn-Knopp(SK)約束,仍得到 71.8% 線性準確率;第 1 與第 3 行則顯示,DINO 已使用動量時,再加入 SK 的變化很小。不同列還有方法配置差異,不能單憑第 3 與第 9 行把差距全歸因於動量。
  • 多視圖(multi-crop)與交叉熵損失: 與第 1 行相比,第 4 行移除多重裁切後線性準確率由 76.1% 降至 72.5%;第 5 行改用 MSE 後降至 62.4%。這兩項消融分別對應多重裁切與交叉熵損失的影響。
  • Predictor 的影響: 第 6 行在學生網絡中加入 predictor,線性準確率為 75.6%,比第 1 行低 0.5 個百分點;BYOL 的 predictor 則是另一套方法中的關鍵組件。

模型崩潰測試

一般來說,常見的崩潰形式有兩種:

  • 其一是模型對不同輸入都輸出相同的均勻分布。
  • 其二是模型對不同輸入都集中在同一個維度。

中心化(Centering)的操作是在教師 logits 上減去中心向量 cc(即 gt(x)←gt(x)−cg_t(x) \leftarrow g_t(x) - c),可防止單一維度過於主導,但單獨使用時可能使輸出趨向均勻。搭配銳化(Sharpening),在教師 softmax 中採用較低的溫度 τt\tau_t,使輸出分布更尖銳,對抗中心化帶來的均勻傾向。

從數學上來看, 將交叉熵 H(Pt,Ps)H(P_t, P_s) 分解為教師輸出熵 h(Pt)h(P_t) 與 KL 散度 DKL(Pt∥Ps)D_{KL}(P_t \| P_s):

H(Pt,Ps)=h(Pt)+DKL(Pt∥Ps)H(P_t, P_s) = h(P_t) + D_{KL}(P_t \| P_s)

當 DKLD_{KL} 收斂到 0 時,只表示損失所比較的教師與學生輸出分布趨於一致;是否不隨不同輸入變化,仍須結合教師輸出的熵與跨輸入變化判斷。

上圖的實驗表明:若僅使用其中一項操作,KL 會收斂到 0,而熵 h(Pt)h(P_t) 則呈現不同極限(無中心化時趨向 0,無銳化時趨向 −log⁡(1/K)=log⁡K-\log(1/K)=\log K);前者對應集中在單一維度,後者對應均勻分布。同時使用兩者時,圖中的熵與 KL 均未落到上述兩種退化狀態。

結論

經過多輪實驗分析,作者發現在 ViT 的架構上採用自監督學習進行訓練,不僅能夠在下游任務中展現出卓越的性能,甚至能與專門為視覺任務設計的卷積神經網路相抗衡。

這一結果表明,自監督學習能夠有效提升 ViT 的泛化能力,使其在不同場景下都能夠取得穩定的表現。反觀傳統監督式學習訓練出的 ViT,則在下游任務中的表現普遍不佳,甚至難以達到與 CNN 相匹敵的水準。

上圖展示的是 ViT 針對圖像分割任務的可視化結果,紅點代表模型的多頭注意力 (Multi-Head Attention) 所關注的位置。可以明顯觀察到,透過自監督學習訓練的 ViT,在注意力分布上更加合理且具備更強的語義對齊能力,能夠更準確地關注圖像中的關鍵區域,進一步提升下游任務的表現。

這一發現強烈暗示,自監督式學習或許正是 ViT 架構的最佳解法。它能夠充分發揮 Transformer 的潛力,擺脫對大量標註數據的依賴,並在視覺領域開闢新的可能性。