返回論文筆記資料庫
arXiv 2020ICML 2020對比學習論文筆記

SimCLR v1

一力降十會

原始論文

A Simple Framework for Contrastive Learning of Visual Representations

論文作者

Ting Chen · Simon Kornblith · Mohammad Norouzi · Geoffrey Hinton

發表版本
ICML 2020會議
arXiv 首次提交
arXiv:2002.05709
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{contrastivelearningsimclrv12020,
  title = {{A Simple Framework for Contrastive Learning of Visual Representations}},
  author = {Ting Chen and Simon Kornblith and Mohammad Norouzi and Geoffrey Hinton},
  year = {2020},
  eprint = {2002.05709},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2002.05709}
}
本頁內容

對比學習的研究約莫過了五年,整個場面已經變得非常複雜與混亂。不光是架構設計複雜,具體的模型訓練方法也是百家爭鳴。

本篇論文的作者認為,對比學習的核心應該要簡單一點。

定義問題

回想一下對比學習的必備要素:

  • 要有好的結果,一個記憶庫 (memory bank) 似乎是一件必要的事情?

因為我們需要大量的負樣本來引導模型學到更好的表示方式,而記憶庫確實能夠提供這樣的功能。一開始的 InstDict 是這樣做,後來的 MoCo 也是。

但是很煩!訓練過程中還要額外維護一個記憶庫,顯然是個不友善的設計。

作者在這篇文章中,決定直接捨棄記憶庫的設計,取而代之的是更大的批次大小。只要我們給出足夠多的負樣本,模型就能夠學到足夠好的表示!

解決問題

模型架構

這個架構真的非常簡單,沒有多個編碼器,沒有記憶庫。

流程是先對同一張影像做兩種隨機增強,得到兩個「看似不同、但其實來自同源」的影像。

接著,把這兩張影像分別丟到「同一個」編碼器網路,取得兩個潛在向量 (latent vectors)。

然後再用小型的投影網路把這些潛在向量映射到對比學習的空間,最後使用對比損失函式讓「同源」的增強影像在表示空間中彼此相近。

恩?就這樣?

對!就這樣,我們又看完一篇論文了!(並沒有)

影像增強

在 SimCLR 中,作者認為增強方式多樣且強力,比起監督式學習更加重要。

上圖展示論文考察的多種影像增強;SimCLR 預設組合中比較重要的有:

  • 隨機裁切(random crop)
  • 顏色扭曲(color distortion)
  • 高斯模糊(Gaussian blur)

兩張增強後的影像被視為「正樣本對」,因為它們其實來自同一張原始影像。

細部設計

首先是編碼器的部分,這裡使用了 ResNet-50 作為基礎編碼器,將增強後的影像輸入,得到一個向量 hih_i。這個向量的維度通常很大,例如對 ResNet-50 而言,通過平均池化層後可能是 2048 維。

接著是投影頭的部分,作者發現直接在 hih_i 上做對比損失效果不如先加一個小型 MLP。這個投影網路 g(⋅)g(·) 通常有一層 hidden layer,然後 ReLU,最後投影到一個 128 維的向量 ziz_i,用來計算對比損失。

最關鍵的部分就是如何定義對比損失。

核心概念是:同一對 (i,j)(i, j)(它們來自同一張原圖)要在向量空間越靠近越好,而與其他不相干的樣本要盡量遠離。在這裡,作者引用了 NT-Xent (Normalized Temperature-scaled Cross Entropy Loss) 這個形式。

NT-Xent 損失函式

這和我們之前看過的 InfoNCE 一樣,是從正例與負例中辨認正例的 softmax 損失;SimCLR 使用同一批次的兩個增強視圖來構造候選項,並對兩個方向的損失取平均。這裡對輸入特徵做 ℓ₂ normalization,再以餘弦相似度計算分數。

NT-Xent 損失函式的計算方式如下:

ℓi,j=−log⁡(exp⁡(sim(zi,zj)/τ)∑k=12N1[k≠i]exp⁡(sim(zi,zk)/τ)).ℓ_{i,j} = - \log \left( \frac{\exp(\text{sim}(z_i, z_j)/τ)}{\sum_{k=1}^{2N} \mathbf{1}[k \neq i] \exp(\text{sim}(z_i, z_k)/τ)} \right).

其中:

  • zizᵢ 為第 ii 個增強影像經投影頭後得到的 128 維向量。
  • sim(u,v)=u⊤v∥u∥∥v∥\text{sim}(u, v) = \frac{u^\top v}{\|u\|\|v\|} 表示 cosine similarity(餘弦相似度)。
  • ττ(tau)為溫度(temperature)超參數,控制相似度分數的放大程度。
  • 分子 exp⁡(sim(zi,zj)/τ)\exp(\text{sim}(z_i, z_j)/τ) 代表 ziz_i 與正樣本 zjz_j 之間相似度的指數化分數。
  • 分母為 ziz_i 與 batch 內所有其他向量(不包含自身)相似度的指數化總和。

在一個 batch 中,假設有 NN 張原始影像,每張影像經過兩次不同的增強,總共產生 2N2N 張增強影像。對於一對正樣本 (i,j)(i, j)(即同一張原圖的兩次不同增強),計算損失時,將其餘 2(N−1)2(N - 1) 張增強影像視為負樣本。

目標是提高正樣本 (zi,zj)(z_i, z_j) 之間的相似度,同時讓其餘負樣本的相似度較低,即希望 sim(zi,zj)\text{sim}(z_i, z_j) 高於 sim(zi,zk)\text{sim}(z_i, z_k)(對負例 k≠i,jk \neq i,j)。如此一來,模型能學習到更具判別力的表徵。

在整個 batch 中,對於每對正樣本 (i,j)(i, j),會同時計算 (i,j)(i, j) 與 (j,i)(j, i) 兩項損失,對全部 2N2N 項取平均後進行反向傳播。

討論

最有用的增強組合

為了觀察「不同資料增強方式(個別或組合)對模型所學到表徵品質的影響」,作者在這裡使用 線性評估 (linear evaluation) 的方式,將自行訓練好的 encoder 凍結,然後在上面疊一個線性分類器(通常是一層線性全連接),並在 ImageNet 做 top-1 accuracy 的評估。

實驗中,模型輸入端有兩個「平行的增強管道」。在這裡,作者特意只對「其中一個管道」套用要測試的增強,另一個分支則不做該增強(只做最基礎的隨機裁切 + resize)。 這樣可以更直接觀察個別增強或不同增強組合「本身」的影響,而不會全部混在一起。

上圖中的表格解讀方式為:

  • 對角線 (diagonal entries):單一轉換(如高斯模糊、顏色扭曲等),代表只施加該增強到一個分支。
  • 非對角線 (off-diagonals):兩種增強的組合(例如先做高斯模糊,再做顏色扭曲)。
  • 最後一欄 (the last column):每個 row 的平均值,也就是在該 row 增強組合之下,所有設定的平均表現。

實驗結果顯示:

  • 單一增強(對角線)通常並不足以讓模型學到非常強的表徵,因為只要依靠這個單一變化,模型仍可能利用其他不變的線索來判斷「正樣本對」。
  • 組合增強(非對角線)的效果依組合而異;其中「裁切 + 顏色扭曲」明顯優於只用其中一種。

這意味著,適當的增強組合能讓對比任務更難,並在這個實驗中得到更好的線性評估結果。

增強的強度影響

我們可以調整增強的強度,例如讓亮度、對比度、飽和度、色相的變化幅度更大或更小,因此作者進一步探討了「增強強度」對模型表現的影響。

在訓練 ImageNet 上的監督式分類模型時,我們常會使用 AutoAugment 這樣的自動增強策略。然而,作者在這裡發現,AutoAugment 並不一定比「簡單的裁切 + 強力顏色扭曲」更好。

實驗結果如上表,對於無監督的對比學習,加大顏色扭曲的強度能明顯提升模型最終學到的特徵品質。這表示,對於無監督對比學習來說,需要的增強手段跟監督式學習並不相同。很多在監督情境下「很有效」的增強策略,未必能同樣提升對比學習的效果。

擴大模型規模

上圖顯示了不同模型深度與寬度下的線性評估結果:藍點是 SimCLR 訓練 100 個 epoch、紅星是訓練 1000 個 epoch,綠色叉號是監督式 ResNet 訓練 90 個 epoch。作者發現,在這些設定下增加深度或寬度能改善 SimCLR 的表現。

這個結果和我們在監督式學習中的經驗相似:加大模型容量,通常能容納更豐富的特徵表徵能力。在圖中比較的規模內,無監督模型與監督式模型的準確率差距也隨模型變大而縮小。

批次大小影響

上圖是在不同批次大小和訓練週期下的表現,每根柱子代表從頭訓練的單次實驗結果。

傳統上,批次大小的選擇主要考量計算效率和梯度穩定性,但在對比學習中,批次大小還有一個關鍵作用:影響可用的負樣本數量。

  • 批次越大,單次訓練中可用的負樣本越多,這使得模型能夠學習到更豐富的對比資訊,提高樣本區分能力。
  • 較少 epoch 時的優勢:例如訓練 100 個 epoch,圖中較大的批次通常有較高的線性評估準確率;這裡比較的是 epoch,並非實際訓練時數。

這點與監督式學習的情況不同。在監督式學習中,使用大批次的主要目的是:「讓梯度估計更穩定、訓練更高效」,但在對比學習中,「更多負樣本」才是大批次帶來的核心優勢。

另一個有趣的發現是,較長的訓練時間可以在一定程度上彌補小批次的缺點:

  • 當訓練 epoch 增加、批次持續重新隨機抽樣時,較小批次與大批次的準確率差距會縮小,部分設定甚至接近。
  • 圖中沒有比較相同訓練時數或總運算量下的效率,因此不能單憑它判定哪一種批次大小更省資源。

和其他方法的比較

作者比較各種自我監督學習方法的線性評估結果(即凍結 backbone,僅在最後疊一層線性分類器)。

結果顯示,即使使用標準的 ResNet 架構(沒有特殊設計),SimCLR 也能達到或超越過去一些需要特別設計網路結構的方法。標準 ResNet-50 的 SimCLR 為 69.3%;擴張到 4× 後為 76.5%,與圖中的監督式 ResNet-50 接近,但兩者模型大小不同(約 375M 與 24M 參數)。

如果把 ImageNet 的標籤數量壓縮到 1% 或 10%,且採用類別平衡方式進行微調,如下表:

以 Top-5 準確率來看,SimCLR 4× 在 1%/10% 標籤下分別為 85.8%/92.6%,是表中最高值;標準 ResNet-50 的 SimCLR 則為 75.5%/87.8%,並未超過每個比較方法。這顯示預訓練表徵在少量標籤微調下仍有用,讀表時也要留意模型大小。

結論

在這項研究中,作者提出了一個簡單而有效的對比學習框架,並透過一系列實驗,深入分析了不同設計選擇對學習效果的影響。

結果顯示,透過數據增強策略、非線性投影頭以及 NT-Xent 損失函式,SimCLR 在自監督學習、半監督學習及遷移學習任務上均顯著優於先前技術。