A Simple Framework for Contrastive Learning of Visual Representations
- 發表版本
- ICML 2020會議
- arXiv 首次提交
- arXiv:2002.05709
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{contrastivelearningsimclrv12020,
title = {{A Simple Framework for Contrastive Learning of Visual Representations}},
author = {Ting Chen and Simon Kornblith and Mohammad Norouzi and Geoffrey Hinton},
year = {2020},
eprint = {2002.05709},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2002.05709}
}
對比學習的研究約莫過了五年,整個場面已經變得非常複雜與混亂。不光是架構設計複雜,具體的模型訓練方法也是百家爭鳴。
本篇論文的作者認為,對比學習的核心應該要簡單一點。
定義問題
回想一下對比學習的必備要素:
- 要有好的結果,一個記憶庫 (memory bank) 似乎是一件必要的事情?
因為我們需要大量的負樣本來引導模型學到更好的表示方式,而記憶庫確實能夠提供這樣的功能。一開始的 InstDict 是這樣做,後來的 MoCo 也是。
但是很煩!訓練過程中還要額外維護一個記憶庫,顯然是個不友善的設計。
作者在這篇文章中,決定直接捨棄記憶庫的設計,取而代之的是更大的批次大小。只要我們給出足夠多的負樣本,模型就能夠學到足夠好的表示!
解決問題
模型架構
這個架構真的非常簡單,沒有多個編碼器,沒有記憶庫。
流程是先對同一張影像做兩種隨機增強,得到兩個「看似不同、但其實來自同源」的影像。
接著,把這兩張影像分別丟到「同一個」編碼器網路,取得兩個潛在向量 (latent vectors)。
然後再用小型的投影網路把這些潛在向量映射到對比學習的空間,最後使用對比損失函式讓「同源」的增強影像在表示空間中彼此相近。
恩?就這樣?
對!就這樣,我們又看完一篇論文了!(並沒有)
影像增強
在 SimCLR 中,作者認為增強方式多樣且強力,比起監督式學習更加重要。
上圖展示論文考察的多種影像增強;SimCLR 預設組合中比較重要的有:
- 隨機裁切(random crop)
- 顏色扭曲(color distortion)
- 高斯模糊(Gaussian blur)
兩張增強後的影像被視為「正樣本對」,因為它們其實來自同一張原始影像。
細部設計
首先是編碼器的部分,這裡使用了 ResNet-50 作為基礎編碼器,將增強後的影像輸入,得到一個向量 。這個向量的維度通常很大,例如對 ResNet-50 而言,通過平均池化層後可能是 2048 維。
接著是投影頭的部分,作者發現直接在 上做對比損失效果不如先加一個小型 MLP。這個投影網路 通常有一層 hidden layer,然後 ReLU,最後投影到一個 128 維的向量 ,用來計算對比損失。
最關鍵的部分就是如何定義對比損失。
核心概念是:同一對 (它們來自同一張原圖)要在向量空間越靠近越好,而與其他不相干的樣本要盡量遠離。在這裡,作者引用了 NT-Xent (Normalized Temperature-scaled Cross Entropy Loss) 這個形式。
NT-Xent 損失函式
這和我們之前看過的 InfoNCE 一樣,是從正例與負例中辨認正例的 softmax 損失;SimCLR 使用同一批次的兩個增強視圖來構造候選項,並對兩個方向的損失取平均。這裡對輸入特徵做 ℓ₂ normalization,再以餘弦相似度計算分數。
NT-Xent 損失函式的計算方式如下:
其中:
- 為第 個增強影像經投影頭後得到的 128 維向量。
- 表示 cosine similarity(餘弦相似度)。
- (tau)為溫度(temperature)超參數,控制相似度分數的放大程度。
- 分子 代表 與正樣本 之間相似度的指數化分數。
- 分母為 與 batch 內所有其他向量(不包含自身)相似度的指數化總和。
在一個 batch 中,假設有 張原始影像,每張影像經過兩次不同的增強,總共產生 張增強影像。對於一對正樣本 (即同一張原圖的兩次不同增強),計算損失時,將其餘 張增強影像視為負樣本。
目標是提高正樣本 之間的相似度,同時讓其餘負樣本的相似度較低,即希望 高於 (對負例 )。如此一來,模型能學習到更具判別力的表徵。
在整個 batch 中,對於每對正樣本 ,會同時計算 與 兩項損失,對全部 項取平均後進行反向傳播。
討論
最有用的增強組合
為了觀察「不同資料增強方式(個別或組合)對模型所學到表徵品質的影響」,作者在這裡使用 線性評估 (linear evaluation) 的方式,將自行訓練好的 encoder 凍結,然後在上面疊一個線性分類器(通常是一層線性全連接),並在 ImageNet 做 top-1 accuracy 的評估。
實驗中,模型輸入端有兩個「平行的增強管道」。在這裡,作者特意只對「其中一個管道」套用要測試的增強,另一個分支則不做該增強(只做最基礎的隨機裁切 + resize)。 這樣可以更直接觀察個別增強或不同增強組合「本身」的影響,而不會全部混在一起。
上圖中的表格解讀方式為:
- 對角線 (diagonal entries):單一轉換(如高斯模糊、顏色扭曲等),代表只施加該增強到一個分支。
- 非對角線 (off-diagonals):兩種增強的組合(例如先做高斯模糊,再做顏色扭曲)。
- 最後一欄 (the last column):每個 row 的平均值,也就是在該 row 增強組合之下,所有設定的平均表現。
實驗結果顯示:
- 單一增強(對角線)通常並不足以讓模型學到非常強的表徵,因為只要依靠這個單一變化,模型仍可能利用其他不變的線索來判斷「正樣本對」。
- 組合增強(非對角線)的效果依組合而異;其中「裁切 + 顏色扭曲」明顯優於只用其中一種。
這意味著,適當的增強組合能讓對比任務更難,並在這個實驗中得到更好的線性評估結果。
增強的強度影響
我們可以調整增強的強度,例如讓亮度、對比度、飽和度、色相的變化幅度更大或更小,因此作者進一步探討了「增強強度」對模型表現的影響。
在訓練 ImageNet 上的監督式分類模型時,我們常會使用 AutoAugment 這樣的自動增強策略。然而,作者在這裡發現,AutoAugment 並不一定比「簡單的裁切 + 強力顏色扭曲」更好。
實驗結果如上表,對於無監督的對比學習,加大顏色扭曲的強度能明顯提升模型最終學到的特徵品質。這表示,對於無監督對比學習來說,需要的增強手段跟監督式學習並不相同。很多在監督情境下「很有效」的增強策略,未必能同樣提升對比學習的效果。
擴大模型規模
上圖顯示了不同模型深度與寬度下的線性評估結果:藍點是 SimCLR 訓練 100 個 epoch、紅星是訓練 1000 個 epoch,綠色叉號是監督式 ResNet 訓練 90 個 epoch。作者發現,在這些設定下增加深度或寬度能改善 SimCLR 的表現。
這個結果和我們在監督式學習中的經驗相似:加大模型容量,通常能容納更豐富的特徵表徵能力。在圖中比較的規模內,無監督模型與監督式模型的準確率差距也隨模型變大而縮小。
批次大小影響
上圖是在不同批次大小和訓練週期下的表現,每根柱子代表從頭訓練的單次實驗結果。
傳統上,批次大小的選擇主要考量計算效率和梯度穩定性,但在對比學習中,批次大小還有一個關鍵作用:影響可用的負樣本數量。
- 批次越大,單次訓練中可用的負樣本越多,這使得模型能夠學習到更豐富的對比資訊,提高樣本區分能力。
- 較少 epoch 時的優勢:例如訓練 100 個 epoch,圖中較大的批次通常有較高的線性評估準確率;這裡比較的是 epoch,並非實際訓練時數。
這點與監督式學習的情況不同。在監督式學習中,使用大批次的主要目的是:「讓梯度估計更穩定、訓練更高效」,但在對比學習中,「更多負樣本」才是大批次帶來的核心優勢。
另一個有趣的發現是,較長的訓練時間可以在一定程度上彌補小批次的缺點:
- 當訓練 epoch 增加、批次持續重新隨機抽樣時,較小批次與大批次的準確率差距會縮小,部分設定甚至接近。
- 圖中沒有比較相同訓練時數或總運算量下的效率,因此不能單憑它判定哪一種批次大小更省資源。
和其他方法的比較
作者比較各種自我監督學習方法的線性評估結果(即凍結 backbone,僅在最後疊一層線性分類器)。
結果顯示,即使使用標準的 ResNet 架構(沒有特殊設計),SimCLR 也能達到或超越過去一些需要特別設計網路結構的方法。標準 ResNet-50 的 SimCLR 為 69.3%;擴張到 4× 後為 76.5%,與圖中的監督式 ResNet-50 接近,但兩者模型大小不同(約 375M 與 24M 參數)。
如果把 ImageNet 的標籤數量壓縮到 1% 或 10%,且採用類別平衡方式進行微調,如下表:
以 Top-5 準確率來看,SimCLR 4× 在 1%/10% 標籤下分別為 85.8%/92.6%,是表中最高值;標準 ResNet-50 的 SimCLR 則為 75.5%/87.8%,並未超過每個比較方法。這顯示預訓練表徵在少量標籤微調下仍有用,讀表時也要留意模型大小。
結論
在這項研究中,作者提出了一個簡單而有效的對比學習框架,並透過一系列實驗,深入分析了不同設計選擇對學習效果的影響。
結果顯示,透過數據增強策略、非線性投影頭以及 NT-Xent 損失函式,SimCLR 在自監督學習、半監督學習及遷移學習任務上均顯著優於先前技術。