返回論文筆記資料庫
arXiv 2020NeurIPS 2020對比學習論文筆記

SimCLR v2

模型要大的

原始論文

Big Self-Supervised Models are Strong Semi-Supervised Learners

論文作者

Ting Chen · Simon Kornblith · Kevin Swersky · Mohammad Norouzi · Geoffrey Hinton

發表版本
NeurIPS 2020會議
arXiv 首次提交
arXiv:2006.10029
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{contrastivelearningsimclrv22020,
  title = {{Big Self-Supervised Models are Strong Semi-Supervised Learners}},
  author = {Ting Chen and Simon Kornblith and Kevin Swersky and Mohammad Norouzi and Geoffrey Hinton},
  year = {2020},
  eprint = {2006.10029},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2006.10029}
}
本頁內容

FAIR 用 MoCo v2 這篇論文秀了一波肌肉,內容大致上是說:如果你沒有足夠的訓練資源,就採用他們的「動量記憶庫」解決方案,可以達到更好的效果。

只是 SimCLR 的作者(即 Google Research)似乎無意與他們繼續爭辯,反而把目光投向另一個方向:

我們不妨先撇開運算資源的問題,來看看基於「無監督」的對比學習架構,可以和大模型擦出什麼火花?

定義問題

這個時間點,大家耳熟能詳的 GPT-3 的論文已經發表在 arXiv 上。

意思就是在 NLP 領域已經開始大規模應用無標籤資料來建構龐大的語言模型,然後在後續應用上,使用少量的標籤資料進行微調。這種「預訓練 -> 微調」的經典範式已經在 NLP 領域確立。

但在 CV 領域,怎麼好像不怎麼流行呢?

於是作者基於 SimCLR 的對比學習架構,目標希望引入「大規模」的無標籤資料來進行模型的預訓練,並且使用「微量」的資料進行監督式微調。

實驗的效果很好,因此定名為 SimCLR v2。

解決問題

這張圖是 SimCLR v2 的模型架構,可以看到整個框架主要分為三個階段。

  1. 無監督預訓練(Unsupervised Pretraining):

    這個階段主要是透過對比學習(contrastive learning)的方式,學習通用的視覺特徵。

    基礎方法沿用 SimCLR:將每張影像經過不同的數據增強,產生兩個視圖,並透過 NT-Xent 損失函數來學習表示。SimCLR v2 另外測試更深、更寬且帶 SK 的 ResNet、更深的投影頭,以及從 MoCo 借來的動量網路與負例記憶機制。

    在這個階段,我們不知道後續的下游任務是什麼,因此模型不會接觸到任何標註資料,這是一個任務不可知的使用方式。

  1. 監督微調(Supervised Fine-tuning):

    在這個階段,作者使用少量的標註資料來進行微調,使模型適應特定的分類任務。

    不同於 SimCLR v1 完全丟棄 MLP 投影頭(projection head),SimCLR v2 可保留其前幾層,從中間層的輸出接上任務分類器,一起進行微調。

  1. 知識蒸餾(Knowledge Distillation):

    在這個階段,作者使用知識蒸餾的方式,讓學生模型從教師模型學習,提高效能並壓縮模型大小。這個過程透過蒸餾損失函數(Distillation Loss)來最小化學生模型與教師模型之間的輸出差異。

    具體數學表達式如下:

    Ldistill=−∑xi∈D∑yPT(y∣xi;τ)log⁡PS(y∣xi;τ)L_{\text{distill}} = - \sum_{x_i \in D} \sum_{y} P_T(y | x_i; \tau) \log P_S(y | x_i; \tau)

    其中:

    P(y∣xi)=exp⁡(ftask(xi)[y]/τ)∑y′exp⁡(ftask(xi)[y′]/τ)P(y | x_i) = \frac{\exp(f_{\text{task}}(x_i)[y] / \tau)}{\sum_{y'} \exp(f_{\text{task}}(x_i)[y'] / \tau)}
    • τ\tau 是蒸餾階段的溫度參數(temperature parameter),用來調整教師與學生的輸出機率分佈;它和前述 NT-Xent 的溫度分屬不同訓練階段。

    當有部分標註資料時,可以將真實標註資料的交叉熵損失與蒸餾損失做加權組合,如下:

    L=−(1−α)∑(xi,yi)∈DLlog⁡PS(yi∣xi)−α∑xi∈D∑yPT(y∣xi;τ)log⁡PS(y∣xi;τ)L = -(1 - \alpha) \sum_{(x_i, y_i) \in D_L} \log P_S(y_i | x_i) - \alpha \sum_{x_i \in D} \sum_{y} P_T(y | x_i; \tau) \log P_S(y | x_i; \tau)

    其中:

    • DLD_L 為有標註的資料集。
    • α\alpha 是加權係數,調整真實標註與蒸餾的比例。

討論

大模型效率更高

作者首先探討了不同大小的 ResNet 模型(變更網路深度與寬度)對於半監督學習的影響:

  • 最小模型:標準 ResNet-50。
  • 最大模型:ResNet-152 (3× + SK)。

實驗結果如上表,在全標註監督式訓練中,最小模型與最大模型的 Top-1 準確率為 76.6% 和 80.5%,相差 3.9 個百分點;自監督預訓練後的線性評估為 71.7% 和 79.8%,相差 8.1 個百分點;使用 1% 標註資料微調則由 57.9% 升至 74.9%,相差 17.0 個百分點。

最後在 ResNet-152 (3× + SK) 與 ResNet-152 (2× + SK) 的比較中,模型參數數量幾乎翻倍,但效能增益不明顯,顯示模型寬度的效益可能已達到瓶頸。

下圖展示模型大小(model size)與標註數據比例(label fraction)變化對模型效能的影響,探討了較大模型是否更擅長利用有限的標註資料。

從圖中可以看到隨著模型增大,準確率提升,這在監督學習與半監督學習中都成立。這張圖只比較未使用 SK 的 ResNet-50/101/152、1×/2× 設定;在這些條件下,標註數據越少,半監督微調的模型規模收益越明顯。

此外,在標註數據較少的情況下,大模型的優勢更加顯著。表 1 另顯示,當只有 1% 或 10% 的標註數據可用時,ResNet-152 3×+SK 微調後的準確率高於標準 ResNet-50;這個含 SK 的模型未列入上圖。

雖然更大的模型整體表現較好,但某些架構(如 Selective Kernel, SK)能夠在較少參數的情況下達到類似的效能,這表明探索更好的模型架構仍然是有價值的方向,而不只是單純增加模型大小。

更深的預測頭效果更好

這一部分主要研究 MLP 投影頭(Projection Head) 在 SimCLRv2 預訓練與微調中的影響。

  • 上圖 (a):比較投影頭為 2~4 層、並從各設定的最佳中間層微調後的 Top-1 準確率;在少標籤設定下,較深的投影頭通常較好。
  • 上圖 (b):比較從不同層開始微調時的影響。結果顯示最佳微調層通常是投影頭的第一層,而非輸入層,這一點在標註數據較少時更為顯著。

最後,作者在附錄進一步觀察到,當 ResNet 與投影頭都變寬時,增加投影頭深度的額外收益較小;這不是上圖直接比較的結果。

知識蒸餾效果

上圖為實驗結果,知識蒸餾帶來了兩大優勢:

  1. 當學生模型比教師模型小時:知識蒸餾能將教師的任務預測能力轉移到較小的模型;圖中同參數量的學生結果高於直接微調的結果。
  2. 當學生模型與教師模型相同時(自蒸餾):即使學生與教師模型擁有相同的 ResNet 架構,圖中自蒸餾後的結果仍高於微調結果;這裡的學生不保留教師的 MLP 投影頭。

因此,如果我們今天想獲得一個最佳 ResNet-50 模型,可以參考以下策略:

  • 第一步:先將大型 ResNet-152 微調後自蒸餾,進一步提升其表現。
  • 第二步:再將這個教師的任務預測蒸餾到更小的 ResNet-50;表 3 的小模型使用自蒸餾的 ResNet-152 (3×+SK) 作為教師。

和其他方法的比較

實驗結果如上表,SimCLR v2 蒸餾後的 ResNet-50 在 1%/10% 標註下為 73.9%/77.5% Top-1;自蒸餾的 ResNet-152 3×+SK 為 76.6%/80.9%。表中方法的骨幹與使用無標註資料的方式不同,這些數字是各設定的結果,不能當成單一因素的消融比較。

這表明知識蒸餾結合無標註數據是一種有效的半監督學習策略,不僅能提升模型準確率,還能讓較小的模型保持較高的效能。

結論

SimCLR v2 的主要研究方向在於探討「模型在少量標註數據下的表現」以及「知識蒸餾的效益」。

我們再次總結一下作者所提出的半監督學習框架,共分為三個步驟:

  1. 無監督預訓練:透過自監督學習學習通用的影像特徵。
  2. 監督微調:使用有限的標註數據來適應特定分類任務。
  3. 知識蒸餾:利用無標註數據,透過教師模型的軟標籤進一步提升學生模型的效能。

這種方法雖然已經普遍用在 NLP 領域內,但是在 CV 領域仍然是個未被充分探索的基線方法。作者的實驗結果表明,這種方法在 ImageNet 上顯著超越了現有的 SOTA 方法。

大模型在 CV 領域的威力,此時此刻已經初露崢嶸。