返回論文筆記資料庫
arXiv 2020對比學習論文筆記

MoCo v2

扳回一城

原始論文

Improved Baselines with Momentum Contrastive Learning

論文作者

Xinlei Chen · Haoqi Fan · Ross Girshick · Kaiming He

發表版本
正式發表資訊尚未核實
arXiv 首次提交
arXiv:2003.04297
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{contrastivelearningmocov22020,
  title = {{Improved Baselines with Momentum Contrastive Learning}},
  author = {Xinlei Chen and Haoqi Fan and Ross Girshick and Kaiming He},
  year = {2020},
  eprint = {2003.04297},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2003.04297}
}
本頁內容

FAIR 提出了 MoCo v1,還沒得意多久,就有了 Google 提出的 SimCLR,效果提升非常多!

這是一棒打在 FAIR 頭上,簡直不能忍!於是在 SimCLR 發表後一個月,FAIR 擷取了 SimCLR 的一些優點,推出了 MoCo v2。

意思很明確,就是告訴其他人 MoCo 架構依然是個比較好的選擇!

定義問題

SimCLR 在實作上做了三項改進:

  1. 非常大的 batch(4k 或 8k),保證能看到足夠多的負樣本。
  2. MLP 頭:把編碼器輸出的特徵先接到一個 2 層的 MLP(含 ReLU)之後,再做對比損失。訓練完後,做下游任務時,通常會只用編碼器輸出的特徵(不包含 MLP 的輸出)。
  3. 更強的資料增強:包含較強的顏色抖動、模糊等。

但是,SimCLR 雖然效果好,但是那個 batch size 真的太大了,一般人根本跑不動。

所以作者在這篇論文中試著把 SimCLR 的兩大主要設計改進整合進 MoCo:

  1. MLP projection head
  2. 更強的資料增強

然後發現這些改進在 MoCo 框架同樣有效,而且可以在一般 8-GPU 的環境就做出超越 SimCLR 的結果(不需要超大 batch)。

這顯然對普通使用者來說更友善,也讓對比學習的研究更容易複現。

解決問題

上圖展示了 SimCLR 與 MoCo 的架構差異。

SimCLR 屬於 End-to-end 機制,需要同一個 batch 裡面同時存在足夠多的負樣本,所以通常要用 4k ~ 8k 這麼大的 batch size。

而 MoCo 則使用「動量編碼器(momentum encoder)」來產生較一致的鍵表徵。負樣本的向量存在一個「隊列」中,批次之間共享;因此就算 batch 很小,也可以使用一個很大的隊列,提供大量的負樣本。

因此,MoCo 不需要大 batch 也能保有很多負樣本,對硬體資源的需求相對小。

加強 MLP 頭

作者先把 MoCo 原本最後一層的全連接(fc)投影頭替換成 2 層的 MLP(中間層 2048 維,帶 ReLU),並嘗試不同的溫度參數 τ\tau。

結果顯示如上表,如果只用 fc(無 MLP),ImageNet 線性分類大約 60%~61%;但換成 MLP 之後可以升到 66% 左右(在最佳 τ=0.2\tau = 0.2 時),提升非常顯著。

不過在物件偵測的轉移學習上,MLP 頭帶來的提升比較小。這也說明了一個常見疑惑:

  • 「線性分類的結果一定愈高愈好嗎?和實際下游任務有沒有直接關係?」

其實有些時候並不呈現完全正相關;線性分類的分數可供參考,各下游任務仍須分別評估。

加強資料增強

接下來作者把 MoCo 原本的增強策略加上 SimCLR 的「模糊增強」;論文指出更強的顏色扭曲在這個基線上的額外收益有限。結果發現,就算不加入 MLP 頭,光是加強資料增強就能讓 ImageNet 線性分類從 60.6% 提高到 63.4%。而在偵測的結果上,也與使用 MLP 頭後的提升相當或者更好。

最後,如果同時使用 MLP 頭和強增強,ImageNet 線性分類可以到 67.3%,偵測也有明顯提升。

討論

與 SimCLR 的比較

SimCLR 在表中使用 4096 的 batch size、預訓練 1000 epoch,拿到 69.3% 的 ImageNet 線性分類正確率。

作者在相對可行的硬體環境下(8-GPU,batch size = 256),把 MLP 頭、更強的增強與餘弦學習率排程整合到 MoCo,成為表中的「MoCo v2」。

結果顯示:

  • 當預訓練 200 epoch、batch size 同為 256 時,MoCo v2 可以到 67.5%,比 SimCLR(61.9%)高出 5.6 個百分點,也比用 8192 batch 的 SimCLR(66.6%)更好。
  • 如果把預訓練延長到 800 epoch,MoCo v2 可以達到 71.1%,超過使用 4096 batch、預訓練 1000 epoch 的 SimCLR(69.3%)。

也就是說,MoCo 不需要超大 batch,就能藉由隊列(queue)機制處理大量負樣本,且同時套用 MLP 頭、更強增強與餘弦學習率排程,就能在表列設定下達到比 SimCLR 更好的結果。

計算量與資源消耗

作者也比較了 end-to-end 機制和 MoCo 機制在 8-GPU 下的記憶體和時間成本。

表中的 4096 batch end-to-end 記憶體是估算值:每張 GPU 約需 93GB,超出這組 8 張 V100 16GB 的容量。即使 batch size = 256,end-to-end 也比 MoCo 花費更多的記憶體與時間(7.4GB/65 小時對 5.0GB/53 小時),因為要同時對查詢與關鍵編碼器做反向傳播。

反觀 MoCo 則只需要對查詢編碼器做更新,整體效率更高。

結論

總之,SimCLR 的概念都可以照搬到 MoCo 上,而且由於 MoCo 的記憶庫機制,訓練時不需要大量的 GPU 資源。不管怎麼看,都是一個經濟實惠,效果絕佳的好選擇。

FAIR 和 Google 在這次較量中,成功扳回一城。