論文ノートライブラリに戻る
arXiv 2020ICML 2020対照学習論文ノート

SimCLR v1

大バッチサイズ

原論文

A Simple Framework for Contrastive Learning of Visual Representations

論文の著者

Ting Chen · Simon Kornblith · Mohammad Norouzi · Geoffrey Hinton

発表先
ICML 2020国際会議
arXiv への初回投稿
arXiv:2002.05709
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{contrastivelearningsimclrv12020,
  title = {{A Simple Framework for Contrastive Learning of Visual Representations}},
  author = {Ting Chen and Simon Kornblith and Mohammad Norouzi and Geoffrey Hinton},
  year = {2020},
  eprint = {2002.05709},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2002.05709}
}
このページの内容

2020 年時点では、ここで紹介してきた初期の視覚インスタンス識別研究から約 5 年が経ち、アーキテクチャや訓練方法が多様化していました。

本論文の著者は、対照学習のコアはもっとシンプルであるべきだと考えています。

問題の定義

対照学習に必要な要素を思い出してみましょう:

  • 良い結果を得るためには、メモリーバンクが必要?

大量の負のサンプルがモデルにより良い表現を学ばせるために必要であり、メモリーバンクは確かにその機能を提供します。最初の InstDisc はこのようにしていましたし、その後の MoCo もそうです。

しかし、面倒です!訓練中に追加でメモリーバンクを維持するのは明らかに非効率的な設計です。

著者はこの論文で、メモリーバンクの設計を放棄し、その代わりにより大きなバッチサイズを使用することを決定しました。十分な数の負のサンプルを与えれば、モデルは十分に良い表現を学べるのです!

問題解決

モデルアーキテクチャ

このアーキテクチャは非常にシンプルで、複数のエンコーダやメモリーバンクはありません。

プロセスは、同じ画像に対して 2 種類のランダムな拡張を行い、「異なるように見えるが実際は同一の」2 つの画像を得ることから始まります。

次に、この 2 つの画像を「同じ」エンコーダネットワークに通して、2 つの潜在ベクトルを取得します。

その後、小型のプロジェクションネットワークを使ってこれらの潜在ベクトルを対照学習の空間にマッピングし、最後に対照損失関数を使って「同一の」拡張画像が表現空間で近くなるようにします。

え?それだけ?

はい!それだけです、また論文を読み終わりました!(実際はそうではない)

画像拡張

SimCLR では、著者は拡張方法が多様で強力であり、教師あり学習よりも重要だと考えています。

上図は論文で検討したさまざまな画像拡張を示しています。SimCLR の標準的な組み合わせで特に重要なのは以下の点です:

  • ランダムクロップ(random crop)
  • 色変換(color distortion)
  • ガウスぼかし(Gaussian blur)

2 つの拡張後の画像は「正のサンプルペア」と見なされ、なぜならそれらは実際には同じ元の画像から来ているからです。

詳細設計

最初はエンコーダの部分です。ここでは ResNet-50 を基礎エンコーダとして使用し、拡張後の画像を入力し、ベクトル hih_i を得ます。このベクトルの次元は通常非常に大きいです。例えば、ResNet-50 の場合、平均プーリング層を通すと 2048 次元となります。

次はプロジェクションヘッドの部分です。著者は、hih_i の上で直接対照損失を計算するよりも、小型の MLP を追加する方が効果的であると発見しました。このプロジェクションネットワーク g(⋅)g(·) は通常、1 つの隠れ層を持ち、ReLU を通して、最終的に 128 次元のベクトル ziz_i にプロジェクションされ、対照損失を計算します。

最も重要なのは、対照損失をどのように定義するかです。

コアの概念は、同じペア (i,j)(i, j)(同じ元の画像からの 2 回の拡張)はベクトル空間でできるだけ近くなるべきであり、他の無関係なサンプルとはできるだけ遠ざけるべきだというものです。ここで著者は、NT-Xent(Normalized Temperature-scaled Cross Entropy Loss)という形式を引用しています。

NT-Xent 損失関数

NT-Xent は InfoNCE と同様、正例と負例の候補から正例を選ぶ softmax 損失です。SimCLR は同一バッチ内の二つの拡張ビューから候補を作り、両方向の損失を平均します。入力特徴を L2 正規化し、コサイン類似度でスコアを計算します。

NT-Xent 損失関数の計算式は以下の通りです:

ℓi,j=−log⁡(exp⁡(sim(zi,zj)/τ)∑k=12N1[k≠i]exp⁡(sim(zi,zk)/τ)).ℓ_{i,j} = - \log \left( \frac{\exp(\text{sim}(z_i, z_j)/τ)}{\sum_{k=1}^{2N} \mathbf{1}[k \neq i] \exp(\text{sim}(z_i, z_k)/τ)} \right).

ここで:

  • ziz_i は、第 ii 番目の拡張画像をプロジェクションヘッドに通した後に得られる 128 次元のベクトルです。
  • sim(u,v)=u⊤v∥u∥∥v∥\text{sim}(u, v) = \frac{u^\top v}{\|u\|\|v\|} はコサイン類似度を表します。
  • ττ(tau)は温度(temperature)というハイパーパラメータで、類似度スコアのスケールを調整します。
  • 分子の exp⁡(sim(zi,zj)/τ)\exp(\text{sim}(z_i, z_j)/τ) は、ziz_i と正例(positive sample)zjz_j との類似度スコアの指数関数です。
  • 分母は、バッチ内のすべての他のベクトル(自身を除く)との類似度スコアの指数関数の総和です。

バッチ内に NN 枚の元画像があると仮定すると、それぞれの画像に対して異なる 2 種類のデータ拡張が施され、合計 2N2N 枚の拡張画像が生成されます。同じ元画像から作られた 2 枚の異なる拡張画像 (i,j)(i, j) を正例ペアとし、それ以外の 2(N−1)2(N - 1) 枚の拡張画像を負例(negative sample)として扱い、損失を計算します。

目標は正例 (zi,zj)(z_i,z_j) の類似度を高め、他の負例の類似度を相対的に下げることです。すなわち、負例 k≠i,jk \neq i,j に対して sim(zi,zj)\text{sim}(z_i,z_j) が sim(zi,zk)\text{sim}(z_i,z_k) より高くなるように学習します。これにより識別に役立つ表現を学ぶことを目指します。

バッチ内では、各正例ペア (i,j)(i, j) に対して (i,j)(i, j) と (j,i)(j, i) の両方の損失を計算し、2N2N 個のアンカービューについて平均した損失で逆伝播を行います。

討論

最も有用な拡張の組み合わせ

「異なるデータ拡張方法(単独または組み合わせ)がモデルの学習した表現の品質に与える影響」を観察するため、著者はここで線形評価の方法を使用しています。これは、事前学習したエンコーダを凍結し、その上に線形分類器(通常は 1 層の線形全結合)を重ね、ImageNet でトップ 1 精度を評価するというものです。

実験では、モデルの入力端には 2 つの「並行する拡張パイプライン」があります。ここで著者は「1 つのパイプライン」のみにテストする拡張を適用し、もう 1 つの分岐はその拡張を施さず(最も基本的なランダムクロップ + リサイズのみ)、個別の拡張や異なる拡張の組み合わせが「それ自体」に与える影響をより直接的に観察できるようにしています。

上図の表の解釈方法は以下の通りです:

  • 対角線(diagonal entries):単一の変換(例えば、ガウスぼかし、色変換など)。これはその拡張を 1 つの分岐にのみ適用した場合を意味します。
  • 非対角線(off-diagonals):2 種類の拡張の組み合わせ(例えば、最初にガウスぼかしを適用し、その後に色変換を適用)。
  • 最後の列(the last column):各行の平均値、つまりその行の拡張の組み合わせにおける全設定の平均パフォーマンスです。

実験結果は以下のことを示しています:

  • 単一の拡張(対角線)は通常、モデルが非常に強力な表現を学ぶには十分ではありません。なぜなら、この単一の変化だけに頼ると、モデルは他の不変な手がかりを使って「正のサンプルペア」を判断する可能性があるからです。
  • 組み合わせ拡張(非対角線)の効果は組み合わせによって異なり、特に「クロップ + 色変換」は、それぞれ単独の場合より良い結果です。

適切な組み合わせは対比課題を難しくし、この実験ではより良い線形評価結果につながりました。

拡張の強度の影響

拡張の強度を調整することができます。例えば、明度、コントラスト、彩度、色相の変化幅を大きくしたり小さくしたりできます。そこで著者は、「拡張強度」がモデルのパフォーマンスに与える影響をさらに探求しました。

ImageNet で教師あり分類モデルを訓練する際には、AutoAugment のような自動拡張戦略をよく使用します。しかし、著者はここで、AutoAugment が「シンプルなクロップ + 強力な色変換」よりも優れているわけではないことを発見しました。

実験結果は上の表に示されており、教師なしの対照学習において、色変換の強度を大きくすることが、モデルが最終的に学習する特徴品質を顕著に向上させることが分かります。これは、教師なしの対照学習に必要な拡張手段が教師あり学習とは異なることを示唆しています。

モデル規模の拡大

上図はモデルの深さと幅を変えたときの線形評価結果です。青点は SimCLR を 100 エポック、赤い星は 1000 エポック訓練した結果で、緑の十字は教師あり ResNet を 90 エポック訓練した結果です。これらの条件では、深さや幅を増やすと SimCLR の精度が改善します。

この結果は、モデルの容量を増やすとより豊かな特徴を表現できるという教師あり学習での経験にも似ています。図中で比較した範囲では、教師なしモデルと教師ありモデルの精度差も、モデルが大きくなるにつれて縮まっています。

バッチサイズの影響

上図は、異なるバッチサイズと訓練エポック数での性能を示しています。各棒グラフは、最初から訓練した単回実験の結果です。

従来、バッチサイズの選択は計算効率と勾配の安定性を主に考慮して行われますが、対照学習ではバッチサイズにはもう一つ重要な役割があります:使用可能な負のサンプルの数に影響を与えるという点です。

  • バッチが大きいほど、1 回の訓練で利用できる負のサンプルが多くなり、これによりモデルはより豊かな対照情報を学び、サンプルの区別能力が向上します。
  • エポック数が少ない場合の優位性:例えば 100 エポックの訓練では、図中の大きなバッチは通常、線形評価で高い精度を示します。ここで比較しているのはエポック数であり、実際の訓練時間ではありません。

これは教師あり学習とは異なります。教師あり学習では、大きなバッチを使用する主な目的は「勾配推定を安定させ、訓練を効率化する」ことですが、対照学習においては「より多くの負のサンプル」が大きなバッチのコアの利点です。

もう一つの興味深い発見は、訓練エポック数を増やすことで、小さなバッチサイズの欠点をある程度補うことができる点です:

  • 訓練エポックを増やし、バッチを繰り返しランダムに抽出すると、小さなバッチと大きなバッチの精度差は縮まり、一部の設定では近い値になります。
  • この図は同じ訓練時間や総計算量での効率を比較していないため、どちらのバッチサイズが省資源かは判断できません。

他の方法との比較

著者は、さまざまな自己教師あり学習法の線形評価結果を比較しました(つまり、バックボーンを凍結し、最後に線形分類器を 1 層追加)。

結果は、標準的な ResNet アーキテクチャでも、SimCLR が特別な構造を使う過去の一部の手法と同等以上の精度を示すことを示しています。標準 ResNet-50 の SimCLR は 69.3%、幅を 4 倍にしたモデルは 76.5% で、図中の教師あり ResNet-50 に近い値です。ただしモデルの規模は異なり、パラメータ数はそれぞれ約 375M と 24M です。

もし ImageNet のラベル数を 1%または 10%に圧縮し、カテゴリーバランスを考慮して微調整を行った場合、下記の表のように:

Top-5 精度では、SimCLR 4× が 1%/10% のラベル条件でそれぞれ 85.8%/92.6% と表中の最高値です。一方、標準 ResNet-50 の SimCLR は 75.5%/87.8% です。少量のラベルでの微調整にも事前訓練表現が役立つことを示していますが、モデルの大きさを併せて確認する必要があります。

結論

本研究では、著者はシンプルで効果的な対照学習フレームワークを提案し、さまざまな実験を通じて、異なる設計選択が学習効果に与える影響を深く分析しました。

報告された自己教師あり・半教師ありの実験では、データ拡張、非線形投影ヘッド、NT-Xent が有効でした。一方、転移学習の結果はタスクごとに異なります。