論文ノートライブラリに戻る
arXiv 2020NeurIPS 2020対照学習論文ノート

SimCLR v2

モデルは大きく

原論文

Big Self-Supervised Models are Strong Semi-Supervised Learners

論文の著者

Ting Chen · Simon Kornblith · Kevin Swersky · Mohammad Norouzi · Geoffrey Hinton

発表先
NeurIPS 2020国際会議
arXiv への初回投稿
arXiv:2006.10029
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{contrastivelearningsimclrv22020,
  title = {{Big Self-Supervised Models are Strong Semi-Supervised Learners}},
  author = {Ting Chen and Simon Kornblith and Kevin Swersky and Mohammad Norouzi and Geoffrey Hinton},
  year = {2020},
  eprint = {2006.10029},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2006.10029}
}
このページの内容

FAIR は MoCo v2 の論文で実力を見せつけました。その内容は、もし十分なトレーニングリソースがなければ、彼らの「モメンタムメモリバンク」の解決策を採用すれば、より良い結果が得られるというものです。

SimCLR v2 では、モデルの規模と少量のラベルを活用する能力に焦点が移ります。他チームとの応酬として描くのは筆者の読み方です:

「計算資源の問題を一旦脇に置いて、教師なしに基づく対照学習アーキテクチャが、大きなモデルとどのように融合できるかを見てみよう。」

問題の定義

この時点で、誰もが知っている GPT-3 の論文はすでに arXiv に発表されていました。

当時の NLP では、ラベルなしの事前学習と教師あり微調整が広く使われていました。ただし GPT-3 が特に強調したのは、パラメータを更新しない in-context few-shot learning であり、少数ラベルによる微調整の例ではありません。

しかし、CV 分野では、なぜかあまり流行していないようです。

そのため、著者は SimCLR の対照学習アーキテクチャを基に、目標として「大規模」な無ラベルデータを使ってモデルの事前学習を行い、「少量」のデータで教師あり微調整を行うことを提案しました。

実験の結果は良好であり、SimCLR v2 という名前が付けられました。

解決問題

この図は SimCLR v2 のモデルアーキテクチャを示しており、全体のフレームワークは主に 3 つの段階に分かれています。

  1. 教師なしの事前学習(Unsupervised Pretraining):

    この段階では主に対照学習(contrastive learning)を使用して、一般的な視覚的特徴を学習します。

    基本的方法は SimCLR と同じです。各画像に異なるデータ拡張を適用して二つのビューを作り、NT-Xent 損失で表現を学びます。SimCLR v2 はさらに、深く幅広く SK を備えた ResNet、より深い投影ヘッド、MoCo から借りたモメンタムネットワークと負例メモリの仕組みも検証します。

    事前学習の損失には下流タスクのクラスラベルを使いません。その意味で画像の利用はタスク非依存です。

  1. 教師あり微調整(Supervised Fine-tuning):

    この段階では、著者は少量のラベル付きデータを使用して微調整を行い、モデルが特定の分類タスクに適応できるようにします。

    SimCLR v1 では MLP 投影ヘッド(projection head)を完全に破棄しますが、SimCLR v2 では前半の層を残し、中間層の出力にタスク分類器を接続して一緒に微調整できます。

  1. 知識蒸留(Knowledge Distillation):

    この段階では、著者は知識蒸留を使用して、学生モデルが教師モデルから学習し、パフォーマンスを向上させつつモデルのサイズを圧縮します。このプロセスは蒸留損失関数(Distillation Loss)を使用して、学生モデルと教師モデルの出力差を最小化します。

    数式で表すと次のようになります:

    Ldistill=−∑xi∈D∑yPT(y∣xi;τ)log⁡PS(y∣xi;τ)L_{\text{distill}} = - \sum_{x_i \in D} \sum_{y} P_T(y | x_i; \tau) \log P_S(y | x_i; \tau)

    ここで:

    P(y∣xi)=exp⁡(ftask(xi)[y]/τ)∑y′exp⁡(ftask(xi)[y′]/τ)P(y | x_i) = \frac{\exp(f_{\text{task}}(x_i)[y] / \tau)}{\sum_{y'} \exp(f_{\text{task}}(x_i)[y'] / \tau)}
    • τ\tau は蒸留段階の温度パラメータで、教師と学生の出力確率分布を調整します。前述の NT-Xent の温度とは別の訓練段階のものです。

    ラベル付きデータが一部ある場合、実際のラベル付きデータの交差エントロピー損失と蒸留損失を加重で組み合わせることができます:

    L=−(1−α)∑(xi,yi)∈DLlog⁡PS(yi∣xi)−α∑xi∈D∑yPT(y∣xi;τ)log⁡PS(y∣xi;τ)L = -(1 - \alpha) \sum_{(x_i, y_i) \in D_L} \log P_S(y_i | x_i) - \alpha \sum_{x_i \in D} \sum_{y} P_T(y | x_i; \tau) \log P_S(y | x_i; \tau)

    ここで:

    • DLD_L はラベル付きデータセットです。
    • α\alpha は加重係数で、実際のラベルと蒸留の比率を調整します。

討論

大規模モデルは少数のラベルを有効に使う

著者は最初に、ResNet モデルの異なるサイズ(ネットワークの深さや幅を変更)が半教師あり学習に与える影響を探りました:

  • 最小モデル:標準的な ResNet-50。
  • 最大モデル:ResNet-152(3× + SK)。

上の表では、全ラベルを使った教師あり訓練で小モデルと大モデルの Top-1 精度は 76.6% と 80.5% で、差は 3.9 ポイントです。自己教師あり事前訓練後の線形評価では 71.7% と 79.8% で 8.1 ポイント、1% のラベルによる微調整では 57.9% と 74.9% で 17.0 ポイントの差があります。

最後に、ResNet-152(3× + SK)と ResNet-152(2× + SK)の比較では、モデルのパラメータ数がほぼ倍増しましたが、性能向上は顕著ではなく、モデルの幅の効果が限界に達している可能性を示しています。

下の図は、モデルサイズ(model size)とラベル付きデータの割合(label fraction)の変化がモデルの性能に与える影響を示し、より大きなモデルが限られたラベル付きデータをどれだけうまく活用できるかを探ったものです。

図ではモデルの規模に伴って精度が上がり、教師あり学習と半教師あり学習の両方で見られます。この図が比較しているのは、SK を使わない ResNet-50/101/152、幅 1×/2× の設定だけです。これらの条件では、ラベルが少ないほど半教師あり微調整でのモデル規模の利点が大きくなります。

表 1 では、1% または 10% のラベルしか使わない場合も、ResNet-152 3×+SK の微調整後の精度は標準 ResNet-50 より高い値です。この SK を含むモデルは上図には載っていません。

大規模モデルは全体的により良い性能を発揮しますが、いくつかのアーキテクチャ(例えば Selective Kernel, SK)は、少ないパラメータで同等の性能を達成できることがあり、これはモデルのサイズを単に増加させるだけではなく、より優れたモデルアーキテクチャの探索が依然として価値のある方向であることを示しています。

より深い投影ヘッドがより良い結果を生む

この部分では、SimCLR v2 の事前学習および微調整における MLP 投影ヘッド(Projection Head)の影響を主に研究しています。

  • 上図 (a):投影ヘッドを 2〜4 層にした場合に、それぞれ最良の中間層から微調整した後の Top-1 精度を比較します。少数ラベルの設定では、より深い投影ヘッドの結果が通常高くなります。
  • 上図 (b):異なる層から微調整を開始した場合の影響を比較しています。結果として、最適な微調整層は通常、投影ヘッドの最初の層であり、入力層ではないことが示されており、特にラベル付きデータが少ない場合に顕著です。

さらに著者は付録で、ResNet と投影ヘッドの両方を広げた場合、投影ヘッドを深くする追加の利得は小さくなると観察しています。これは上図が直接比較した結果ではありません。

知識蒸留の効果

上の図は実験結果を示しており、知識蒸留には 2 つの主要な利点があります:

  1. 学生モデルが教師モデルより小さい場合:教師のタスク予測を小さなモデルに移せます。図では、同じパラメータ数の学生は直接微調整したモデルより高い精度を示します。
  2. 学生モデルと教師モデルが同じ場合(自己蒸留):同じ ResNet アーキテクチャでも、自己蒸留後の結果は微調整だけの場合より高くなります。この学生は教師の MLP 投影ヘッドを保持しません。

したがって、この実験で高精度の ResNet-50 モデルを得るためには、次の戦略を取ることができます:

  • 第一歩:大きな ResNet-152 を微調整した後、自己蒸留でその精度をさらに上げます。
  • 第二歩:この教師のタスク予測を小さな ResNet-50 に蒸留します。表 3 の小モデルは、自己蒸留済みの ResNet-152(3×+SK)を教師に使っています。

他の手法との比較

上表では、蒸留後の SimCLR v2 ResNet-50 は 1%/10% のラベル条件で Top-1 が 73.9%/77.5%、自己蒸留した ResNet-152 3×+SK は 76.6%/80.9% です。表中の手法はバックボーンも無ラベルデータの使い方も異なるため、これらの数値を単一要因の消融比較とは読めません。

これは、知識蒸留と無ラベルデータを組み合わせた手法が有効な半教師あり学習戦略であり、モデルの精度を向上させるだけでなく、小さなモデルでも高いパフォーマンスを維持できることを示しています。

結論

SimCLR v2 の主な研究方向は、「少量のラベル付きデータに対するモデルのパフォーマンス」と「知識蒸留の効果」を探ることです。

著者が提案する半教師あり学習フレームワークは、以下の 3 つのステップに分かれています:

  1. 教師なしの事前学習:自己教師あり学習を通じて一般的な画像特徴を学習します。
  2. 教師あり微調整:限られたラベル付きデータを使って特定の分類タスクに適応させます。
  3. 知識蒸留:無ラベルデータを利用し、教師モデルのソフトラベルを使って学生モデルのパフォーマンスをさらに向上させます。

この手法は、すでに NLP 分野で広く用いられていますが、CV 分野では十分に探求されていないベースライン手法です。著者の実験結果は、この方法が ImageNet で既存の最先端の手法を大きく上回ったことを示しています。

大規模モデルの力は、CV 分野においても今まさに現れつつあります。