論文ノートライブラリに戻る
arXiv 2020NeurIPS 2020対照学習論文ノート

SwAV

クラスタリング予測

原論文

Unsupervised Learning of Visual Features by Contrasting Cluster Assignments

論文の著者

Mathilde Caron · Ishan Misra · Julien Mairal · Priya Goyal · Piotr Bojanowski · Armand Joulin

発表先
NeurIPS 2020国際会議
arXiv への初回投稿
arXiv:2006.09882
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{contrastivelearningswav2020,
  title = {{Unsupervised Learning of Visual Features by Contrasting Cluster Assignments}},
  author = {Mathilde Caron and Ishan Misra and Julien Mairal and Priya Goyal and Piotr Bojanowski and Armand Joulin},
  year = {2020},
  eprint = {2006.09882},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2006.09882}
}
このページの内容

MoCo と SimCLR の二つのシリーズがしばらく議論されてきました。

これまで正負サンプルを使ってペアで比較していましたが、今回は少し異なるアプローチを見てみましょう:クラスタリングはどうでしょうか?

問題の定義

対比学習のフレームワークは大体確立されています。主要な手法としては以下のようなものがあります:

  1. 対比損失の使用:InfoNCE 型の損失(SimCLR の NT-Xent など)は一般的な損失関数の一つです。
  2. 画像の切り取り変換:同じ画像の特徴を近づけ、異なる画像の特徴を遠ざけます。
  3. 大量の負サンプル:負例を増やすと改善する場合がありますが、データや訓練条件にも依存します。

もちろん、細かい部分ではモメンタムエンコーダーやメモリーバンクなど、さまざまなアプローチが考えられます。

本論文の著者は「大量の計算資源は依然として無視できない問題だ!」と述べています。

もし問題を変えて、対比損失に固執せず、「予測」問題に転換できればどうでしょうか。

モデルに「別の視点のクラスタ割り当て」を予測させ、直接特徴を比較するのではなく、クラスタリングを通じて同じ効果を得ることができます。

問題解決

モデルアーキテクチャ

この図を見れば、この論文を読んだことになります。

まず、左半分は現在広く受け入れられている対比学習アーキテクチャです:

図の中で、画像XXが異なる変換(変換t∼Tt \sim T)を受けて、2 つの拡張ビュー(例えばX1,X2X_1, X_2)を生成します。

これら 2 つの視点はそれぞれ畳み込みネットワーク(または任意の特徴抽出ネットワーク)fθf_\thetaを通して、特徴ベクトル(Z1,Z2Z_1, Z_2)を出力します。

対比的インスタンス学習では、方法は「これら 2 つの特徴ベクトルを直接比較」し、例えばそれらの類似度を計算します(SimCLR や MoCo などの方法に似ています)。モデルは同一画像からの特徴ベクトルを特徴空間で近づけ、異なる画像からの特徴ベクトルを遠ざけることを目指します。


右半分は本論文で提案された方法です。もう少し詳しく見てみましょう:

SwAV では、著者は各特徴(例えばZ1,Z2Z_1, Z_2)を一組の学習可能な「プロトタイプベクトル(以下、プロトタイプ)」に割り当て、対応する「コード」Q1,Q2Q_1, Q_2を得ます。

図中では「Prototypes C」と「Codes」でこのステップを示しています。

次に、SwAV の核心は「交換予測(Swapped Prediction)」です。つまり:

  1. 視点 1 の特徴に対応するコードQ1Q_1を使用して、視点 2 の特徴が学習すべき内容を指示します。
  2. 視点 2 の特徴に対応するコードQ2Q_2を使用して、視点 1 の特徴が学習すべき内容を指示します。

このように SwAV は Z1Z_1 と Z2Z_2 を直接比較せず、一方のビューの特徴から、他方のビューにおける「プロトタイプ」への割り当てを予測します。同じ画像の異なるビューで、割り当てが一致するように学習します。

プロトタイプは学習可能なベクトルのセットであり、ここでは「クラスタセンター」として扱われ、特徴ベクトルを「コード」の形式に対応させることでクラスタリング効果を生み出します。訓練過程でモデルはこれらのプロトタイプを学習し、それらが異なる画像をより良く区別できるような空間位置に対応するようになります。

オンラインクラスタリング

SwAV の重要な特徴の 1 つは「オンラインクラスタリング(Online Clustering)」です。

著者がどのようにして各画像の「コード」をオンラインで計算し、プロトタイプを更新するのかを見てみましょう:

まず、各画像xnx_nに対して、変換集合TT(例えばランダムクロップ、水平フリップ、色の揺らぎなど)からランダムに 1 つの変換ttをサンプリングして、拡張画像xntx_{nt}を生成します。その後、畳み込みニューラルネットワークを使用して特徴ベクトルを取得し、その特徴ベクトルを単位球面に投影して、zntz_{nt}を得ます。これは出力ベクトルの長さを 1 に正規化したものです。

ここまでの部分は、以前の対比学習論文とほとんど変わりません。

最後に、zntz_{nt}をKK個の学習可能な「プロトタイプ」{c1,…,cK}\{ c_1, \dots, c_K \}にマッピングして、「コード」qntq_{nt}を得ます。

各画像専用のクラスタコードを得た後、次は交換予測を行います:

2 つの拡張ビュー(t,s)(t, s)が同一画像に対応します。(zt,qt)(z_t, q_t)は視点ttの特徴とコードを、(zs,qs)(z_s, q_s)は視点ssの特徴とコードを表します。

  • 著者はここでztz_tを使ってqsq_sを「予測」し、同時にzsz_sを使ってqtq_tを「予測」しようとしています。
  • これは対比学習で特徴ベクトルを直接比較するのとは異なり、一方の特徴で他方の「コード」を予測します。

コードを目標とし、特徴から各プロトタイプに対する softmax 確率を予測値として交差エントロピーを計算します。各更新には、現在のバッチの交換予測結果を用います。

均等割り当て制約

オンライン学習を実現するために、訓練中は「現在のバッチ」内の特徴を用いてコードを計算し、全体のデータセットを使わないようにします。これにより、モデルは異なるバッチのデータを受け取るたびにプロトタイプを更新し、これらのプロトタイプが多様な特徴分布に適応していきます。

しかし、プロトタイプへの割り当てに制限がなければ、すべての特徴が同じプロトタイプに集中し、モデルが崩壊(collapse)する恐れがあります。そこで著者は「均等割り当て制約」を導入し、各バッチ内でプロトタイプへの割り当てをできるだけ均等にします。

現在のバッチが BB 個の特徴ベクトルを含むとき、これらは次のように表されます:

Z=[z1,…,zB],Z = [z_1, \dots, z_B],

KK 個のプロトタイプは次のように表されます:

C=[c1,…,cK].C = [c_1, \dots, c_K].

私たちは、割り当て行列 QQ を最適化することによって、特徴とプロトタイプの最適なマッチングを実現したいと考えています。目的関数は次のように表されます:

Tr(Q⊤C⊤Z)\mathrm{Tr}(Q^\top C^\top Z)

これはすべての特徴とプロトタイプの間の類似度の合計を表し、エントロピー正則項 ϵ H(Q)\epsilon\,H(Q)(ここでH(Q)=−∑ijQijlog⁡QijH(Q) = -\sum_{ij} Q_{ij} \log Q_{ij})は割り当てが過度に集中するのを防ぐために使われます。この設計により、モデルは識別能力を保ちつつ、すべての特徴が少数のプロトタイプに集まりすぎないようにします。

実際の最適化では、QQ を特定の集合 Q\mathcal{Q} に制限します。この集合は次のように定義されます:

Q={Q∈R+K×B  ∣  Q 1B=1K 1K,Q⊤1K=1B 1B},\mathcal{Q} = \Bigl\{ Q \in \mathbb{R}_{+}^{K \times B} \;\Big|\; Q\,\mathbf{1}_{B} = \tfrac{1}{K}\,\mathbf{1}_{K}, \quad Q^\top \mathbf{1}_{K} = \tfrac{1}{B}\,\mathbf{1}_{B} \Bigr\},

1K\mathbf{1}_K と 1B\mathbf{1}_B は全要素が 1 のベクトルです。K×BK\times B 行列の行はプロトタイプ、列はサンプルに対応し、行和は 1/K1/K、列和は 1/B1/B です。各列を BB 倍するとサンプルの割り当て分布になります。均等な行質量は全体として 1 プロトタイプ当たり B/KB/K サンプル分に相当し、整数のハード割り当てを要求するものではありません。

エントロピー重み ϵ\epsilon は割り当ての柔らかさを制御します。大きすぎると全サンプルのコードが一様になり、均等制約を満たしたまま崩壊し得ます。小さくすると鋭い割り当てになりますが、極端な値では数値計算や最適化の問題が生じ得ます。実験では小さい値が使われています。

解法の過程では、最初に連続解 Q∗Q^* を得ます。輸送多面体の制約と指数マッピング形式を同時に満たすために、著者は Sinkhorn-Knopp アルゴリズムを使用しています。このアルゴリズムは反復的に行列の正規化を行い、対応する対角行列 Diag(u)\mathrm{Diag}(u) と Diag(v)\mathrm{Diag}(v) を計算することで、必要な行・列の周辺和に近づけます。有限回の反復では近似解になります。式は次のようになります:

Q∗=Diag(u) exp⁡(C⊤Zϵ) Diag(v).Q^* = \mathrm{Diag}(u)\,\exp \Bigl(\tfrac{C^\top Z}{\epsilon}\Bigr)\,\mathrm{Diag}(v).

実験では 3 回の反復で良好なモデル性能が得られました。ただし有限回の反復は近似解です。この計算は GPU 上でも効率よく実行できます。

さらに、小さなバッチでは、バッチ内の特徴数BBがプロトタイプ数KKよりもずっと少ない場合、単一のバッチで各プロトタイプが十分なサンプルを得ることができない可能性があります。この問題を解決するために、著者は前のバッチの特徴を保持し、大きな特徴集合を累積してから、まとめて割り当て計算を行います。しかし、逆伝播時には現在のバッチのサンプルのみを更新します。

バッチサイズ 256 の小バッチ実験では、過去 15 バッチ分の 3,840 特徴を保持します。同じ実験条件で MoCo v2 は 65,536 特徴を保持します。ここで比較しているのは特徴キューの大きさであり、両手法のメモリ使用量全体ではありません。

マルチクロップ

以前の研究では、画像のさまざまな部分(シーンやオブジェクトなど)の関係を捉えるために、ランダムクロップ(random crops)が多く使われてきました。異なる領域のクロップを通じて、モデルは局所的特徴と全体構造の関係を学習できます。

ビューを増やすと学習信号を豊かにできる可能性がありますが、追加の計算が必要です。同じ解像度なら特徴抽出のコストはビュー数にほぼ比例し、全ペアの類似度行列は二次的に増え得ます。

計算量を大幅に増やさずに、より多くの視点を提供するために、著者はマルチクロップの戦略を提案しました:

  1. 2 つの標準解像度クロップ:これらの大きいクロップをコード計算に用います。
  2. 追加のVV個の低解像度クロップ:これらの低解像度クロップは画像の一部領域のみをカバーしますが、サイズが小さいため計算コストが低くなります。

低解像度画像の処理は高解像度画像より計算資源を抑えられるため、追加の負担を抑えながら同じ画像からより多くのビューを得られます。ただしビューを増やせば、計算時間とメモリ使用量は増加します。

元々の損失関数は 2 つの視点間での交換予測損失に使用されていましたが、マルチクロップ戦略では損失関数は次のように一般化されます:

L(zt1,zt2,…,ztV+2)=∑i∈{1,2}∑v=1v≠iV+2ℓ(ztv,qti)L(z_{t_1}, z_{t_2}, \dots, z_{t_{V+2}}) = \sum_{i \in \{1,2\}} \sum_{\substack{v=1 \\ v\neq i}}^{V+2} \ell(z_{t_v}, q_{t_i})

ここで、zt1z_{t_1} と zt2z_{t_2} は 2 つの標準解像度クロップの特徴を表し、残りのztvz_{t_v}(v=3,…,V+2v=3,\dots,V+2)は低解像度クロップの特徴を表します。

著者はここで高解像度クロップのみを使って「コード」を計算し、これらのコードを使って他のすべてのクロップ(低解像度を含む)の特徴と比較します。

討論

著者は SwAV を利用して学習した特徴をいくつかのデータセットで転移学習を行い、これらの特徴の汎用性と実用性を検証しました。彼らは SimCLR で導入された技術のいくつかを改良して、次の方法を取り入れています:

  • LARS(Layer-wise Adaptive Rate Scaling):大規模バッチ学習時に学習率を安定させるために役立ちます。
  • Cosine Learning Rate:余弦退火戦略を利用して学習率を調整し、トレーニング過程をよりスムーズにします。
  • MLP Projection Head:追加の全結合層(MLP)を通じて特徴をプロジェクションし、特徴表現をさらに向上させます。

実験結果

ここでは、ImageNet で評価した教師なし特徴に関する実験結果を主に見ていきます。

方法としては、SwAV で事前学習された ResNet-50 ネットワークから特徴を抽出し、それらの特徴を固定して微調整せずに、「凍結」された特徴で線形分類器をトレーニングします。

結果は次の表に示されています:

SwAV の線形分類 Top-1 精度は 75.3% で、図中の MoCo v2 の 71.1% より 4.2 ポイント高く、完全教師あり訓練の 76.5% より 1.2 ポイント低い値です。この実験では SwAV はバッチサイズ 4096、800 エポックで訓練しています。

右側の図では、異なる幅の ResNet-50 モデルが教師なし特徴学習においてどのような性能を示すかを示しています。

図ではモデルの幅が増すにつれて SwAV の精度も上がります。最も幅の広いモデルでは、同じ幅の完全教師ありモデルとの差が 0.6 ポイントです。これはこの ImageNet 線形評価の結果であり、下流タスクの性能は別の転移学習実験で確認する必要があります。

アブレーション実験:マルチクロップ

上の図は、ImageNet データセットを基にしたマルチクロップ戦略の効果を示しており、ResNet-50 をベースネットワークとして使用しています。

左の表はクラスタリング系と対比的インスタンス学習の手法を比較し、右の図は訓練エポック数を変えた SwAV の結果を示します。

実験結果は次の通りです:

  • マルチクロップなしの場合:SwAV は 70.1%、DeepCluster-v2 は 70.2% で、SimCLR の 68.2% よりそれぞれ 1.9 と 2.0 ポイント高い値です。
  • マルチクロップを使用した場合:SwAV は 74.1%、DeepCluster-v2 は 74.3% で、SimCLR の 70.6% よりそれぞれ 3.5 と 3.7 ポイント高い値です。

この比較では、データ拡張、訓練エポック数、バッチサイズをそろえた条件でクラスタリング系手法の Top-1 精度が SimCLR を上回りました。

結果を見てみると、SwAV と DeepCluster-v2 は非常に似たパフォーマンスを示しますが、重要なのはそのトレーニングモードの違いです:

  • DeepCluster-v2 は、クラスタ中心と割り当てを更新するためにデータセット全体を繰り返し走査する必要があり、オンライン訓練には適しません。非常に大規模なデータセットでは一回の走査しかできない場合もあり、その設定では通常の手順を実行できません。
  • SwAV はバッチ単位で割り当てを直接交換するため、コードを再割り当てするためにデータセット全体を繰り返し走査する必要がありません。

別の視点から見ると、DeepCluster-v2 は SwAV が提案する交換メカニズムの特別なケースと見なすことができます。DeepCluster-v2 では交換が異なるトレーニングエポック間で行われ、前のエポックの割り当て結果を用いて現在のエポックのある増強視点を予測します。一方、SwAV では同一バッチ内で直接交換が行われ、これはオンライン学習環境により適しています。

結論

SwAV は学習可能なクラスタセンターを通じて、画像特徴を直接対比するのではなく、特徴をこのクラスタセンターにマッピングし、その後、異なる視点間で情報交換を行います。

このプロセスは、仲介する言語のように働き、モデルが教師なし学習の中で一貫性を保ちながら、画像内部の構造と関係を捉えるのを助けます。最終的に、この設計はモデルが特徴学習において教師あり学習に近い、またはそれ以上の効果を達成することを可能にし、この設計方法が教師なし学習の分野での可能性を示しています。