Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination
- 発表先
- CVPR 2018国際会議
- arXiv への初回投稿
- arXiv:1805.01978
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{contrastivelearninginstdisc2018,
title = {{Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination}},
author = {Zhirong Wu and Yuanjun Xiong and Stella Yu and Dahua Lin},
year = {2018},
eprint = {1805.01978},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1805.01978}
}
開発の隙間時間を利用して、対照学習に関する論文をいくつか読みました。
以前マスタークラスを受講したことがありますが、やはり自分で読んでみると理解が深まります。
対照学習の概念が流行する前、距離学習(Metric Learning)は業界で広く使われていました。その代表格といえば顔認識でしょう。
距離学習の核心は、特徴表現 を学習することで、サンプル と 間に距離を定義することです:
未知の人物も扱うオープンセットの照合では、訓練時の人物クラスの分類器ではなく、学習した特徴同士を比較するのが一般的です。ただし、その特徴を使って別のタスク用の線形分類器を学習することは可能です。
問題の定義
しかし、これらの距離学習は「クラス」レベルの学習に依存しており、各画像が具体的にどのクラスに属するかを知る必要があります。
ラベルなしデータだけを使うには、類似度を学ぶための別の信号が必要です。
そのため、研究者たちはさまざまな解決策を模索しました:
生成モデル
別の方法として、データの生成や再構成を学習することが考えられます。Autoencoder や VAE はエンコーダーとデコーダーを用います。一方、GAN は生成器と識別器を対抗的に学習し、必ずしも入力画像を符号化して再構成する経路を持ちません。
長所はラベルが不要で、画像さえあれば訓練を開始できることです。しかし、短所として計算コストが非常に高く、画像の再構築解像度が高くなるほど計算コストも増大します。
生成・再構成の品質と下流の認識性能は、別々に評価する必要があります。一部の GAN ではモード崩壊も問題になります。ただし、これらはモデル、目的関数、データに依存する課題です。
自己教師あり構造学習
自己教師あり学習(Self-supervised Learning)の概念は、データの内部構造を利用して予測タスクを構築し、モデルを訓練するものです。
いくつかの興味深い例を見てみましょう:
-
文脈予測
-
グレースケール画像の色復元
-
ジグソーパズルの解決
-
画像の欠損部分の補完
-
物体数の計算
これだけ多くの代理タスクを見てきましたが、どれも理にかなっているように見えます。しかし、意味的な認識にどの程度役立つかや、どのタスクを選ぶかは実験で確かめる必要があります。
共通の認識がないのであれば、新たに共通認識を作り出そうと考えました。著者は距離学習に着想を得て、人工ラベルがない条件下で、新しい特徴学習の訓練方法を提案しました。
問題の解決
優れた特徴表現を得るために、著者は「インスタンスレベルの識別」という戦略を採用しました。具体的には、各画像を独立した「クラス」と見なし、それぞれの画像が自分の「クラス」に属するかを区別する分類器を訓練します。
モデルの構造を見てみましょう。
モデル構造
図の左側は「Backbone CNN」とラベル付けされた深層畳み込みニューラルネットワークです。このネットワークの役割は、入力画像 (例:224224 の画像)を高次のセマンティック特徴に変換することです。一般的な CNN ネットワークには、複数の畳み込み層、バッチ正規化、プーリング処理などが含まれます。最終層では高次元ベクトルを出力し、それが「視覚特徴表現」となります。
Backbone CNN から出力される高次特徴は、通常非常に高次元(例:2048 次元)です。大規模データでの処理を効率化するため、著者は「Projection Head」を追加し、CNN 出力を 128 次元 のベクトル空間に投影します。
投影後、この 128 次元ベクトルに L2 正規化() を適用します。これにより、各サンプルが単位長に制約され、類似度計算に便利になります。この状態では、ベクトル内積 が球面上での余弦類似度に対応し、値は の範囲に収まります。これにより直感的かつ安定した計算が可能になります。
従来の分類器の問題
従来の Softmax 分類モデルでは、各クラス に対応する重みベクトル が存在します。画像 から得られる特徴ベクトル に基づいて、画像がクラス に属する条件付き確率は次のように記述されます:
この式では、 が特徴 とクラス の適合度を示します。分母はすべてのクラス(1 から )について指数関数の総和を計算することで、確率の合計を 1 に保ちます。
一般的な分類問題ではクラス数が固定かつそれほど多くないため、このようなパラメトリック Softmax がよく使用されます。しかし、ここでは「各画像」が新しいクラスと見なされ、クラス数が非常に多くなる可能性があります(数万、数百万、またはそれ以上)。そのため、各クラスごとに独立した重みベクトル を持つと、ストレージコストが高くなるだけでなく、計算も非常に負荷が高くなります。
要するに、重すぎて Train が進まないのです。
非パラメトリック分類器
上述の問題を改善するため、著者は「非パラメトリック」アプローチを提案しました:
- 式中の を「メモリ(memory bank)内に格納された特徴ベクトル」 に置き換えます。
つまり、クラス重みベクトル は独立したパラメータではなく、画像自身の特徴ベクトル を直接使用します。さらに、これらの特徴ベクトルを単位ベクトルに正規化(長さを 1 に)することで、類似度計算を容易にします。
このようにして、Softmax の式は次のように書き換えられます:
ここで は「温度パラメータ」と呼ばれ、Softmax 分布の「鋭さ」を調整します。 は現在の画像 から得られた特徴で、 は「メモリ」に格納された第 番目の画像の特徴(単位ベクトル)です。 は二つの単位ベクトルの内積で、値は -1 から 1 の範囲に収まり、類似度を表します。
メモリバンク
非パラメトリック Softmax の訓練目標は一般的な分類問題と類似しており、各訓練画像が「自分自身に正しく分類される確率」を最大化する、または訓練セット全体の負の対数尤度を最小化することです:
ここで を と表記します。 を計算する際には、理論上すべての画像特徴 が必要です。しかし、各逆伝播で全画像をニューラルネットに通すと、計算コストが非常に高くなります。
そのため、実装では「メモリバンク」()に各画像を最後に計算した特徴を保存します。初期値はランダムな単位ベクトルです。各訓練イテレーションの後、その回に順伝播した画像に対応する項を、新しい特徴 で更新します。
画像数 が非常に大きい場合、分母の計算()の計算量は各画像あたり となり、 が数百万以上に達すると計算コストが大きくなります。
Noise-Contrastive Estimation
NCE の核心的なアイデアは次の通りです:
- 多クラス分類問題を複数の二値分類問題に変換する。
- 二値分類の目標:真のデータサンプルとノイズサンプルを区別する。
多クラスの場合、通常は各画像が 1 つの「クラス」として扱われます。NCE を用いる場合、特定の画像に対して「この画像である」か「この画像でない(ノイズ)」を区別するだけで済みます。
具体的には、「他の画像」をノイズと見なし、あるいはノイズ分布()からサンプルを抽出して負例とし、モデルが正例と負例を区別できるように学習します。
例えば、今回順伝播した画像 の特徴 に対して、メモリバンク内の候補特徴 が対応する確率は、次のように書けます:
ここで、
- は画像 の今回の順伝播で計算した特徴、 はメモリバンクから取り出す候補特徴です。ここでの は、前節で現在の特徴を指した記号とは役割が異なります。
- は を固定し、候補となるメモリ特徴 全体について和を取る正規化定数です。原論文の という記法を保っていますが、前節のインスタンス番号について分類する式とは紛らわしいため、この分母が走査する候補に注意してください。
- 個すべての項を計算すると、大規模データでは高コストになります。
NCE の巧妙な発想は、大量の可能なクラスが存在する場合でも、上記の分母を完全には計算しない点にあります。代わりに、「第 クラス」に対応する正例と、「ノイズ分布」に対応する負例を区別することに焦点を当てます。
ノイズ分布 を一様分布(uniform)と仮定すると、 となります。
論文では、超パラメータ を導入し、これは「ノイズサンプルが真のサンプルより 倍多い」ことを表します。そして次のように「事後確率」を定義します:
この の意味は、特徴 とクラス が与えられたとき、「 が第 番目の画像に由来する真のデータであり、ノイズではない」確率です。 は上記式の出力であり、 はノイズサンプル(負例)が に対応する確率を表します。
次に重要なのは次の 2 点です:
- 正例の log-likelihood を負符号付きで計算(正例が正確に分類されること)。
- 負例の log-likelihood を負符号付きで計算(負例が正確に分類されること)。
最終的な目的関数は以下のように表されます:
- は「真のデータ分布」、すなわち実際に存在する画像(正例)を表します。
- は「ノイズ分布」、すなわちノイズサンプル(負例)を表します。
- と はどちらもメモリバンク()から取り出された特徴ベクトルですが、 は正例に対応し、 はランダムに選ばれたノイズです。
直感的には、 が大きいほど、モデルは「 が第 番目の画像に属する」確率を高いと判断していることを意味し、良い結果と言えます。一方、 が大きいほど、モデルはノイズを正確に排除できていることを示します。
の近似
これまでに多くを述べてきましたが、最大の課題は依然として解決されていません。
私たちはまだ を計算する必要がありますが、その中には があります。 が非常に大きい場合、これがボトルネックとなります。
NCE(Noise-Contrastive Estimation)で一般的な手法としては、 を「定数」とみなして推定または近似し、勾配更新には含めない方法があります。本論文では、以下の文献を参考にしています:
モンテカルロ近似(Monte Carlo approximation)を用いて次のように推定します:
ここで、 はランダムに抽出されたインデックスの集合であり、全体集合の平均値を近似するために使用されます。
本来であれば、すべての 項を合計して を求める必要がありますが、ここでは負例を 個だけ抽出し、それらで指数演算を行い加算した後、 という係数を掛けることで全体の総和を近似しています。
論文では、実験的に訓練の初期段階で少数のバッチを用いるだけで十分な推定が可能であり、その後の訓練ではこの推定値を固定しても良好な結果が得られると述べられています。
近接正則化(Proximal Regularization)
通常の分類問題と違い、ここでは「各クラス」に訓練画像が 1 枚しかありません。各エポックでそのクラスを訪れるのも 1 回だけです。著者は、元の訓練目的が大きく揺れ、収束が遅いことを観察しました。
このようなランダムサンプリングによる不安定性を緩和するため、著者は近接正則化(Proximal Regularization)の概念を採用し、損失関数に「スムージング制約」を加えることで、特徴ベクトルが各更新で過度に変化しないようにしています。この手法により訓練が安定化し、収束が加速します。
具体的な手法として、以下の 2 つの変数を仮定します:
- 現在の反復(iteration ):訓練データ に対し、ネットワークを通じて計算される特徴ベクトル 。
- メモリバンク:その画像を前回処理した際の特徴を保存したもの。ここでは と記載します。
元の NCE 損失に次の項を追加します:。
最終的な目的関数は次のようになります:
- 第一項()は NCE の元の正例損失。
- 第二項()は、新しい特徴ベクトル が前回の と大きく異ならないようにするもの。
この「近接項(proximal term)」を用いることで、特徴ベクトルが大きく変化した場合にペナルティが課されます。訓練が進むにつれて収束が進むと、理想的には となり、このペナルティ項はほとんどゼロに近づきます。最終的には元の目的関数に戻ります。
統合後、著者は「近接正則化を含む最終的な目的関数」を次のように示しました:
この式では、元の NCE における「正例の 」および「負例の 」の 2 つの主要な項を保持しつつ、 を追加することで特徴ベクトルの急激な変動を抑制しています。
近接正則化の効果を確認するため、著者は異なる 値(例:0、10、30、50)を比較しました:
上図では、(近接項なし)の訓練損失は大きく揺れ、下降も遅くなっています。適度な を加えると曲線は滑らかです。学習した特徴の改善も著者は別に報告していますが、それは損失曲線だけからは判断できません。
評価時には、特徴空間でコサイン類似度の高い 個の近傍を選び、各近傍に の重みを付けてクラスへ投票します。 は訓練時と同じ設定です。
討論
パラメトリック vs ノンパラメトリック Softmax
本論文の中心である「ノンパラメトリック Softmax」について、著者はまず CIFAR-10 を用いて「パラメトリック Softmax」と「ノンパラメトリック Softmax」の効果を比較する実験を行いました。
CIFAR-10 は比較的小規模なデータセットであり、ノンパラメトリック Softmax の分母を直接計算できるため、両者の違いを正確に評価することが可能です。評価方法としては、Linear SVM と k-NN 分類器を用い、それぞれ「パラメトリック」と「ノンパラメトリック」特徴で分類を行い、その精度を比較しました。
実験結果は上表の通りで、パラメトリック Softmax の SVM と k-NN の精度はそれぞれ 60.3% と 63.0%、ノンパラメトリック Softmax はそれぞれ 75.4% と 80.8% でした。この結果は、ノンパラメトリック Softmax の有効性を明確に示しており、提案手法の優位性を証明しています。
さらに、著者は「ノンパラメトリック設定」において NCE 近似を使用した場合の影響も調査しました。この結果も上表に示されており、NCE のハイパーパラメータ (各正例に対して抽出される負例の数)による影響を評価しています:
- (負例を 1 つだけ抽出)の場合、k-NN の精度は 42.5% に急落し、負例が少なすぎると近似が不十分であることを示しています。
- を増やすと k-NN 精度は 42.5% から 80.4% に上がり、完全なノンパラメトリック Softmax の 80.8% に近づきます。ただし同じ の線形 SVM は 70.2% で、完全版の 75.4% より低いままです。本文の は CIFAR-10 の残る全訓練画像との比較を指します。
画像分類タスクでの性能
次に、著者は ImageNet を用いた大規模実験を行い、異なる手法をさまざまなネットワークアーキテクチャで比較しました。
実験設定:
- データセット:ImageNet(約 128 万枚の画像、1,000 クラス)
- 温度パラメータ :0.07 に設定
- NCE 負例数 :4,096(計算コストと特徴品質のバランスを考慮)
- 訓練条件:
- 200 エポックの訓練を Momentum SGD を用いて実施
- バッチサイズ:256
- 初期学習率:0.03(最初の 120 エポックで一定、以降 40 エポックごとに 0.1 倍に減衰)
比較対象の手法:
- Random initialization(ランダム初期化、下限として使用)
- Self-supervised learning
- Adversarial learning
- Exemplar CNN
- Split-brain autoencoder(当時の強い自己教師ありベースライン)
著者は AlexNet、VGG16、ResNet-18、ResNet-50 でも比較しました。表中の他手法は元論文からの値が多く、骨格や評価設定の違いも確認する必要があります。
評価には以下の 2 つの方法を採用:
- 線形 SVM (conv1 ~ conv5):各畳み込み層(conv1、conv2、conv3、...)の中間特徴に基づいて線形分類器を訓練し、ImageNet 検証セットでの分類性能を評価。
- k-NN (最終 128 次元出力):最終出力の 128 次元特徴で最近傍分類を実施。
結果:
AlexNet の conv5 特徴では、本手法の線形分類は top-1 精度 35.6% で、表中の他の AlexNet 手法の値を上回ります。
ResNet-50 では conv5 の線形分類が 54.0%。表中の Exemplar CNN は ResNet-101 で 31.5% ですが、訓練と評価の条件が違います。本手法の 4 種類の骨格では、conv5 の精度は骨格とともに上がっています。
最後の 128 次元特徴での k-NN は、AlexNet から ResNet-50 の順に 31.3%、33.9%、41.0%、46.5% です。いずれも同じ骨格の conv5 線形分類より低いものの、このコンパクトな特徴にも分類能力があります。表中では後段の畳み込み特徴のほうが、概して前段より線形分類に適しています。
効率面:
表中の一部手法は約 10,000 次元の中間特徴を使用しますが、本手法の最終出力は 128 次元です。著者によると、ImageNet 全体(約 128 万枚)の特徴保存には約 600 MB、Titan X GPU で画像 1 枚につき全メモリを検索する時間は約 20 ms です。
データセット間の汎化能力
著者は次に、ImageNet で学習した特徴を直接別の大規模データセットである Places(2.45M 枚の画像、205 クラス)に適用する実験を行いました。この際、ファインチューニングは行わず、特徴抽出だけを実施し、その後 Places で線形分類器を訓練するか、k-NN を用いました。
上表では、本手法の ResNet-50 は conv5 線形分類で 45.5%、最終特徴の k-NN で 41.6% です。対応する列の表中の他手法より高いものの、骨格や評価する特徴も異なるため、差のすべてを学習目標だけに帰することはできません。
ImageNet で学んだ特徴を直接使っても、別領域のシーン分類で良好な結果が得られています。方法の領域をまたぐ汎化能力を示す結果です。
アブレーション実験 - 特徴次元
モデル構造を見たところで、次はアブレーション実験です。
まずは、特徴次元の影響についてです。著者は特徴次元を 32 → 64 → 128 → 256 と変化させて比較を行いました。その結果は上記の表の通りです。
ResNet-18 の k-NN top-1 精度は 32 次元の 34.0% から 128 次元の 41.0% まで上がり、256 次元では逆に 40.1% に下がります。この表の設定では、128 次元が最良です。
アブレーション実験 - 訓練データセットサイズ
次に、著者は「訓練データセットのサイズ」がモデル性能に与える影響を検証しました。実験設定は以下の通りです。
- ImageNet の訓練データ:画像の 0.1%、1%、10%、30%、100% をそれぞれ使用。
- 評価:ラベル付きの全評価データによる最近傍分類で特徴を確認。
上表では、訓練画像を 0.1% から 100% に増やすと精度が 3.9% から 41.0% に上がります。この実験範囲では、ラベルなし画像を増やすことが学習した特徴に役立っています。
可視化分析
論文の最後では、いくつかの特徴視覚化の結果、すなわち「画像検索」機能を示しました。これは、画像特徴の比較を通じて「クエリ」に最も近い画像を見つけるものです。
実験結果は上記の図の通りです。
- 最良ケース(上段 4 行): 検索結果の上位 10 枚がすべてクエリ画像と同じカテゴリに属している(著者が選んだ成功例)。
- 失敗例(下段 4 行):上位 10 枚に正解カテゴリがありません。形や色、背景に似た部分が見える例もあれば、図だけでは関係を判断しにくい例もあります。
著者は、これらの例を使って、特徴がカテゴリ名とは別の外観上の類似性を捉えうると説明します。ただし、図は定性的な例であり、全体の検索品質をこれだけで判断することはできません。
結論
論文では、「半教師あり分類」や「物体検出」への応用実験についても触れられていますが、ここでは詳しく説明しません。興味のある読者は原文を参照してください。
全体として、これらの実験は著者の手法の汎用性と拡張性を十分に実証しています。分類や検索だけでなく、異なるネットワーク構造、異なるデータスケール、および異なる下流タスク(半教師あり分類、検出)でも優れた汎化能力を発揮しています。
この論文が提案された後、NCE 損失に基づく自己教師あり学習フレームワークは、大規模データセットで驚くべき結果を迅速に達成し、実際のアプリケーションで強力な性能を示しました。
この後もいくつかの代表的な論文が続きますので、次に進みましょう。