An Empirical Study of Training Self-Supervised Vision Transformers
- 発表先
- ICCV 2021国際会議
- arXiv への初回投稿
- arXiv:2104.02057
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{contrastivelearningmocov32021,
title = {{An Empirical Study of Training Self-Supervised Vision Transformers}},
author = {Xinlei Chen and Saining Xie and Kaiming He},
year = {2021},
eprint = {2104.02057},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2104.02057}
}
表現学習の論文が何年も続き、そろそろ勝負がついたかと思いかけました。対照学習にも非対照学習にも、強い基準手法がそろってきたからです。
その時、コンピュータビジョンの分野で再び大きな更新がありました:ViT が発表されたのです。(2020 年 10 月)
MoCo の研究チームは、喜びを抑えきれず、この新しいアーキテクチャに対して早速大規模な探索を始めました。
問題の定義
ViT アーキテクチャが発表された後、原論文の著者は、このアーキテクチャで BERT のような MASK 機構を使って事前学習を行った場合、効果は思わしくなかったと述べています。
元の ViT 論文のマスク付きパッチ予測は、そこで試した設定では最良の教師あり結果に届きませんでした。結果はデータ、予測対象、訓練方法にも依存します。
ViT 論文のこの結論は、多くの研究者が次々と挑戦し始めるきっかけとなりました:
教師なし学習は本当にうまくいかないのか?それとも単にあなたのアプローチが間違っていたのか?
そのため、MoCo 論文の著者たちも ViT アーキテクチャへの探索を決定し、もしここにシャムネットワーク構造を導入し、表現学習を使ってモデルを事前学習させると、良い結果が得られる可能性があるか試してみることにしました。
解決方法
本論文は新しい学習原理やネットワーク構造の提案ではなく、MoCo を基に ViT の実験基準を構築します。予測ヘッドと対称損失を加え、大バッチ設定ではバッチ内の負例を使い、MoCo v1/v2 のキューは使いません。
具体的なプロセスは論文に記載されているアルゴリズムのアーキテクチャ説明を見れば理解できます。この部分を見れば論文全体を理解したことになります:
上図に沿って見ていきましょう:
-
最初に 2 つのエンコーダを準備します:
- 最初のエンコーダの構造は:バックボーン + proj mlp + pred mlp
- 2 番目のエンコーダの構造は:バックボーン + proj mlp (モメンタム更新)
-
データから 1 つのバッチ (合計 枚の画像)を取り出し、それぞれにデータ拡張を適用して を生成します。負例は同じバッチから得られ、旧版 MoCo のバッチ間キューは使いません。
-
出力を L2 正規化した上で、 を使用して に対してクエリベクトル を得る; を使用してキーべクトル を得る。
-
関数 を呼び出してコントラスト損失を計算します:
- 正例のインデックスは対角線上にあります(
labels = range(N)を使用); - ロジットを で割り、クロスエントロピー損失関数を用いて損失を計算;
- 最後に損失に を掛けて出力します。
- 最終的な総損失は となります。
- 正例のインデックスは対角線上にあります(
ここで言う損失関数は以前に触れた InfoNCE で、その式は次の通りです:
ここで:
- はクエリベクトル;
- は正例ベクトル、つまり と同じ画像から別のエンコーダ で得られた出力;
- は負例の集合で、同じバッチ内の他の画像から得られたキーべクトル;
- は温度パラメータで、分布の平滑化の程度を調整します。
この損失の目的は、 と を近づけ、 とすべての を遠ざけることです。
バックプロパゲーション後、オプティマイザを用いて を更新し、その後モメンタム更新を使用して を更新し、キーエンコーダを安定させます。
既知の要素を組み直した構成であり、中心となる貢献はその実験的な検証です。
したがって、この記事の主なポイントは実験部分にあります。細かく見ていきましょう。
討論
この論文では、著者が kNN 曲線を監視してトレーニングの進行状況を観察しています。
kNN 曲線とは、モデルが学習した特徴表現の質をリアルタイムで監視するための評価ツールです。具体的な手順は以下の通りです:
-
特徴抽出: トレーニング中、モデルは入力画像から特徴を抽出します。これらの特徴は、追加の調整なしでモデルの現在の表現能力を反映します。
-
kNN 分類: 評価する各サンプルについて、k 最近傍法を用いて分類します。訓練中に毎イテレーション更新される特徴バンクから近傍を探し、そのラベルに基づいて予測します。論文の監視用特徴バンクの長さは、ImageNet 訓練セットのおよそ 10% に相当します。
-
曲線生成: 数十イテレーションごとに検証セットで kNN 分類を行い、精度を記録します。これらの値が曲線を形成し、訓練の各段階における特徴表現の質を示します。
-
訓練の安定性の把握: kNN 曲線を観察することで、表面上は損失関数が低下し、最終的な精度も良さそうに見える場合でも、モデルの特徴表現の質(例えば kNN 分類の精度)が「ダイブ」したり、波打ったりすることが分かります。このような波動は、トレーニング過程における不安定性を示唆しています。この不安定性は、最終的な性能を低下させる可能性があります。
まとめると、kNN 曲線は k 最近傍分類法に基づく評価手法であり、モデルがトレーニング中に学習した特徴表現の安定性と質を追跡し、潜在的なトレーニングの不安定性を明らかにするためのツールです。
ViT の不安定性
理論的には、シャム型の自己教師あり学習で ResNet バックボーンを ViT に置き換えるのは難しくありません。しかし実際には、ViT のトレーニングは明らかな不安定性の問題に直面します。この不安定性は、最終的な精度からは明確には分かりません。なぜなら、トレーニング結果が「表面的に正常」に見えても、その過程では局所的な失敗や「部分的成功」が隠れている可能性があるからです。
-
バッチサイズの影響
ViT モデル自体は計算量が大きいため、大きなバッチサイズでのトレーニングはより多くの負のサンプルを提供し、対比学習に有利です。しかし、バッチサイズが大きすぎると(例えば 4k や 6k)、トレーニング曲線に明らかな「波動」や「落ち込み」が現れることがあります。
上の図から分かるように:
- バッチ 1k:線形評価精度は約 71.5%、曲線は平滑。
- バッチ 2k:精度は約 72.6%に上昇し、安定したまま。
- バッチ 4k:曲線に「ディップ」が現れ、精度は 72.2%に若干低下。
- バッチ 6k:波動がさらに明確になり、急激な下降があり、精度は 69.7%に低下。
大きなバッチはより多くのバッチ内負例を提供しますが、図中の 4096 と 6144 の条件では kNN 曲線にも下落が見られます。著者は、モデルが一時的にそれまでの最適化経路から外れ、「部分的な再起動」に似た状態になった可能性を推測しています。これは曲線に基づく仮説であり、パラメータの再起動を直接観測したものではありません。最終的な線形精度の差は約 1〜3 ポイントにとどまるため、終点だけでは見逃し得ます。
-
学習率の影響
大きなバッチサイズでのトレーニングには、通常、線形学習率調整ルールが使用され、その式は以下のようになります:
$$ \text{Effective LR} = \text{base lr} \times \frac{\text{BatchSize}}{256}. $$実験結果からは以下のことが分かりました:
- 小さな学習率を使用した場合(例えば lr = 0.5e-4)、トレーニングは安定しますが、学習不足となり、精度が低く(70.4%)なります。
- 中程度の学習率(例えば lr = 1.0e-4)で、モデルは最適なフィッティングを達成し、精度は 72.2%に達します。
- 学習率がさらに高く(例えば lr = 1.5e-4)なると、曲線に「ディップ」が増え、最終的な線形精度は 71.7% に下がります。
著者は、学習率は安定性と適切なフィッティングのバランスを取る必要があると考えています。学習率が低すぎるとモデルは学習不足になり、高すぎるとトレーニング中の不安定性が増し、勾配の変動が激しくなり、モデルの性能に波動を引き起こすことになります。
-
最適化器の影響
最近の一部の自己教師あり学習法では、大きなバッチに対応した LARS 最適化器を使用しています。また、LAMB は AdamW の LARS バージョンと見ることができます。
そのため、著者は LAMB 最適化器を使用してトレーニングを行った結果を試しました:
- 適切な学習率(例えば lr = 5e-4)で、LAMB の最終精度(72.5%)は AdamW よりわずかに優れていました。
- lr = 5e-4 の 72.5% に対し、lr = 6e-4 と 8e-4 はそれぞれ 70.9% と 66.5% となり、差は 1.6 と 6.0 ポイントです。
著者は、LAMB は勾配の変動が比較的平滑であるものの、この平滑性が不安定な勾配問題を次第に累積させ、最終的にモデルの性能に影響を与える可能性があると指摘しています。LAMB は学習率に敏感で、異なる設定で異なる結果を生じることがあり、追加の学習率検索なしでは異なるアーキテクチャ設計の比較が難しいことが分かりました。
これを踏まえて、著者は他の実験では比較的安定した AdamW 最適化器を選択しました。
ViT の不安定性問題の解決
著者はトレーニング過程で、勾配の急激な変動がトレーニング曲線に明らかな「ディップ」を引き起こすことに気付きました。以下の図を参照してください:
図中の最初の層と最後の層の勾配を比較すると、スパイクは最初の patch projection 層で先に現れ、最後の層では数十イテレーション遅れて現れます。
この現象は、浅い層で最初に不安定性が現れ、その後の層のパフォーマンスに影響を与える可能性があることを示唆しています。これに基づいて、著者は不安定性が主に第一層から始まると仮定しました。
この層による勾配の激しい波動を避けるために、トレーニング過程で patch projection 層を凍結する戦略を提案しました。この実装方法は stop-gradient 操作を利用し、その層の重みを固定して更新を停止し、代わりにランダムな投影を使用して画像のパッチを埋め込むというものです。
実験結果は以下の通りです:
学習可能な patch projection と比較して、ランダム(凍結された)patch projection を使用することで、トレーニング曲線がより平滑になり、安定性が向上しました。
学習率 lr = 1.5e-4 の条件下で、安定性の向上により最終的な線形評価精度が 1.7 パーセントポイント向上し、73.4%に達しました。学習率が増加すると、この安定性の改善効果はさらに明確になります(それぞれ 0.4、0.6、1.7 パーセントポイントの向上)。
ランダムな重みを固定するだけでなく、著者は patch projection 層で BatchNorm や WeightNorm を使用した場合も試しましたが、安定性の改善には繋がりませんでした。結果は元の設定とほぼ同じでした。この層で勾配クリッピング(gradient clipping)を行うと、十分に小さな閾値の下で凍結と似た効果が得られることが分かりました。
本論文の ViT-B/16 では、16×16 の RGB パッチを表す 768 次元の入力を 768 次元へ投影するため、出力次元は減りません。著者はそのため、固定したランダム投影でも十分な情報を残し得ると考えています。この実験では第一層の重みを学習することが結果を得るための必須条件ではありません。第一層を固定して学習パラメータを減らすと安定性が改善したことは、最適化過程が問題に関わるという見方を支えますが、不安定性の原因を第一層だけに限定するものではありません。
この技法は不安定性を緩和することができますが、学習率が大きすぎると、全体のモデルが不安定になる可能性があるため、これは根本的に問題を解決する方法ではなく、部分的な解決策に過ぎません。
自己教師あり学習フレームワークの比較
著者は MoCo v3、SimCLR、BYOL、SwAV の 4 つのフレームワークでテストを行い、すべての実験で同じランダム投影技法を使用して公平性を確保し、学習率(lr)と重み減衰(wd)のパラメータ検索を行いました。
表の ViT-S/16 と ViT-B/16 では MoCo v3 がそれぞれ 72.5% と 76.5% で、二つの ViT 列の最高値です。R50 列は 800 エポック、ViT 列は 300 エポックの結果なので、図中の順位はこれらの設定に限られ、差をバックボーンだけに帰することはできません。
アブレーション実験
-
位置埋め込み(Position Embedding):
ここでは、sin-cos(デフォルト)、学習可能な位置埋め込み、および位置埋め込みなしの 3 つのオプションを比較しました。
sin-cos は 76.5%、学習可能な位置埋め込みは 76.1%、埋め込みなしでは 74.9% の線形精度です。この設定では明示的な位置埋め込みがなくても分類に使える表現を学べますが、標準設定より 1.6 ポイント低い値です。
-
Class Token の役割:
アブレーション実験では、
[CLS]を使用する場合と使用しない場合の比較が行われました。[CLS]を除去し、最後の層の LayerNorm(LN)を保持したままプーリングを行うと、性能が大幅に低下(69.7%);LN を除去し、グローバル平均プーリングを使用した場合、性能は 76.3%に戻りました。結果は、
[CLS]は絶対に必要ではないが、LN の使用方法が最終的な結果に顕著な影響を与えることを示しています。 -
MLP ヘッド内の BatchNorm(BN):
ViT モデル自体には BN は含まれておらず、MLP ヘッド内でのみ使用されています。
BN ありでは 76.5% でした。BN なしでは、訓練を安定させるためバッチサイズを 4096 から 2048 に小さくし、精度は 74.4%(2.1 パーセントポイント低下)でした。必要になったバッチは大きいのではなく、小さいものです。
-
予測ヘッド(Prediction Head):
MoCo v3 では、予測 MLP ヘッドがデフォルトで含まれています。アブレーション実験では、予測ヘッドを除去すると、精度は 76.5%から 75.5%に低下しました。これにより、予測ヘッドが性能を向上させるが、必須ではないことが示されました。
-
モメンタムエンコーダ(Momentum Encoder):
モメンタム係数(それぞれ 0、0.9、0.99、0.999)で比較しました。
(標準設定)が最良の 76.5%、 では 74.3% で、差は 2.2 ポイントです。後者は予測ヘッドとキー分岐の停止勾配を維持しつつ SimCLR に似た構成になるもので、SimCLR と同一ではありません。
-
トレーニング期間の影響:
300 エポックと 600 エポックのトレーニング結果を比較しました。
小型 ViT-S/16 は 300 エポックの 72.5%から 600 エポックで 73.4%に改善;ViT-B/16 は 76.5%から 76.7%にわずかに向上しました。これにより、より小さなモデルは長期間のトレーニングから顕著な改善を得られ、より大きなモデルでは増加が飽和することが示されました。
他の方法との比較
上の表は、MoCo v3 と iGPT、マスクされたパッチ予測法との比較を示しています。
表中の MoCo v3 ViT-B/L は、同じ ImageNet データで訓練した iGPT より線形評価精度が高く、パラメータ数も少ない値です。マスク付きパッチ予測の行は JFT-300M で事前訓練し、ImageNet で全体を微調整した結果なので、線形評価の行とは直接比較できません。ViT-L については MoCo v3 の線形評価 77.6% が、引用された ImageNet-1k 教師あり事前訓練の 76.53% を上回る、という範囲の比較です。
以下の図は、パラメータ数と線形評価精度の間のトレードオフ比較を示しており、大規模な ResNet モデルと自己教師ありの ViT モデルの性能を比較しています:
横軸は通常、モデルのパラメータ数(つまりモデルの規模)を示し、縦軸は線形評価精度を示します。このような表示により、モデル規模(パラメータ数)を増やすと性能がどう変化するかを直感的に見ることができます。この比較は、異なるアーキテクチャのリソース消費(パラメータ数)と最終的な性能(精度)とのバランス、および異なるモデル規模での自己教師あり学習方法の効果を理解するのに役立ちます。
図では、基礎的な ViT MoCo v3 は小さいモデル群で通常の ResNet の SimCLR v2 よりわずかに高く、大きいモデル群では近い値です。一方、SK-ResNet の SimCLR v2 や BYOL の幅広いモデルの曲線は一部でさらに高くなります。BN を加えたり /7 パッチに変えたりした ViT の別条件は、基礎的な ViT と分けて読む必要があります。手法間の点はパラメータ数や訓練条件を完全にそろえた消融ではありません。
結論
MoCo v3 は、改訂した MoCo の構成と、ViT の訓練不安定性を調べる丁寧な実験を組み合わせています。途中の kNN 曲線やパッチ投影の固定は、最終精度だけでは見えない問題を示します。
報告された条件では MoCo v3 が良い結果を得ています。ただし、常に最良の方式であることや、他のすべての方式が ViT から恩恵を受けないことの証明ではありません。この実験の細部にこそ、読む価値があります。