Align before Fuse: Vision and Language Representation Learning with Momentum Distillation
- 発表先
- NeurIPS 2021国際会議
- arXiv への初回投稿
- arXiv:2107.07651
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{multimodalityalbef2021,
title = {{Align before Fuse: Vision and Language Representation Learning with Momentum Distillation}},
author = {Junnan Li and Ramprasaath R. Selvaraju and Akhilesh Deepak Gotmare and Shafiq Joty and Caiming Xiong and Steven Hoi},
year = {2021},
eprint = {2107.07651},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2107.07651}
}
VQA をうまくこなすためには、物体検出器を使用せざるを得ない。
物体検出器を使いたくない先輩たちは、すでに道に倒れてしまった。
一つは ViLT 先輩で、物体検出器を取り外して ViT に変更したが、最終的には VQA v2 データセットの検証では特に成果を上げなかった。もう一つは MDETR 先輩で、物体検出器を Faster RCNN から DETR に変更したが、最終的に VQA v2 データセットの結果に関しても特筆すべきものはなかった。
一方で、現在非常に流行している CLIP モデル:
これらの方法は、コントラスト損失を用いて事前学習を行い、画像とテキストの表現を独立して学習することに焦点を当てている。しかし、この種の方法は、より複雑な V+L タスクにおいてモデル化能力が欠けている可能性がある。
ええ、我々は論文を見ているだけですが、どうしてこれほど多くの遺憾を見出せるのでしょうか?
問題の定義
実際には遺憾ではなく、先人たちが残した謎があってこそ、後人が論文を発表する余地が生まれる。
ALBEF の著者は、先人たちの研究を基に、現在の段階でのいくつかの問題をまとめました:
-
モーダル空間のエンコーディング問題
画像特徴とテキストエンコーディングは、いずれもベクトル形式に変換されていても、通常はそれぞれ独自のベクトル空間に存在します。これは、これらの空間がそれぞれ独自の次元、範囲、特性を持っていることを意味し、したがってこれらの独立した空間での相互作用や関連性を直接捉えるのは難しいということです。
-
物体検出器の制約
物体検出器は事前学習時にバウンディングボックスのアノテーションが必要で、これによりアノテーションのコストが増加し、推論時には高解像度の画像(例えば 600×1000)が必要となり、計算コストと複雑性が増加します。
-
データノイズの問題
現在広く使用されている画像テキストデータセットは主にインターネットから取得されており、これらのデータは多様なソースから来ているため、元々ノイズが含まれていることが多いです。事前学習モデルがこれらのデータセットを使用する際に、モデルがノイズ内の特定のテキストに過剰に適合してしまうリスクがあり、これが実世界での応用における汎化性能を低下させる可能性があります。
これらの問題を総合的に考慮して、著者は ALBEF を提案しました。このモデルは検索と推論タスクで SOTA の結果を達成し、物体検出器に依存せず、ViT を使用しています。
先輩たちの試みとは異なり、今回うまくいった理由の一つは、著者が「知識蒸留」という技術を取り入れたことです。
知識蒸留
問題の解決方法を説明する前に、「知識蒸留」について基本的な紹介を行います。
深層学習モデルが様々なタスクで卓越した成果を上げる一方で、モデルのサイズと複雑さも増加しています。しかし、大規模なモデルは多くの計算資源を必要とし、実際のアプリケーションでは特にエッジデバイスやモバイルデバイスでの利用が難しい場合があります。
知識蒸留は、深層学習における技術で、複雑で大規模なモデル(教師モデル)から、より簡単で通常は小さなモデル(学生モデル)に知識を移転することを目的としています。
ここまでは一般的な蒸留の説明です。ALBEF で使うのは、別途学習済みの大型教師ではなく、学習中のモデルの指数移動平均から得るオンライン自己蒸留です。
基本原理
-
ソフトラベル(Soft label):蒸留過程では、教師モデルの出力(通常は特定の層の活性化関数の出力や分類確率)がソフトラベルとして使用され、学生モデルの訓練に使用されます。これらのソフトラベルには教師モデルの知識が含まれており、元の「ハード」ラベルよりも多くの情報を提供します。
-
温度(Temperature):ソフトラベルを「柔らかく」するために、通常は「温度」というパラメータが使用されて確率出力を調整します。高い温度はより柔らかな確率分布を引き起こし、学生モデルが学習しやすくなります。
実施手順
-
教師モデルの訓練
教師モデルは通常、大規模で多くのパラメータを持つ深層学習モデルで、あるタスクで十分に訓練され、優れたパフォーマンスを達成します。例えば、画像分類タスクでは、教師モデルは深層の畳み込み神経ネットワーク(ResNet-152 や VGG-19 など)である可能性があります。
-
ソフトラベルの生成
教師モデルが訓練された後、その予測がソフトラベルとして使用されます。これは基本的に教師モデルの予測を目標として使用し、元のハードラベルを使用しません。
-
学生モデルの訓練
学生モデルは、教師モデルの動作を模倣することを目的としたより小さなモデルです。前のステップで生成されたソフトラベルを使用して訓練することで、学生モデルは教師モデルの意思決定プロセスを学びます。
実際の蒸留過程では、ソフトラベルと元のハードラベルを組み合わせて学生モデルを訓練することが一般的です。これにより、学生モデルは教師モデルを模倣するだけでなく、元のデータの真のラベルも考慮に入れることができます。学生モデルは通常、教師モデルよりも小さく簡単であり、推論時には速く、リソースが制限された環境に適しています。
-
拡張と変種
-
自己蒸留
この戦略では、モデルは自分の予測をソフトラベルとして使用し、再訓練を行います。これは基本的に、モデルが既に学んだ知識を強化しようとするものです。
- 利点:シンプルで低コスト:別の独立した教師モデルは必要ありません。モデルの収束を助ける:通常、モデルの収束を加速し、その精度を向上させることができます。
- 欠点:モデルは過学習しやすくなる可能性があり、自分の予測に依存し続けることが原因となります。
-
複数教師による蒸留
この戦略では、複数の教師モデルの知識を 1 つの学生モデルに蒸留します。学生モデルは、すべての教師モデルの動作を組み合わせて模倣しようとします。
- 利点:
- 豊富な知識源:複数の教師モデルからの知識が学生モデルをより堅牢で精度高くする可能性があります。
- 特定のモデルのバイアスを低減:複数の教師モデルを組み合わせることで、単一のモデルのバイアスや誤差から生じる問題を減少させることができます。
- 欠点:
- 計算コストが高い:複数の訓練済み教師モデルが必要です。
- 複雑さが増す:異なる教師モデルの出力をどのように組み合わせ、重み付けするかを決定するのは、訓練過程の複雑さを増加させる可能性があります。
- 利点:
-
オンライン蒸留
教師モデルと学生モデルは同時に訓練されます。学生モデルは教師モデルから継続的に学び、同時に両者は反復的に更新されます。
- 利点:
- リアルタイム更新:学生モデルは教師モデルの最新の知識を即座に得ることができます。
- 遅延が低い:一方のモデルの訓練が完了するのを待つ必要はなく、両者の訓練が並行して行われます。
- 欠点:
- 同期の調整が必要:学生モデルと教師モデルの同期更新が挑戦になることがあります。
- 計算コスト:両方のモデルを同時に訓練するため、計算の要求とコストが増加する可能性があります。
- 利点:
-
問題の解決
ALBEF モデル設計
知識蒸留の部分を一旦置いておき、その他の構成要素は理解しやすいと思います:
- 画像エンコーダ:12 層の Vision Transformer(ViT-B/16)を使用し、初期化には ImageNet-1k の事前学習済みの重みを使用します。
- テキストエンコーダ:6 層の Transformer Encoder を使用し、BERTbase モデルの最初の 6 層で初期化します。
- マルチモーダルエンコーダ:6 層の Transformer Encoder を使用し、BERTbase モデルの後半 6 層で初期化します。
事前学習目標
-
画像-テキスト対比学習 (ITC)
この目標は、融合前により良い単一モーダル表現を学習することを目的としており、画像とテキストのペアの類似度スコアを高めるための類似度関数を学習することです。
最初に、2 つの線形変換 (gv) と (gw) を使用して、[CLS] 埋め込みを標準化された低次元(256-d)の表現にマッピングします。次に、MoCo の設計方式を参考に、著者は 2 つのキューを使用して、モメンタム単一モーダルエンコーダから最新の M 個の画像-テキスト表現を保存します。その後、各画像とテキストの間で softmax 正規化された画像からテキストへの、そしてテキストから画像への類似度を計算します。画像-テキスト対比損失は(p)と(y)のクロスエントロピー(H)に基づいて定義されます。
-
マスク付き言語モデル (MLM)
マスク付き言語モデル (MLM) は、深層学習モデルの事前学習戦略の一つです。本論文では文字トークンの 15%を選び、BERT と同じ方式で置換または維持して、残りの文字と画像から元のトークンを予測します。上の図の右上には「MIM」と書かれていますが、原論文の目標は MLM です。
この方法は、単にテキスト内での空欄補充のゲームではありません。その背後にある考え方は、モデルにテキストの文脈を理解させるだけでなく、画像の視覚的内容とそのテキストとの関係も理解させることです。この予測タスクを最適化するようにモデルを訓練することで、モデルは画像とテキストをより深く、より細かく理解する方法を学びます。
-
画像-テキストマッチング (ITM)
画像-テキストマッチング(ITM)は、モデルがテキスト記述と画像をどのようにマッチングするかを評価するための戦略です。このタスクは、単に一致する項目を見つけることだけでなく、テキストと画像間の深い意味的関連性を評価することも含まれています。
このタスクを実行するために、モデルは入力に特殊なトークン[CLS]を使用します。このトークンの目的は、モデルに画像とテキストの統合表現を生成させることです。この統合表現は、画像とテキストが一致するかどうかを判断するための単一の視点をモデルに提供します。
ITM の難しい負例は、ITC で既に計算した類似度を再利用し、同じミニバッチ内から画像ごとに不一致のテキスト、テキストごとに不一致の画像をサンプリングします。論文の「追加計算なし」は類似度を求めるための再エンコードが不要という範囲の説明です。
モメンタム蒸留(MoD, Momentum Distillation)
先ほど多くの事前学習戦略について話しましたが、1 つの問題がまだ解決されていません:
- ノイズ。
事前学習の画像とテキストのペアはほとんどがインターネットから取得されており、これらのペアには多くのノイズが含まれており、画像とテキストの関連性が必ずしも明確ではありません。画像-テキスト対比(ITC)学習では、負の例(つまり画像と一致しないテキスト記述)と見なされるテキストが、実際にはその画像と関連がある場合があります。また、マスク付き言語モデル(MLM)では、ある単語が画像をより適切に表現できる場合でも、それが元の注釈と異なれば誤って間違ったものと見なされる可能性があります。現行の ITC および MLM はワンホットラベルを使用して、すべての負の例と見なされる予測に対してペナルティを与えており、これらの予測が実際には正しいかどうかは考慮されていません。
事前学習の画像とテキストのペアのノイズ問題を解決するために、著者は「モメンタム蒸留(Momentum Distillation)」という戦略を提案しました。この戦略の核心となる考え方は、モメンタムモデルと呼ばれる持続的に進化する「教師モデル」を使用して疑似目標(pseudo-targets)を生成し、それを基に「基礎モデル」を訓練することです。
このモメンタムモデルは、単一モーダルおよびマルチモーダルのエンコーダの指数移動平均(exponential-moving-average, EMA)バージョンで構成されており、これによりモデルは訓練データの最新の傾向に適応し、反映させることができます。
例えば、金色の砂浜が広がり、波が静かに岸辺に打ち寄せ、遠くには遊んでいる子供たちがいる写真があるとしましょう。しかし、この画像のテキスト記述は「金色の砂浜、波が岸を撫で、子供たちが楽しそうに遊んでいて、露店の店主がアイスクリームを売っている。」となっています。
これはノイズを説明するための仮想例です。MLM で元の説明文の「アイスクリーム」をマスクすると、硬いラベルではこの語だけが正解です。画像にアイスクリームが写っていなくても、別の妥当な語を予測したモデルは罰せられます。
モメンタム蒸留では、EMA 教師がマスクされた位置に与える語彙の確率分布を元の硬いラベルと混ぜます。教師が他の語も妥当だと判断すれば、学生は「アイスクリーム」だけに確率を集める必要がありません。
この戦略は訓練目標を柔らかくしますが、ノイズの影響が減るかどうかは実験結果で確かめる必要があります。
具体的には、ITC でモメンタム単一モーダルエンコーダの類似度から双方向の柔らかい疑似目標を生成します。ITC MoD の損失は、重み で元の硬いラベルの交差エントロピーを残し、 で教師分布と学生予測の KL ダイバージェンスを加えます。
マスク付き言語モデル(MLM)については、元の MLM 損失に加えて、モデルの予測確率と疑似目標との間の KL ダイバージェンスも考慮されます。最終的に、この戦略は下流のタスクにも拡張され、各タスクの損失は元のタスク損失と KL ダイバージェンスの加重組み合わせとなります。
データセット
- ネットワークデータセット:本研究では、2 つの主要なネットワークデータセットである Conceptual Captions と SBU Captions を使用しました。
- ドメイン内データセット:さらに、2 つのドメイン内データセット、COCO と Visual Genome も使用しました。
- すべてのデータセットにおいて、収集されたユニークな画像の総数は 4.0M で、画像-テキストペアの数は 5.1M でした。
- また、この方法がより大規模でノイズを多く含むネットワークデータに適応できるかを検証するために、Conceptual 12M データセットも含まれており、これにより画像の総数は 14.1M に増加しました。
技術的詳細
- モデル構造:このモデルは、BERTbase(123.7M パラメータ)と ViT-B/16(85.8M パラメータ)で構成されています。
- ハードウェア構成:訓練過程では、8 台の NVIDIA A100 GPU を使用しました。
- 訓練詳細:バッチサイズ 512 で、合計 30 エポックの事前学習を行いました。
- オプティマイザー:AdamW を使用し、重みの減衰率は 0.02 に設定しました。
- 学習率戦略:最初の 1000 イテレーションで学習率を 0 から 1e-4 にウォームアップし、その後、余弦スケジュールに従って 1e-5 に減衰しました。
- 画像処理:事前学習中は、解像度 256×256 のランダムクロップを使用し、RandAugment を適用しました。微調整時には、画像解像度を 384×384 に引き上げました。
- その他のパラメータ:モメンタムモデルの更新モメンタムパラメータは 0.995 で、画像-テキスト対比学習のキューサイズは 65,536 に設定され、最初のエポックでは蒸留重み α が 0 から 0.4 に線形に増加しました。
討論
知識蒸留の貢献はどれくらいか
本論文の主な焦点は知識蒸留であるため、まずはここで関連するデータを見ていきましょう。
結果から以下の点が観察できます:
- 画像-テキスト対比学習の向上:4M 画像の事前学習では、MLM+ITM に ITC を加えると、表に載る五つの下流指標がいずれも上がりました。
- ハードネガティブマイニングの効果:ITC+MLM+ITM にバッチ内の難しい負例を加えると、表の五つの指標がさらに上がりました。
- モメンタム蒸留の貢献:まず ITC に MoD を加えた段階では、NLVR² が 80.35 から 80.34 へわずかに下がり、他の四つは上がりました。MLM と下流タスクにも蒸留を加えた最終行は、前の行より五つとも高くなります。
- ノイズの多いネットワークデータへの対応:14M 版でウェブ上の画像・テキストを増やすとスコアは上がりますが、この表だけでは MoD のノイズ耐性を独立に測れません。
総じて、この消融は ITC、難しい負例、完全な MoD 設定の効果を支持します。ノイズに関する解釈は、ここで比較した条件に限られます。
CLIP との比較
Flickr30K のゼロショット検索表では、4M 版 ALBEF の TR@1/IR@1 は 90.5/76.8 で、CLIP と ALIGN を上回ります。14M 版では 94.1/82.8 に上がります。ただし、TR@10 の 99.7 は ALIGN と同点です。さらに大きいデータでの向上は、まだ実測ではありません。
各種 V+L の結果
他の V+L 理解タスクの比較において、上表は ALBEF の優れた性能を示しています。わずか 4M の事前学習画像を使用するだけで、ALBEF はすでに最先端の性能を達成しています。14M の事前学習画像を使用すると、その性能は他の方法を大きく上回り、OSCAR のような物体ラベルを使用した方法や、対抗的データ拡張を行った VALLA よりも優れた結果を示しました。
VILLA と比べると、14M 版 ALBEF は VQA test-std、NLVR² test-P、SNLI-VE test でそれぞれ 2.37、3.84、1.88 ポイント高い結果です。論文では NLVR² の推論も VILLA より 10 倍以上速いと報告していますが、掲載した表は精度のみを示します。
可視化結果
上の図は COCO の説明文に含まれる各語に対応する Grad-CAM のヒートマップで、物体・属性・関係の付近に反応が見られます。RefCOCO+ の成績表そのものではありません。論文の別の Table 5 では弱教師ありの位置推定を比較し、ALBEF_itm の Val/TestA/TestB は 58.46/65.89/46.25 です。ここでは 2 つの ALBEF の可視化方法が使われています:
- ALBEF_itc:画像エンコーダの最後の層の自己注意マップを Grad-CAM を使って可視化し、画像とテキストの類似度を最大化することで勾配を得ます。
- ALBEF_itm:マルチモーダルエンコーダの第 3 層の交差注意マップを Grad-CAM で可視化します。論文ではこの層が grounding により特化していると説明し、勾配は画像とテキストのマッチングスコアから得ます。
結論
「知識蒸留」技術の制限の 1 つは、「学生モデル」の性能が「教師モデル」に依存しうることです。一般的な蒸留では、より良い教師モデルを探すことが鍵になる場合があります。ただし ALBEF の教師は別途学習済みの大型モデルではなく、学生モデルの重みの移動平均です。これは重要なテーマですが、今回は深く議論することはありません。
明らかに ALBEF の著者は「知識蒸留」に対して深い理解を持っており、最初に次のことを明確に述べています:
- 知識蒸留はノイズを排除するための手段です。
その背後にある狙いは、疑似目標によってノイズの影響を減らすことです。モデルがノイズを完全に排除して正しい情報だけを吸収するという保証はありません。
これは非常に理想的な仮定ですが、ノイズ除去の観点から見ると、知識蒸留は強力な戦略である一方で、多くの課題も伴います。例えば、ノイズとは何かを定義すること、元のモデルへの過度の依存、蒸留プロセスのブラックボックス的な特性、および過度の最適化の潜在的な危険性などです。
ALBEF は多くの視覚言語(V+L)タスクで卓越した成果を示し、迅速かつ効率的な推論を提供するだけでなく、この分野における巨大な潜力を強調しています。これは将来の研究に新たな方向性を示唆しており、例えば、知識蒸留をどのように活用してモデルの汎化性能を向上させるか、教師モデルと学生モデル間のギャップをさらに縮小する方法についての研究が必要です。