VL-BERT: Pre-training of Generic Visual-Linguistic Representations
- 発表先
- ICLR 2020国際会議
- arXiv への初回投稿
- arXiv:1908.08530
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{multimodalityvlbert2019,
title = {{VL-BERT: Pre-training of Generic Visual-Linguistic Representations}},
author = {Weijie Su and Xizhou Zhu and Yue Cao and Bin Li and Lewei Lu and Furu Wei and Jifeng Dai},
year = {2019},
eprint = {1908.08530},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1908.08530}
}
以前、VisualBERT について触れましたが、これは One-Tower Encoder のアーキテクチャにあたります。視覚情報を使った単語予測と画像・文の対応判定を行いますが、マスクした画像領域の分類は行いません。
また、ViLBERT についても触れましたが、これは Two-Tower Encoder のアーキテクチャであり、テキストと画像にはそれぞれ専用の Encoder が用意され、クロスアテンション機構によってお互いの情報を交換しますが、少し複雑です。
- ええ、待って!One-Tower、Two-Tower って何?
この用語についてはこれまで特に触れていませんでした。主に意味があまりないため、わざわざ使う必要はないからです。しかし、今や異なるアーキテクチャを比較する必要が出てきたので、ちょうど説明する良い機会です。
視覚と言語のマルチモーダル学習モデルを議論するとき、よく One-Tower と Two-Tower という二つの主要なアーキテクチャに出会います(実際にはこれだけでなく、後でまた出てきます)。
これらの二つのアーキテクチャは、異なるモダリティの情報をどのように統合し、相互作用させるかを説明しています。
-
Single-Tower Architecture (One-Tower)
このアーキテクチャでは、視覚とテキストの入力表現を一つにつなぎ、単一の Transformer エンコーダで処理します。
視覚とテキストのトークンが一つの系列に入り、互いに自由に注意を向けられるのが利点です。ただし、パラメータ数は層の深さや幅などにも左右されます。
一般的なモデルには、ViLT、VL-BERT、UNITER、OSCAR などがあります。これらの多くのモデルは、VisualBERT や VL-BERT のように、BERT モデルを基にしています。
-
Two-Tower Architecture (Dual-Tower)
このアーキテクチャでは、視覚とテキストの入力を直接接続することはなく、それぞれのモダリティに対して個別の Transformer スタックでエンコードします。その後、これらのモダリティ間の相互作用はクロスアテンション機構を通じて実現されます。
各モダリティに専用のエンコーダがあり、クロスアテンションで情報を交換するため、相互作用の位置が分かりやすい構造です。
一般的なモデルには、ViLBERT、LXMERT、BridgeTower などがあります。
問題の定義
これら二つの異なるアーキテクチャに直面すると、混乱することがあります。
One-Tower と Two-Tower では情報を融合する方法が異なります。VL-BERT の著者は、視覚と言語が早い段階から自由に相互作用できる単一のエンコーダに注目しました。
著者は、特定のタスクだけに閉じない、汎用的な視覚と言語の表現を作ろうとしています。VQA、視覚的常識推論、参照表現理解などで同じ骨幹を使い、それぞれのタスクに合わせて微調整します。
問題の解決
モデルアーキテクチャ
BERT からのインスピレーションを受けて、VL-BERT モデルの基本は元の BERT アーキテクチャであり、これは多層の双方向 Transformer エンコーダに基づいています。この設計により、モデルはすべての入力要素間の依存関係を捉えることができます。
視覚と言語の入力を同時に受け取るために、モデルの入力は特殊な[CLS]トークンから始まり、その後に言語要素、視覚要素が続き、最後に[END]トークンで終了します。言語と視覚の情報を明確に区別するために、ここでは言語要素と視覚要素の間に[SEP]トークンが挿入されています。
VL-BERT の各入力要素のエンコードされた特徴は、4 種類のエンコードタイプで構成されています:トークンエンコード、視覚特徴エンコード、セグメントエンコード、シーケンス位置エンコード。中でも、視覚特徴エンコードは視覚的手がかりを捉えるために特別に導入されていますが、他の 3 つのエンコードタイプは元の BERT 設計に基づいています。
視覚特徴エンコードには、画像領域の外観と幾何学的位置が含まれます。Faster R-CNN が領域候補を提供し、Fast R-CNN が RoI の外観特徴を抽出します。文字など画像領域でない入力要素には、画像全体の外観特徴を使います。
事前学習メカニズム
上の図は VCR、VQA、RefCOCO+ の下流タスクへの微調整時の入出力を示したもので、事前学習の流れではありません。事前学習には Conceptual Captions の画像と文に加え、BooksCorpus と Wikipedia の文章も使います。著者は次の二つのタスクで視覚と言語の関係を学習させました。
- タスク#1:視覚的手がかりを用いたマスク言語モデル。これは BERT の MLM を画像にも拡張したものです。例えば、「小犬が [MASK] で遊んでいる」という文と水遊びする小犬の画像から、隠された語「プール」を予測します。
- タスク#2:言語的手がかりを用いたマスク RoI 分類。約 15% の RoI を選び、Fast R-CNN に渡す前に、その領域の元画像の画素をゼロにします。構成図では子猫の領域を隠し、「kitten drinking from bottle」という文から物体のクラス「猫」を予測します。正解ラベルは事前学習済みの検出器から得られます。
討論
他のモデルとの比較
使用されたデータセットは VQA v2.0 で、COCO 画像セットに基づいています。このデータセットには、訓練セット、検証セット、テストセットが含まれ、それぞれ 83k、41k、81k の画像と、444k、214k、448k の質問があります。
VQA test-dev では、VL-BERT-BASE はマルチモーダル事前学習前の 69.58% から 71.16% へ、約 1.6 ポイント高くなりました。BUTD(このタスク向けの有名なモデル)の 65.32% より 5.84 ポイント高い結果です。VL-BERT-LARGE は 71.79% で、ViLBERT や VisualBERT より高く、LXMERT の 72.42% より低い値でした。ただし、LXMERT はより大きな画像 QA データセットで事前学習しています。
この実験は、特に視覚的質問応答タスクにおいて、事前学習の重要性を確認しました。VL-BERT の訓練データセットは LXMERT ほど豊富ではありませんが、それでも最先端のモデルと同等の性能を示しました。
モデルは自然言語を理解できるか?
この質問に答えるために、著者は RefCOCO+データセットを選びました。
RefCOCO+ は、参照表現理解のためのデータセットです。画像と一つの記述(通常は自然言語での記述)が与えられ、システムはその記述が指す特定の物体を画像内で見つける必要があります。
実験結果は、事前学習された VL-BERT が参照表現の理解でも性能を上げることを示しました。検出領域を使う val 列では、VL-BERT-BASE は 66.03% から 71.60% に上がっています。表には真の領域を使う結果もありますが、条件が違うため混ぜて比較できません。
MAttNet のような他の有名なモデルと比較しても、VL-BERT はタスク専用の追加モジュールなしで良好な結果を示しています。同じ検出領域の条件では、VL-BERT-LARGE と ViLBERT の val/testA は近く、testB では VL-BERT が少し低い値です。
アブレーション実験
著者はさまざまな実験を行い、モデルのパフォーマンスに対する異なる設計選択の影響をテストしました。この表は VL-BERT-BASE の結果で、微調整の epoch 数は主な実験の半分です。
-
事前学習の重要性
「マルチモーダル事前学習なし」と完全な設定を比べると、VCR、VQA、RefCOCO+ のいずれも表の数値が上がります。「事前学習なし」でも BERT と視覚検出器の事前学習済み重みは使っています。
-
タスク特有の利益
異なる事前学習タスクが異なる下流タスクに異なる影響を与えます。例えば、(a) のマスク言語モデルにマスク RoI 分類を加えると、RefCOCO+ は 69.1% から 70.7% に上がりますが、VCR と VQA はほぼ変わりません。
-
文-画像関係の影響
(b) に文と画像の関係予測を加えた (c) では、VCR、VQA、RefCOCO+ の数値がすべて下がりました。著者は、対応しない画像と文を負例にすることが他の学習を妨げた可能性を挙げています。これはこの実験での観察です。
-
純テキストコーパスの追加
(b) から (d) に純粋なテキストコーパスを加えると、VCR の二つの数値は上がりますが、VQA の 71.1% と RefCOCO+ の 70.7% は変わりません。著者は、長く複雑な文を扱う VCR に役立つと考えています。
-
エンドツーエンドの訓練
視覚特徴を生成する Fast R-CNN 部分を含むネットワーク全体をエンドツーエンドで微調整することで、全ての下流タスクの性能をさらに向上させることができました。これにより、視覚と言語部分の統合と調整の重要性が強調されました。
実験結果に基づき、著者は VL-BERT モデルの最も重要な設計はその事前学習戦略であると考えています。これにより、特定のタスクでの性能が向上するだけでなく、複数の下流タスクにおいて優れた汎化能力を示しました。また、モデルの設計は異なる事前学習タスクが下流性能に与える影響を考慮しており、エンドツーエンドの訓練を通じてその性能をさらに最適化しています。
結論
VL-BERT の最大の強みは、Transformer ベースのアーキテクチャを採用し、特定のタスク向けの場当たり的なモジュールを避けることで、シンプルかつ効率的な結果を得られる点です。大規模な Conceptual Captions データセットや純テキストコーパスを使った事前学習は、視覚と言語の手がかりを対応づける能力を高めました。
著者は、さらに多くの事前学習タスクを探求することで、今後の研究者に対する研究の方向性を提供しています。