ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks
- 発表先
- NeurIPS 2019国際会議
- arXiv への初回投稿
- arXiv:1908.02265
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{multimodalityvilbert2019,
title = {{ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks}},
author = {Jiasen Lu and Dhruv Batra and Devi Parikh and Stefan Lee},
year = {2019},
eprint = {1908.02265},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1908.02265}
}
学術界では毎年多くのことが起こりますが、2019 年は特に多く、まだ終わっていません。
問題の定義
現在の方法の多くは「視覚と言語モデルを別々に訓練し、その後で統合しようとする」方法です。
このアプローチは、視覚と言語のデータが限られているか偏っている場合、モデルの汎用性が低くなるため、理想的な結果をもたらしません。モデルは画像内の物体を認識したり、言語を理解することはできますが、それらをどのように結びつけるかが大きな課題です。
著者は、画像と言語を同時に学習し、それらの関連性をより密接に結びつける新しい学習方法を提案したいと考えています。
解決方法
モデルアーキテクチャ
BERT からのインスピレーションを受け、著者はペアデータから言語と視覚の内容を結びつけた表現を学習するようなモデルを開発したいと考えました。
元の BERT に入るのは言語だけです。では、ここに画像の特徴も加えられないでしょうか?著者は画像を文字 token の代わりにするのではなく、画像と言語を別々の流れで処理し、両者の関係を学習させました。
上の図のように、著者は二重流のアーキテクチャを提案しました。1 つの流れは視覚用に設計され、もう 1 つは言語用に設計されています。これらの二つの流れは、クロスアテンション機構を通じて相互作用し、二つのモダリティのネットワーク深度を変化させ、異なる深度でクロスモーダルな接続を実現します。
ここでの画像入力は、事前学習された物体検出器から抽出されたバウンディングボックスと視覚特徴を使用し、これを視覚位置エンコーディングと組み合わせます。
事前学習タスク
上の図のように、著者は 2 つの主要な事前学習タスクを提案しました:それぞれ、マスク付きマルチモーダルモデリングとマルチモーダルアライメント予測です。
- マスク付きマルチモーダルモデリング:隠した文字 token を予測します。画像側は検出器のカテゴリ分布を目標に KL ダイバージェンスで学習します。
- マルチモーダルアライメント予測は、モデルに画像と言語が一致しているかどうかを判定させます。つまり、テキストが画像を正しく説明しているかどうかを確認します。
Conceptual Captions はウェブから自動収集された画像・キャプション約 330 万組を含みます。ただし一部の画像リンクは取得時に失効しており、論文で実際に学習に使えたのは約 310 万組です。キャプションにはノイズや説明不足もありますが、視覚内容は多様です。
実験設定の詳細は次の通りです:
- 言語モデルは BERT-BASE で初期化され、このモデルは BookCorpus と英語の Wikipedia で事前学習されています。
- 視覚特徴は事前学習された Faster R-CNN を使用します。
- 画像側の Transformer と共同注意ブロックは、1024 次元の隠れ状態と8 個の注意ヘッドを使います。
- モデル全体は 8 台の TitanX GPU 上で 10 エポックの訓練が行われました。
討論
ViLBERT の効果は?
上表を参照すると、ViLBERT モデルはさまざまな視覚言語タスクにおいて優れた性能を示しました:
ViLBERT と単一ストリームの両方で、Conceptual Captions による事前学習の有無を比較します。† はこの段階を省く設定で、BERT と検出器の事前学習済み重みは引き続き使います。
ViLBERT と ViLBERT†を比べると、VQA test-dev は 68.93 から 70.55、RefCOCO+ val は 68.61 から 72.34、画像検索 R@1 は 45.50 から 58.20 へ上がります。差はそれぞれ 1.62、3.73、12.70 ポイントです。単一ストリームでも、事前学習後に改善が見られます。
ViLBERT を微調整すると、表に載る先行手法に対して四つのタスクで競争力のある結果が得られました。VCR、RefCOCO+、画像検索では、選ぶ指標と比較先によって約 7~11 ポイント先行する列もあります。タスクへの適用は比較的簡単で、通常は分類層を追加してモデル全体を微調整します。
モデルの深さが性能に与える影響は?
上表のように、著者は ViLBERT の視覚モデルの深さが性能に与える影響を探りました。
- VQA:test-dev は 2 層の 69.92 から 6 層の 70.55 へ上がり、8 層では 70.47 に少し下がります。
- 画像検索:微調整後の R@1 は 6 層で 58.20、8 層で 58.78 です。
- ゼロショット画像検索:R@1 は 2 層の 26.14 から 8 層の 32.80 に上がります。ただし R@5 と R@10 は 4 層で一度下がる。
- VCR と RefCOCO+:最良の深さは指標で異なります。RefCOCO+ の val は 6 層の 72.34、testA は 2 層の 78.61、testB は 4 層の 63.14 が最高です。
事前学習データセットの影響は?
表にある Conceptual Captions の 0%、25%、50%、100% の比較では、使用するデータが増えるにつれて、列挙されたタスク指標が単調に改善しました。
同じデータ源と実験手順では、ペア数を増やす効果が見られました。
さらに、これも ViLBERT モデルが事前学習の際により大きなデータセットから利益を得る可能性があることを示しており、これは今後の研究や応用においてモデルの性能を最適化し、向上させるための方向性となるかもしれません。
結論
初期のマルチモーダル研究において、二重流アーキテクチャの設計は重要な突破口となり、画像と言語の間の微細な関連を観察し学習するための詳細な視点を提供しました。
ViLBERT の提案は、この分野の一つの節目と言えるでしょう。画像と言葉を深く結びつけることを試み、複数の視覚言語タスクでよい結果を残しました。二つの流れを事前学習して転用した点に、この研究の価値があります。