Pixel-BERT: Aligning Image Pixels with Text by Deep Multi-Modal Transformers
- 発表先
- 正式な発表先は未確認
- arXiv への初回投稿
- arXiv:2004.00849
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{multimodalitypixelbert2020,
title = {{Pixel-BERT: Aligning Image Pixels with Text by Deep Multi-Modal Transformers}},
author = {Zhicheng Huang and Zhaoyang Zeng and Bei Liu and Dongmei Fu and Jianlong Fu},
year = {2020},
eprint = {2004.00849},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2004.00849}
}
これまで、視覚と言語モデルの統合について話す際、多くの研究者は以下の標準的なプロセスを採用してきました:
- まず、Faster R-CNN のような物体検出モデルを使用して画像から領域特徴を抽出します。
- 次に、言語モデルを組み合わせてクロスモーダル学習を行います。
- 最後に、クロスモーダル学習の設計方法について探求を始めます。
では……
なぜ「物体検出モデル」を画像のエンコードプロセスの最初に組み込むことが決まっているのでしょうか?
おそらく、誰も決めたわけではなく、知らず知らずのうちに皆がそうしてきたのです。
もしあなたが研究者であれば、理解できるでしょう:研究論文を発表する比較的簡単な方法の一つは、先人の足跡に従って改良を加え、パフォーマンスを 1 ~ 3%向上させることができれば、それが優れた論文となるのです。
このような状況は、革新的な方法が提案されたり、評価データセットの効果が飽和したりするまでは続き、その後、次の進化が始まります。
おそらく数年後、新しい世代の研究者たちはこう疑問を抱くでしょう:なぜ「昔」の人々はあんなに Transformer を使うことが好きだったのでしょうか?
本論文の著者は、物体検出モデルの設計が最初から誤っていた可能性があると考えています。
物体検出モデルは通常、特定の視覚タスクに合わせて設計されるため、特に物体検出モデルの視覚表現能力が特定のタスクのカテゴリに制限されている場合、言語理解と一致しないバイアスを引き起こす可能性があります。
Pixel-BERT は新たな視点を提供します。従来の事前学習された物体検出モデルに依存するのではなく、画像のピクセルから直接視覚的なエンコードを学習します。これにより、モデルは「ピクセルレベル」で視覚情報を直接捉えることができ、形状、テクスチャ、空間的関係など、物体検出モデルでは失われる可能性のある情報を保持します。そして、言語エンコード部分と組み合わせることで、このモデルは視覚と言語の微妙な相互作用を効果的に捉え、より豊かで詳細なクロスモーダル表現を学習することができます。
定義問題
著者は本論文で以下の問題を観察し、定義しました:
-
クロスモーダル意味ギャップ
現在のクロスモーダル学習(特に視覚と言語の間)は、両者の意味ギャップという課題に直面しています。
-
視覚特徴の限界
従来の手法は、物体検出モデルから抽出された特徴など、領域ベースの視覚特徴を使用する傾向があります。しかし、これらの領域ベースの特徴抽出器は、特定の視覚タスクのために設計されているため、言語理解との間に情報ギャップが生じます。例えば、物体の形状、重なり合う物体間の空間的関係、物体の状態などの重要な視覚情報が失われる可能性があります。
-
既存の視覚特徴の限界
現在使用されている領域ベースの視覚特徴は、視覚的意味の表現において限界があります。例えば、物体検出モデルは、シーンや感情など、より広範な視覚的意味情報を捉えることができない場合があります。
問題解決
Pixel-BERT モデル設計
初期の視覚と言語の統合モデルでは、物体検出モデル(例えば、Faster R-CNN)を使用して画像から領域特徴を抽出することが一般的でした。検出器は画像内の物体候補をバウンディングボックスで捉え、そこから学習済みの領域特徴を抽出して、後続のモデルに渡します。
しかし、この方法には限界があります:
- 情報の損失:バウンディングボックスには、無関係な背景が含まれることがあり、重要な物体の部分が無視される可能性があるため、情報が損なわれます。
- 特定タスクの制限:これらの物体検出モデルは特定の視覚タスクのために設計されており、他のクロスモーダルタスクには適さない可能性があります。
ピクセル特徴のエンコード
上述の制限を克服するために、Pixel-BERT は異なるアプローチを採用しています。物体のバウンディングボックスに依存するのではなく、画像全体を CNN に通して視覚特徴を学習します。Transformer に渡す「ピクセル」はダウンサンプリングされた特徴マップ上の位置を指します。CNN 主幹は ImageNet の事前学習済み重みから初期化します。
- ピクセル学習:ResNet のような CNN を使用して、画像全体から特徴マップを学習します。物体のバウンディングボックスだけに入力を限定しません。
- 特徴抽出:
- Image 入力:入力された画像はまずモデルに送られます。
- CNN Backbone:これは、入力画像から視覚的特徴を抽出するための事前学習済みのニューラルネットワークです。
- Convolution (Conv):畳み込み層を通じて特徴をさらに処理します。
- Pooling:2×2 の max pooling などで特徴マップの空間サイズを下げます。論文設定では、元画像の縦横に対して約 64 分の 1 になります。
- Random Sample:事前学習中は特徴マップ上の 100 個の位置をランダムに選んで Transformer に渡し、入力列を短くします。
- 意味エンコード:各ピクセル特徴には、意味エンコードベクトル sv が追加されます。これは、視覚的エンコードと語彙的エンコードの違いを区別するための特別なベクトルです。すべてのピクセル特徴がこの同じ sv を共有しているため、これは CNN のバックボーンに加えられるバイアス項として捉えることができます。(上図の Semantic Embedding 部分)
句子特徴のエンコード
モデルは BERT のアプローチを使用して、文の言語情報をエンコードします。
-
文の分割
まず、文が入力として与えられ、単語のシーケンスに分割されます。これは自然言語処理における標準的なステップであり、文を構成する語彙要素に分割します。
-
単語トークン化
各単語は、BERT で一般的に使用されるトークン化方法である WordPiece モデルを使ってトークン化されます。このトークン化方法は、単語をより小さな認識可能な断片やサブワードに分解でき、特に稀な単語やコーパスに現れない単語の処理に有用です。
-
エンコード行列変換
次に、各トークン(またはサブワード)はベクトルにエンコードされます。これはエンコード行列を通じて行われ、各ユニークなトークンやサブワードを固定次元のベクトル空間にマッピングします。
-
位置エンコード
語彙エンコードに加えて、位置情報も非常に重要です。特に Transformer のようなモデルにおいては、位置エンコードが各トークンの位置情報をエンコードするために追加されます。BERT と同様に、Pixel-BERT も位置エンコードを追加しています。
-
組み合わせたエンコード特徴
このステップでは、語彙エンコードと位置エンコードが組み合わされます。論文では と表します。 は単語、 は位置の埋め込みで、すべてのテキスト位置に共通する は位置埋め込みに吸収できるため、実装では独立した項を省きます。
-
最終的な言語表現:
組み合わせた token 表現列を、後続のクロスモーダル Transformer に渡します。ここではまだ Transformer による文脈化後の最終表現ではありません。
クロスモーダル学習
モデルは Transformer を使用して、特に画像特徴マップの位置と言語 token 間のクロスモーダルアテンションを学習します。すべてのエンコードされた特徴は一緒に組み合わされ、長い入力シーケンスを形成し、[CLS] や [SEP] のような特殊な token がその構造を識別します。この設計では、クロスモーダルの損失から CNN 主幹まで勾配を戻して学習できます。
事前学習方法
著者は、視覚と言語に関連するタスクのために一般的な視覚と文の表現を学習するために、大規模な統合データセットで事前学習を行う自己監督法を採用しました。
-
マスク言語モデル (MLM)
マスク言語モデリングでは、言語 token の約 15% がランダムに選ばれ、マスクされます。マスクの意図は、その token の元の値を隠すことです。モデルは、他の非マスクの言語 token と CNN 由来の視覚 token を使い、隠された単語を予測します。元画像の画素を復元する課題ではありません。
従来の BERT モデルは単一モーダルであり、言語トークンの中でマスク予測を行いますが、Pixel-BERT はそのクロスモーダル性により、言語モーダルだけでなく、視覚トークンを利用して予測を行うことができます。これにより、Pixel-BERT は、単に言語コンテキストからは説明が難しい、または曖昧な状況を扱う際に、より強力な予測能力を発揮します。例えば、言語の中のマスクされたトークンが画像の特定の物体やシーンに関連している場合、視覚トークンが重要なコンテキスト情報を提供し、モデルが正しい予測をする手助けになります。
-
画像とテキストのマッチング (ITM)
画像とテキストのマッチング(ITM)は、モデルが画像とそれに対応するテキスト記述の間の深い意味的関連を理解する能力を評価するために設計された複雑な戦略です。これは単に直接的なマッチングを探すのではなく、両者間の微細な接続を確認することが重要です。
Pixel-BERT モデルでは、このタスクに [CLS] token が使用され、画像とテキストの融合表現を得ます。例えば、「春の桜の木の下」という記述と桜が満開の公園の画像は、対応する正例になります。[CLS] 表現に二値分類器を適用し、一致するペアのスコアを高く学習します。これが学習目標です。
しかし、モデルの識別能力を向上させるために、訓練中には「ネガティブペア」も導入され、これは画像とテキストが関連しないペアです。例えば、「春の桜の木の下」というテキストの記述と、砂漠の風景を示す画像がペアにされることがあります。この設計は、モデルが画像とテキストが一致しない場合を学習するためです。正のペアと負のペアの訓練組み合わせを通じて、モデルは実際のアプリケーションでの画像とテキストの一致度をより正確に評価できるようになります。
-
ピクセルランダムサンプリング (Pixel Random Sampling)
これは Pixel-BERT で採用された独自の戦略であり、主に特徴学習時のモデルの堅牢性を高め、モデルが各ピクセルに過度に依存することを防ぎ、過学習のリスクを減らすことを目的としています。
事前学習中は、CNN で画像全体から特徴マップを抽出した後、その位置ベクトルから毎回 100 個をランダムに選んで Transformer に渡します。変わるのは Transformer に入る視覚 token であり、CNN に渡す前に元画像の画素を間引くのではありません。
これにはいくつかの利点があります:
- 堅牢性の強化:毎回異なる位置を選ぶことで、部分的な視覚入力から意味を学ぶよう促します。
- 効率の向上:Transformer に渡す視覚 token を減らし、その部分の計算量を抑えます。
- 過学習の防止:視覚入力の組み合わせを変えることで、特定の位置だけへの依存を減らすことを狙います。
注意すべき点は、このランダムサンプリングが事前学習段階だけで使用されることです。微調整とテストでは CNN 特徴マップの全位置を使います。短い微調整中に情報が欠けることを避け、下流タスクの訓練とテストの入力を一致させるためです。
討論
VQA の表現
- ResNet-50 を視覚バックボーンとして使用した Pixel-BERT は、VQA の test-dev/test-std で 71.35/71.42 を達成しました。表中の ViLBERT(70.55)や VisualBERT(70.80)の test-dev より高い一方、VL-BERT(71.79)や LXMERT(72.42)より低い結果です。
- ResNeXt-152 をバックボーンとして使用した場合、test-dev/test-std は 74.45/74.55 となり、論文掲載時の比較対象を上回ります。バックボーンや画像解像度などの条件も異なります。
- 表に載る UNITER の test-std は 72.46 です。本文で引用する 73.40 は別の UNITER-large の結果であり、同じ表の値として扱いません。
これらの結果は、CNN 特徴マップの位置と言語 token を共同で学習する設計を支持しています。ただし、視覚バックボーンと事前学習条件の違いも考慮して読む必要があります。
NLVR2 の表現
実世界の視覚推論自然言語(NLVR2)タスクでは、言語記述が提供された画像ペアと一致するかどうかを予測することを目的としています。Pixel-BERT は、2 つの画像と言語ペアを入力として、[CLS] トークンから 2 つのエンコードベクトルを取得します。これらのベクトルは連結され、交差エントロピー損失を通じて「真」または「偽」の分類器を学習します。
Pixel-BERT(ResNeXt-152)は、NLVR2 の dev/test-P で 76.5/77.2 の精度を達成しました。表中の LXMERT と UNITER の「Pair」設定より高い一方、UNITER の「Pair-biattn」の 77.1/77.9 より低くなります。
Pixel-BERT は、VQA に加えて、2 つの画像と言語記述の関係を評価する NLVR2 にも適用できることを示しています。
画像-テキスト検索
この図は Flickr30K の 1K テストセットの結果です。MS-COCO の結果は論文の別表で、両者を混ぜずに見ていきます。また、検索の微調整では Transformer のパラメータだけを更新します。
- 図の Flickr30K では、ResNeXt-152 版の画像→テキスト検索(TR)R@1 が 87.0 で、Unicoder-VL の 86.2 と UNITER の 84.7 より高くなります。テキスト→画像検索(IR)R@1 は 71.5 で、両モデルと同じです。
- 別表の MS-COCO では、ResNeXt-152 版の TR R@1 は 1K/5K で 84.9/63.6、IR R@1 は 71.6/50.1 です。本文の 0.6、0.3、1.9、1.7 ポイントの差は、検索方向とテスト分割ごとに異なる比較対象との値です。
Pixel-BERT は画像テキスト検索タスクでも良い結果を示しました。とくに MS-COCO のテキスト→画像の R@1 では比較対象を上回ります。ただし、各モデルの視覚バックボーンや訓練設定まで同じではありません。
モデルの重要な設計は何か?
著者は、Pixel-BERT の有効性と卓越したパフォーマンスの一因として、いくつかの重要な設計を分析しました:
-
事前学習タスクの選択
事前学習なしの第 1 行と比べると、MLM のみの第 3 行では VQA が 63.50 から 71.13、NLVR2 が 52.0 から 70.9 に上がります。ITM のみの第 2 行では検索スコアが上がる一方、NLVR2 は 52.0 から 51.9 にわずかに下がります。
-
異なる事前学習タスクの組み合わせ
MLM と ITM を組み合わせた設定では、多くの下流指標で良い結果が得られます。
-
ランダムピクセルサンプリング
これは頑健性を高め、過学習を抑える狙いの設計です。同じ ResNet-50 と MLM+ITM の第 4/5 行を比べると、事前学習中のランダム抽出により、VQA は 70.84→71.35、TR は 72.0→75.7、IR は 57.7→59.8、NLVR2 は 71.3→71.7 です。
-
視覚バックボーンの選択
モデルのパフォーマンスは、選択した視覚バックボーンにも依存しています。強力な ResNeXt-152 を視覚バックボーンとして使用した場合、モデルのパフォーマンスは顕著に向上し、Pixel-BERT モデルと強力な視覚バックボーンの組み合わせ能力を示しています。
結論
最後に、著者はモデルの可視化結果を提供しました。上図の注意マップでは、単語が画像のどの位置に注目するかを見ることができます。画像とテキストを結び付けるモデルの振る舞いを示す定性的な例です。
最近の研究開発では、事前学習モデルが視覚と言語領域で注目すべき効果を上げています。領域ベースの視覚表現による制約を解決するために、著者は CNN ベースの視覚エンコーダーを導入し、それをマルチモーダル Transformer と巧妙に組み合わせて Pixel-BERT モデルを作成しました。
Pixel-BERT は、CNN 特徴マップの位置とテキストの関連を探り、視覚言語エンコーディングの可能性を示しました。ランダムサンプリングなどの学習戦略も、モデルの結果に寄与しています。Visual Genome や MSCOCO などのデータセットで事前学習し、著者は今後さらに多くのデータセットや自己教師ありの視覚タスクを検討しています。