MDETR - Modulated Detection for End-to-End Multi-Modal Understanding
- 発表先
- ICCV 2021国際会議
- arXiv への初回投稿
- arXiv:2104.12763
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{multimodalitymdetr2021,
title = {{MDETR - Modulated Detection for End-to-End Multi-Modal Understanding}},
author = {Aishwarya Kamath and Mannat Singh and Yann LeCun and Gabriel Synnaeve and Ishan Misra and Nicolas Carion},
year = {2021},
eprint = {2104.12763},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2104.12763}
}
近年のコンピュータビジョン分野では、物体検出は最前線に立ち、多くの先進的な多モーダル理解システムの中心的役割を果たしてきました。しかし、従来の方法では検出システムがブラックボックスとして固定的な概念で画像を検出するというアプローチが取られており、この方法には固有の限界があります。
明らかな問題の一つは、これらのシステムが多モーダルなコンテキストを効果的に利用して共同訓練することができず、下流のモデルは検出された対象のみを利用できることです。さらに、こうした検出システムはしばしば固定されており、適応性やさらに精緻化する能力に欠けています。もっと重要なのは、これらの検出システムの語彙が非常に制限されており、自由形式のテキストで表現された新しい概念の組み合わせに対しては盲目的であることです。
簡単に言うと、この論文の著者は VL モデル内の物体検出のアーキテクチャを交換したいと考えています。
以前、検出器から得る領域特徴を ViT 型の画像 patch に替えた論文があったのを覚えているでしょうか。
今回は別の「専用」の物体検出モデル、DETR を使ってみましょう!ただし MDETR が狙うのは検出器を単に交換するだけでなく、文章そのものを位置推定に参加させることです。
問題の定義
現在、多くの先進的な多モーダル理解システムは物体検出をその中心的な部分として依存していますが、これらの設計には明らかにいくつかの問題があります:
-
協調訓練の制限
多モーダルシステムでは、協調訓練とは、画像、テキスト、音声などの複数の入力ソースからのデータを同時に使用してモデルを訓練することを意味します。システムの一部が他の部分とこの協調訓練を行えない場合、すべての利用可能な情報を十分に活用できない可能性があります。
例えば、画像と音声の入力を持つモデルがあり、画像検出器のみを独立して訓練し、音声入力を考慮しない場合、音声入力が画像内のオブジェクトに関する重要な情報を提供しても、モデルはそのオブジェクトを正しく認識できない可能性があります。
-
検出範囲の制限
検出システムの主な目的は、画像内の特定のオブジェクトを識別することです。しかし、これらのシステムが既知のオブジェクトにのみ集中し、画像の他の部分を無視する場合、重要なコンテキスト情報を見逃す可能性があります。例えば、複数の人と犬が写っている画像で、検出器が人と犬のみを識別し、背景の公園のシーンを無視した場合、そのシーンがなぜ人と犬がそこにいるのかを説明する重要な情報を提供している可能性があります。
-
モデルの固化
モデルが訓練されて「凍結」された後、それは更新や学習を行いません。これにより、モデルが新しい状況やデータに適応し、最適化するのが妨げられる可能性があります。例えば、検出器が夏の画像で訓練されている場合、冬の画像では微調整を行わないと、雪や厚着をした人々をうまく認識できない可能性があります。
-
語彙の制限
物体検出システムは、訓練データに基づいて特定のクラスや属性を識別します。訓練データに含まれていない新しいオブジェクトや概念に遭遇した場合、識別できない可能性があります。
-
エンドツーエンドではない設計
エンドツーエンドのシステムでは、入力から出力までをつないで学習・最適化できます。従来のパイプラインで検出器を凍結すると、下流タスクの損失ではその検出器を更新できません。数学的には、この凍結された接続部分へ勾配を戻せないのです。
問題の解決
MDETR モデル設計
このモデルは非常にシンプルです。まず、テキスト部分には改良された Encoder モデルである RoBERTa を使用します。
テキストの特徴を生成した後、画像とテキストの特徴を別々の線形層で同じ次元へ投影します。次に系列方向に Concat し、DETR 型の共同 Transformer Encoder と物体クエリ Decoder に通します。
全体の構成は以下の部分で構成されています:
- バックボーンの畳み込みエンコーディング:画像はまず畳み込みバックボーンでエンコードされ、フラット化されます。
- 空間情報:2D 位置エンコーディングをフラット化されたベクトルに加えることにより、モデルは空間情報を保持します。
- テキストエンコーディング:事前学習された Transformer 言語モデルを使用し、入力 token に対応する隠れベクトルのシーケンスを生成します。
- モーダル関連の線形投影:画像とテキストの特徴にモーダル関連の線形投影を適用し、これらの特徴を共有されたエンコード空間に投影します。
- クロスエンコーダ:画像とテキスト特徴のシーケンスを連結し、共通の Transformer Encoder に供給します。これはモデルの核心部分です。
- 物体クエリの Decoder:DETR と同様に、クエリが共同 Encoder の出力へ Cross-Attention し、ボックスと対応する文章中の位置を予測します。
訓練方法
- ソフトトークン予測
ソフトトークンのアイデアは非常に興味深いです。固定した物体クラスを予測する代わりに、真値ボックスと対応付けられた物体を指す原文中の token 位置へ、一様な目標確率を割り当てます。対応する真値のないクエリには「物体なし」を教えます。これが標準的な物体検出との大きな違いです。
例えば、説明文が「黒猫と白い犬」であると仮定した場合、モデルは黒い動物を検出したとき、その動物が「黒猫」というテキスト部分とどのように関連しているかを予測しようとします。これは単に独立したトークンやクラスラベルに関するものではなく、テキスト内の一連のトークンに関するもので、これらのトークンは一緒に「範囲」を形成し、特定の物体を表現します。
この方法の利点は、同一のテキストで複数の物体への参照が重複している場合や、複数の物体が同一のテキストに対応している場合でも処理できる点です。
コントラストアライメント
コントラストアライメントは、視覚的なオブジェクトのエンコード表現を、対応するテキスト token と特徴空間で近づけます。この制約は位置情報に基づく「ソフトトークン予測」を補い、特徴表現にも直接作用します。
参考論文に記載されている数式は以下の通りです:
- L:最大トークン数。
- N:最大物体数。
- T+i:与えられた物体 oi に対応する正のトークン集合。
- Oi+:与えられたトークン ti に対応する正の物体集合。
- τ:温度パラメータ、直接 0.07 に設定されます。
画像の式は「物体から token を探す」方向です。物体に複数の正しい token があれば、その数で平均します。論文には対称的な「token から物体を探す」方向もあり、両者の平均が完全なコントラストアライメント損失です。概念はシンプルで、「物体とテキストはお互いにうまくアライメントしなければならない」ということです。似ているほど良いということです。
すべての損失
MDETR はまず二部マッチングで予測ボックスと真値を対応させます。そのマッチングのコストにはソフトトークン、L1、GIoU が入ります。対応付け後の訓練損失にはボックスの L1/GIoU、ソフトトークンの交差エントロピー、双方向のコントラストアライメントが入ります。二部マッチング自体を別のボックス予測損失とは数えません。
データセット
- CLEVR:方法の結果を評価するために使用。
- Flickr30k:組み合わせデータセットを構築するために使用された画像。
- MS COCO:組み合わせデータセットを構築するために使用された画像。
- Visual Genome (VG):組み合わせデータセットを構築するために使用された画像。
- アノテーションデータは、引用表現データセット、VG 領域、Flickr エンティティ、GQA 訓練バランスセットから取得されています。
技術的な詳細
-
事前訓練された調整検出
事前訓練の段階では、目標は自由形式のテキストで引用されたすべての物体の検出と整合性を確認することです。
-
データ組み合わせ技術とその重要性
- 各画像に対して、提案されたデータセットからその関連するすべてのテキストアノテーションを取得します。異なるアノテーションが同じ画像を参照している場合、それらのアノテーションは統合されます。訓練セットと検証/テストセットの独立性を確保するため、検証またはテストセットに現れるすべての画像は訓練セットから削除されます。
- 著者らはグラフ彩色で文を組み合わせ、参照される境界ボックス同士の GIoU が 0.5 以下の句だけを同じ組へ入れます。組み合わせ後の文は 250 文字未満に制限します。約 20 万枚の画像から、130 万組の対応付き画像・テキストペアが形成されました。
- このデータ組み合わせ技術を使用する主な理由は 2 つです:
- データ効率:1 つの訓練サンプルに多くの情報を詰め込むことで、データをより効率的に活用できます。
- より良い学習信号:
- モデルが学習中に、テキスト内で何度も出現する同じ物体のクラス間の曖昧さを識別し、解決する必要があります。
- 1 つの文のみの状況では、「ソフトトークン予測」のタスクは比較的簡単になります。なぜなら、モデルは通常その文の主題や核心的な意味を簡単に予測でき、画像に依存しなくても済むからです。
- 複数の文を組み合わせることで、モデルは画像とテキストの関係をより深く探求する必要があり、その結果、予測能力が向上します。
-
モデルアーキテクチャの選定
- テキストエンコーダには、事前訓練された RoBERTa-base を使用し、12 層の Transformer エンコーダが含まれています。
- 視覚的バックボーンには 2 つの選択肢があります:
- ResNet-101:これは Torchvision から取得したもので、ImageNet で事前訓練されています。
- EfficientNet シリーズ:EfficientNetB3 と EfficientNetB5 が使用されました。EfficientNetB3 は ImageNet で 84.1%の Top-1 精度を達成し、EfficientNetB5 は 86.1%の精度を達成しました。
- 上記の EfficientNet-B3/B5 backbone には、Noisy Student の擬似ラベル方式で ImageNet と大量の未ラベル画像を使って事前学習した重みを用います。
- 訓練の詳細:32 台の V100 GPU を使用し、40 エポックの事前訓練を実施しました。効果的なバッチサイズは 64 で、訓練時間は約 1 週間かかりました。
討論
下流タスクの表現分析
-
フレーズグラウンディング
著者らは Flickr30k の訓練/検証/テスト分割で、句が画像のどのボックスを指すかを評価しました。一つの句が複数の物体を指す場合に備え、二つの規約を用います。
-
ANY-BOX-プロトコル(任意ボックス)
ある句が複数の真値ボックスを指すとき、上位 個の予測ボックスのいずれかが、どれか一つの真値ボックスと IoU 0.5 を超えれば Recall@ の正解です。ただし、参照された全インスタンスを見つけたかは評価できません。
-
MERGED-BOXES-プロトコル(結合ボックス)
句に対応する真値ボックスを、すべて含む最小の外接ボックスにまとめて IoU を計算します。元の MDETR は個々のインスタンスを予測するので、論文ではこの規約用に結合ボックスの注釈で別途微調整します。ANY-BOX と同じモデル出力ではありません。離れた物体を含めると、結合ボックスが大きくなりすぎる欠点もあります。
-
結果の比較
- ANY-BOX の検証 Recall@1 では、追加の図文ペア事前学習を行わない MDETR-R101 が 78.9、VisualBERT† が 70.4 で、差は 8.5 ポイントです。RoBERTa と画像 backbone の事前学習済み重みは使います。構造の寄与は、条件をそろえた比較で評価する必要があります。
- COCO、VG、Flickr30k のデータを加えて事前学習した MDETR-R101 は、テスト Recall@1 が 83.4、同じ ResNet-101 backbone の VisualBERT† が 71.3 で、差は 12.1 ポイントです。図の ENB5 の最高行は backbone も別です。
-
-
参照表現理解
従来の手法の多くは、事前学習済み物体検出器から取り出した画像の候補ボックスを順位付けしていました。MDETR は参照表現と画像から直接ボックスを予測します。
事前学習では、文章中に現れるそれぞれの物体を見つけるように訓練します。「青いドレスを着た女性がバラの茂みの横に立っている」なら、女性、ドレス、バラの茂みに対応するボックスを学びます。一方、参照表現の課題では文章全体が指す一つのボックスを返します。そこで RefCOCO、RefCOCO+、RefCOCOg ごとに 5 epoch 微調整し、推論では で候補を並べます。
表にある R101/ENB3 は、報告された RefCOCO 系の各 split で列挙された先行手法を上回ります。ただし各行の事前学習データ量は異なり、星印付きの一部手法では検証/テスト画像と重複する検出器特徴も使われています。完全に条件をそろえた消融実験ではありません。
-
視覚的質問応答(VQA)
このアーキテクチャは VQA にも使えますが、設計の追加が必要です。
- モデル設計
- クエリ:検出用の 100 個に加えて、質問タイプ別の回答クエリと、質問タイプを予測するクエリを設けます。GQA のタイプは REL、OBJ、GLOBAL、CAT、ATTR です。
- 訓練:40 epoch の事前学習後、不均衡な GQA split で 125 epoch、次に balanced split で 10 epoch 微調整します。
- 損失:最初の 125 epoch は検出と QA を同時に学び、QA の重みを大きくします。最後の 10 epoch は QA 損失だけを用います。
学習した物体クエリは Decoder に入力され、物体検出に使われます。推論時には別のクエリが質問タイプを予測し、それに対応する回答部分から答えを得ます。
- モデル設計
-
性能比較
- GQA test-std では、ResNet-101 backbone の MDETR が 61.99 で、LXMERT の 60.33、VL-T5 の 60.80 を上回ります。
- より多くの事前学習画像を用いた OSCAR の 61.62 も上回りますが、手法と事前学習条件をまたぐ比較です。
- EfficientNet-B5 backbone では 62.45 に上がります。一方、表には NSM 63.17 と VinVL 64.65 もあり、表全体の最高値ではありません。
Few-shot は可能か?
著者たちは、CLIP のゼロショット画像分類での成功に触発され、事前訓練された MDETR モデルを使って、少量のラベル付きデータで物体検出を行う方法をさらに探求しました。CLIP とは異なり、MDETR の事前訓練データセットでは、ターゲットカテゴリに偏りがあります。さらに重要なのは、「テキストにはクラス名があるが、対応するボックスは一つもない」という負例が事前訓練にないため、モデルは与えられたテキストに対して常にボックスを予測しがちなことです。事前訓練データのボックスとテキストは既に整合しています。
この設計により、論文は事前訓練済み MDETR をそのまま信頼できる真のゼロショット検出器として評価せず、少数ショット設定を選びました。実験には、約 1.2k のクラスを持つ LVIS データセットが選ばれました。多くのクラスは訓練サンプルが少ない長尾分布です。
この分布に適応するために、MDETR の訓練戦略は以下の通りです:各正のクラスに対して、その画像とクラスのテキスト名を訓練インスタンスとし、そのクラスのすべてのボックス注釈を使います。負であると分かっているクラスには、クラス名と空の注釈を与えます。推論時は可能なすべてのクラス名を個別にクエリし、各テキストプロンプトで検出されたボックスを統合します。論文の報告では、この逐次クエリは GPU で約 10 秒/画像を要します。
著者たちは、LVIS の訓練画像の 1%、10%、100% のサブセットで MDETR を微調整しました。1% の集合は各クラスに少なくとも一つの正例と負例が入るよう均衡抽出しています。比較対象は、LVIS の全訓練集合で訓練した Mask R-CNN と、MS COCO で事前訓練してから LVIS の各サブセットで微調整した DETR です。表の指標はクラスごとの検出数を制限する box AP fixed で、事前訓練画像と重複しない 5,000 枚の minival 画像だけを評価します。全モデルの backbone は ResNet-101 です。驚くべきことに、MDETR は LVIS の 1% だけでも稀少クラスの AP が 11.2 で、100% で微調整した DETR の 3.2 を超えます。ただし LVIS 全体で訓練した Mask R-CNN の 26.3 には届きません。
さらに、MDETR の稀少クラス AP は、10% のデータを用いた 20.9 から、100% を用いた 7.4 へ急降下しました。論文本文は 7.5 と記しますが、図の Table 6 は 7.4 なので、ここでは表の値に従います。著者は極端なクラス不均衡を原因として推測しています。
結論
MDETR の最も魅力的な特徴の 1 つは、その「完全に微分可能」な統合設計です。
この設計により、画像と言葉を扱う部分をエンドツーエンドで共同訓練できます。モデル同士がより密接に協調し、全体の性能や訓練効率を高める機会が生まれます。実際、MDETR は複数のデータセットで目を引く結果を示し、多モーダル学習の分野で存在感を示しました。
また、MDETR の多機能性も大きな注目ポイントです。テキストで条件付けた検出だけでなく、Few-shot 検出や視覚的質問応答(VQA)などの下流タスクでも可能性を示しています。
MDETR は、ブラックボックス型の物体検出器に依存せず、多モーダルモデルを組み立てる道筋を示しました。この発想から、さらに正確で効率的なモデルが生まれるかもしれません。