Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks
- 発表先
- CVPR 2023国際会議
- arXiv への初回投稿
- arXiv:2208.10442
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{multimodalitybeitv32022,
title = {{Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks}},
author = {Wenhui Wang and Hangbo Bao and Li Dong and Johan Bjorck and Zhiliang Peng and Qiang Liu and Kriti Aggarwal and Owais Khan Mohammed and Saksham Singhal and Subhojit Som and Furu Wei},
year = {2022},
eprint = {2208.10442},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2208.10442}
}
BEiT の象徴的な特徴といえば「離散符号化」だと誰もが知っています。
そのため、この論文を読んだとき、多くの人が自然に「BEiT-3 ではどのような新しい『離散符号化』技術が出てくるのだろう」と期待するでしょう。
しかし実際には、BEiT-3 は既存の離散視覚 token を画像の事前学習に利用します。この論文が主に議論したいテーマは、「テキスト、画像、多モーダルの事前学習タスクを統一的な方法で処理するにはどうすればよいか?」 という点です。
過去の成功を懐かしむのは自然なことですが、そこにあまり執着しないようにしましょう。
問題の定義
「画像とテキストを一緒に事前学習する」というアイデア自体は、新しいものではありません。
以前からよくあるアプローチをご存じかもしれません。例えば、画像とテキストの一致(image-text matching)や対比学習、さまざまなマスク設計など、複数の事前学習タスクを使用する方法です。
もし記憶にない場合は、以前読んだ BLIP アーキテクチャを見てみましょう:
BLIP では画像ブランチとテキストブランチを使い、ITC・ITM・LM の三つの目標で画像と文章の関係や生成を学びます。この方法は効果的ではあるものの、モデルやデータ規模が大きくなるにつれ、学習プロセスが複雑化し、維持や拡張が難しくなる場合があります。上の図は先行研究 BLIP の構成です。
画像が patch に、テキストが token に変換できるのであれば、統一的な方法で処理できない理由は何でしょうか?画像をもう一つの言語とみなし、同じマスク予測で学べないでしょうか?
以前の研究者も同じことを考えたに違いありません。ただし、検索・質問応答・文章生成では必要な画像とテキストの相互作用が異なり、共通の骨幹から柔軟に構成するのは簡単ではありません。
著者は、この問題を解決するために「マルチパスアーキテクチャ」を採用すべきだと考えています。
問題の解決
モデルアーキテクチャ
このマルチパスアーキテクチャは VLMo の Mixture-of-Modality-Experts の発想を引き継ぎます。共通の自己注意力を使い、モダリティに応じて異なる前向きネットワークを選ぶ設計で、BEiT-3 以前に VLMo が多モーダル事前学習に用いていました。
そのため BEiT-3 のアーキテクチャは、VLMo の Multiway Transformers を直接参考にしています。
各 Multiway Transformer モジュールは、共通の自己注意モジュールと、モダリティごとに異なるフィードフォワードネットワーク(モダリティ専門家)を含んでいます。入力トークンのモダリティに基づき、対応する専門家が特徴計算を行います。
著者の実装では、各層に視覚専門家と言語専門家が配置されています。また、最上位の 3 層には視覚と言語の統合を行う「視覚-言語専門家(fusion encoders)」が設定されています。
モダリティ専門家を使用することで、特定モダリティに特化した情報を捉えることが可能になります。一方、共通の自己注意モジュールは異なるモダリティ間の整合性を学習し、多モダリティタスク(例:視覚-言語)において深い統合を実現します。
多モダリティ適応
上図のように、著者は BEiT-3 の「共有 Multiway Transformer」アーキテクチャが、さまざまな下流タスクに応じて「柔軟に切り替え」または「組み合わせ」可能であることを示しています。
- (a) Vision Encoder (画像エンコーダ):画像分類、物体検出、インスタンス分割、セマンティックセグメンテーションなど、画像特徴表現のみを必要とする視覚タスクに対応。
- (b) Language Encoder (言語エンコーダ):テキストだけを処理する経路。図ではマスク言語モデリングを示しており、本文はテキスト分類や対話システムの成績を報告していません。
- (c) Fusion Encoder (融合エンコーダ):視覚質問応答(VQA)、視覚推論(NLVR2)、画像とテキストの推論など、画像とテキスト間の深い相互作用を必要とするタスクに対応。
- (d) Dual Encoder (デュアルエンコーダ):クロスモダリティ検索(image-text retrieval)など、高効率なマッチングを求めるタスクに対応。たとえば、大量の候補画像の中から指定されたテキストに最も関連する画像を素早く見つけるタスク、またはその逆のタスク。図の対比学習は検索の微調整時に使い、BEiT-3 のマスク式事前学習目標とは分けて考えます。
- (e) Sequence-to-Sequence Learning (画像からテキストへの生成):画像キャプションなどに対応。微調整では注意力マスクにより文章が画像と左側の文章だけを見るようにして、隠した記述 token を予測し、推論時に順に生成します。
画像エンコード、テキストエンコード、さらには画像とテキストの統合、検索、生成といった複雑な応用まで、すべて同じアーキテクチャ上で構成可能です。これにより、完全に異なるモデルへ切り替える必要がありません。
事前学習タスク
BEiT-3 の事前学習プロセスでは、モデルがランダムに選ばれたテキストトークンや画像パッチをマスクし、それらを復元するよう訓練されます。この方法を通じて、テキストと画像それぞれの表現を学習すると同時に、画像と言語の対応関係も学習します。
訓練時、テキストデータは SentencePiece トークナイザで分割されます。画像は patch embedding としてモデルに入力し、BEiT v2 のトークナイザが生成する離散的なビジュアルトークンを、隠した patch の予測目標に使います。著者は、単一モーダルのテキストトークンを 15%、テキストと画像のペア内のテキストトークンを 50% ランダムにマスクしました。画像については、BEiT のブロックマスク戦略を採用し、40% の画像パッチをマスクしました。
BEiT-3 の事前学習バッチは 6144 で、論文が挙げる CoCa・CLIP・Florence の対比式事前学習バッチより小さい設定です。ただしモデルやデータなども異なる。
モデルと訓練データ
BEiT-3 のパラメータ数は約 19 億(1.9B)で、その内訳は以下の通りです:
- 視覚専門家:6.92 億
- 言語専門家:6.92 億
- 視覚-言語専門家:5200 万
- 共通の自己注意モジュール:3.17 億
アーキテクチャは ViT-giant を参考にしており、40 層の Multiway Transformer で構成されています。各層の隠れ層の次元数は 1408、中間層の次元数は 6144、注意ヘッド数は 16 です。各層には視覚専門家と言語専門家が含まれています。さらに、最上位の 3 層には視覚-言語専門家が追加されており、深いクロスモーダル統合を実現しています。
BEiT-3 の事前学習は「単一モーダル」と「多モーダル」の両データを用いて実施されました。単一モーダルは「純粋な画像」または「純粋なテキスト」のデータ、多モーダルは「画像+テキスト」のペアデータを指します。
- 多モーダルデータ:約 1500 万枚の画像と 2100 万組の画像・テキストペアが使用され、以下の公開データセットが含まれています:
- Conceptual 12M (CC12M)
- Conceptual Captions (CC3M)
- SBU Captions (SBU)
- COCO
- Visual Genome (VG)
- 単一モーダルデータ:
- ImageNet-21K からの 1400 万枚の画像
- 160GB のテキストコーパス(英語版 Wikipedia、BookCorpus、OpenWebText、CC-News、Stories)
訓練戦略
BEiT-3 の事前学習は 100 万ステップ行われました。各バッチには 6144 個のサンプルが含まれ、その内訳は以下の通りです:
- 2048 枚の画像
- 2048 本のテキスト
- 2048 組の画像・テキストペア
モデルは画像を 14×14 ピクセルのパッチに分割し、224×224 の解像度で事前学習を実施しました。画像のデータ拡張には BEiT と同様の方法(ランダムスケールクロップ、水平反転、色のジッター)が採用されています。
テキストデータのトークナイザとして SentencePiece を使用し、語彙サイズは 64k です。
その他のハイパーパラメータ設定は以下の通りです:
- AdamW オプティマイザを使用し、設定は 。
- 学習率はコサインアニーリングで調整。最高学習率は 1e-3 で、最初の 1 万ステップで線形に上昇。
- 重み減衰は 0.05。
- ランダム深さを 0.1 の比率で適用し、過学習を防ぎ、モデルの汎化能力を向上。
討論
他のモデルとの比較
著者は、視覚-言語および視覚タスクにおける複数の公開ベンチマークで BEiT-3 を広範に評価しました。
BEiT-3 は図中の多くの視覚・視覚言語タスクで比較対象を上回ります。ただしレーダー図の軸ごとに指標と目盛りが異なるため、図の面積を一つの総合得点にはできません。詳細な結果は以下の表にまとめられています:
表の ImageNet top-1 89.6% は公開資源だけを使う条件、COCO キャプションの CIDEr 147.6 は CIDEr 最適化を使わない条件です。検索 R@1 は画像から文章と文章から画像の二方向の平均値です。各行の比較相手と学習条件は同じではありません。
検索結果には中間段階の対比的な微調整も含まれます。COCO 5K テスト集合では、画像→文章/文章→画像の R@1 が 84.8/67.2 で、平均は表の 76.0 です。付録 Table 10 では中間微調整なしの 82.7/65.1 と区別されます。Flickr30K の「ゼロショット」も Flickr30K の訓練ラベルを使わないという意味で、画像・文章の対比的な中間微調整自体を省くわけではありません。
モジュール寄与分析
論文では、データ規模・Multiway 専門家・マスク目標の寄与を一つずつ分離した実験は報告されていません。付録には検索時の中間微調整の比較がありますが、そこからアーキテクチャ内で「どのモジュール」が最重要かは判断できません。そのため、以下は測定結果と分けた推測として読みます:
-
「膨大なデータ量」は核心的な貢献か?
BEiT-3 は大規模な単一モーダルおよび多モーダルデータを用いて事前学習を行っています。これには、ImageNet-21K の 1400 万画像、160GB のテキストデータ、1500 万の画像、2100 万の画像・テキストペアが含まれます。
確かに大量のデータは、現在の主流の大規模モデルが高い性能を達成するための重要な要素です。しかし、この論文は「データ量」だけを強調するものではなく、独自の非公開データを使用しているわけでもありません。公開データで表の複数の比較対象を上回る点は著者の主張ですが、比較対象とのデータ量や微調整条件はそろっていません。
膨大なデータ量は基盤を提供しますが、唯一の革新ではなく、この論文の焦点は「方法論の統一性と有効性」にあります。
-
専門家モデルのアーキテクチャ
BEiT-3 は各 Transformer 層に vision expert、language expert を持ち、最上位層には vision-language expert が追加され、共通の自己注意モジュールを共有しています。
共通の自己注意力とモダリティ別 FFN によって、単一モデルで純視覚パス、純テキストパス、クロスモーダルパスを構成できます。Switch Transformer のような学習式 router とは異なります。ただし、この共有設計だけの増分を測った実験はなく、各タスクの改善幅を Multiway のみに帰すことはできません。
ただし、この「マルチパスアーキテクチャ」の設計は VLMo の革新に由来する。
-
統一された学習目標関数
著者は、従来の多モーダル事前学習で一般的だった「複数タスク並行」の複雑な方法を改善し、マスクデータモデリング(masked data modeling)1 つだけでクロスモーダル整合性を学習する方法を採用しました。
このアイデア自体は新規ではなく(BERT や BEiT で採用されている Mask-Then-Predict に類似)、多モーダル領域でも同様の試みがあります。しかし、従来の多くのモデルでは、対比損失(contrastive loss)や画像-テキストマッチング(ITM)といった複数のタスクが必要でした。BEiT-3 の事前学習は、画像・文章・図文対に一種類のマスク予測目標を用います。一方、三種類のデータは決まった比率で batch に組まれ、検索では事前学習後に対比的な微調整も行います。
著者が「事前学習タスクの簡素化」を追求したことは論文の主張の中核です。表は方法全体の成績を示しますが、簡素化だけで何点伸びたかを単独では示しません。
-
BEiT に基づく離散的な画像エンコーディング
BEiT シリーズは、離散ビジュアルトークン(NLP における語彙トークンに類似)を、隠した画像 patch の予測目標に使います。入力自体は連続的な patch embedding です。
この技術は BEiT v1, v2 から引き継がれたものです。しかし、今回の研究で「画像はもう 1 つの言語として扱える」という可能性がさらに検証されました。離散化された画像エンコードを用いることで、モデルは BERT ライクな事前学習メカニズムでテキストと画像を同時に処理できるようになります。
つまり離散化が置き換えるのは被マスク patch の目標表現であり、patch embedding そのものではありません。この戦略は BEiT-3 の基盤ですが、主な革新は BEiT の前作に起因します。
大規模なデータ使用と離散的なビジュアルトークンの採用は、全体の方法論を支える基盤です。最も重要な貢献を挙げるなら、VLMo から引き継いだ Multiway Transformers と統一されたマスク目標の組み合わせでしょう。ただし論文には両者の寄与を分離する実験はありません。
著者は「事前学習タスクの簡略化」と「柔軟で共有可能なマルチエキスパートパス」を組み合わせ、表に挙げた下流タスクで高い成績を示しました。大規模データ、モデルサイズ、タスクごとの微調整も同時に結果へ影響します。
結論
本論文では、汎用的な多モーダル基盤モデル BEiT-3 を提案しました。
画像を「外国語」として扱うというコンセプトにより、テキスト、画像、および画像・テキストペアを同一のマスク方式「言語モデリング」で訓練可能にしました。また、Multiway Transformers アーキテクチャを採用することで、異なるモダリティ間での柔軟な切り替えを可能にしました。
現在主流の多モーダル事前学習手法と比較して、BEiT-3 の訓練プロセスは簡潔で、大規模なスケールアップが容易という点で非常に魅力的な設計となっています。