論文ノートライブラリに戻る
arXiv 2021ICLR 2022マルチモーダル学習論文ノート

SimVLM

少し簡単に

原論文

SimVLM: Simple Visual Language Model Pretraining with Weak Supervision

論文の著者

Zirui Wang · Jiahui Yu · Adams Wei Yu · Zihang Dai · Yulia Tsvetkov · Yuan Cao

発表先
ICLR 2022国際会議
arXiv への初回投稿
arXiv:2108.10904
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{multimodalitysimvlm2021,
  title = {{SimVLM: Simple Visual Language Model Pretraining with Weak Supervision}},
  author = {Zirui Wang and Jiahui Yu and Adams Wei Yu and Zihang Dai and Yulia Tsvetkov and Yuan Cao},
  year = {2021},
  eprint = {2108.10904},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2108.10904}
}
このページの内容

物事が複雑になりすぎると、誰もがそれを避けたくなります:

本当にこんなに複雑にする必要があるのでしょうか?

今、GPT-3 は登場し、非常に優れたパフォーマンスを達成していますが、彼らは物事をこんなに複雑にはしていません!

本論文の著者は、この考えに基づき、もはや従来のエンコーダーアーキテクチャに固執するべきではないと考えています。

もしかすると、私たちは物事をもう少し簡単にすることができるかもしれません?

問題の定義

著者が定義した問題は以下の通りです:

  1. 事前学習と微調整のパラダイムの欠点

    • マスク付き言語モデル(MLM)を使用して、大規模な未ラベルテキストコーパスでモデル(例えば BERT)を事前学習し、その後微調整する方法は主流となっていますが、最近の自己回帰型言語モデル(例:GPT-3)は、微調整なしで少量のデータを使用して強力なパフォーマンスを発揮できることを示しています。
  2. マルチモーダル対応の課題

    • 視覚とテキストのマルチモーダル対応を構築しようとしていますが、画像とテキストの間の整合性を捉えることは容易ではありません。初期の方法は通常、人工的にラベル付けされたデータセットに依存して、物体検出と統合モデルの MLM 事前学習を行っていました。
    • 人間の注釈データの規模は限られているため、従来の方法は複雑な事前学習スキームを使用する必要があり、さらにタスク固有の補助損失を導入する必要があり、VLP の事前学習プロトコル全体が複雑になってしまいました。
  3. ゼロショット能力の欠如

    • 現在の事前学習と微調整に基づく方法はゼロショット能力において良好なパフォーマンスを示していません。つまり、モデルは未見の新しいタスクへの一般化能力が制限されています。
    • 一部の方法は特定のタスクにのみ焦点を当てているため、汎用の事前学習・微調整表現として使用するのは難しいです。例えば、いくつかの方法は画像分類や画像テキスト検索といった特定のタスクにのみ焦点を当てています。

解決問題

SimVLM モデル設計

  1. PrefixLM

    単方向言語モデルから得たゼロショット能力のインスピレーションを受けて、著者は「プレフィックス言語モデル」または「PrefixLM」という新しい方法を提案しました。従来の単方向言語モデルとは異なり、PrefixLM にはいくつかの特徴があります:

    • 前置きシーケンスに対する双方向的注意:

      PrefixLM では、与えられたプレフィックス内のトークン同士が双方向に注意を向けます。続く生成部分はプレフィックス全体と既に生成したトークンを見ることができますが、未来の出力は見られません。

    • 自己回帰的分解の範囲:

      PrefixLM は、前置きの後の部分に対して自己回帰的分解を行い、次のシーケンスを予測しようとします。

    • 画像をテキストの前置きとして扱う:

      視覚言語タスクでは画像パッチをテキストの前に置き、プレフィックスの長さをランダムに選びます。そのプレフィックスには画像パッチがすべて含まれ、予測損失は後続テキストにだけかかります。画像がテキストの説明より先に提示されることが多いという観察に基づく設計です。

  1. アーキテクチャ設計

    Transformer をコアアーキテクチャとして使用し、Encoder-Decoder のシーケンス・ツー・シーケンス言語モデルを利用し、視覚モジュールとテキストモジュールを組み合わせています:

    • 視覚モジュール

      ViT と同じくパッチ列を使いますが、画像パッチは直接の線形射影ではなく ResNet の最初の 3 つのブロックを経て作ります。それをテキストトークンと連結して Transformer のプレフィックスに入力します。

    • テキストモジュール

      SentencePiece によるサブワード分割でテキストを固定語彙のトークンに変えます。原論文は、ここで使った分割アルゴリズムが Byte-Pair Encoding (BPE) だとは指定していません。

それでは SimVLM に戻りましょう。SimVLM は問題をすべて Encoder に残していません。私たちには、まるで「事件現場」を作り上げるようなものに見えます。ここでの Decoder は探偵の役割を果たし、Encoder に残された手がかりを使って、次の結果を推理しようとします。

さらには、著者によると:ここで言及されている「前置き」の画像の手がかりは、必ずしも画像から来る必要はなく、「画像を記述するテキスト」を前置きとして入力しても全く問題ない!とのことです。

後続タスクの表では、SimVLM-Base の VQA test-std が 78.14、VL-T5 は 70.30 で、差は約 7.8 ポイントです。ただし事前学習データ、画像入力、モデル設定が異なるので、差を Decoder の設計だけに帰することはできません。

事前学習戦略

ここには MLM も、ITM も、あなたが必要だと思っていたものもありません。

著者が使うのは一つの「PrefixLM」目標です。画像パッチと一部のテキストを双方向注意のプレフィックスとし、残りのテキストを自己回帰的に予測します。純テキストにも同じ目標を使うので、単なる GPT 式の文字の続きを当てるだけではありません。

あれ?こんなにシンプルで予想外です……

データセット

  • ALIGN トレーニングデータセット:画像とその関連する記述やテキスト注釈を含み、「大量のノイズ」を含む大規模なデータセット。このような画像-テキストペアのデータセットは視覚言語事前学習に使用され、マルチモーダル学習タスクをサポートします。
  • Colossal Clean Crawled Corpus (C4):C4 は大規模なテキストデータセットで、主に言語モデルの事前学習に使用されます。このデータセットはウェブのテキストから整理され、効率的で大規模な事前学習のために設計されています。

考察

モデルの効果はどうか?

SimVLM はその簡略化された事前学習と微調整方法を使用して優れたパフォーマンスを達成し、事前学習と微調整のプロセスにシームレスに適用できます:

  1. モデル比較

    • SimVLM は、LXMERT、VL-T5、UNITER、OSCAR、Villa、SOHO、UNIMO、VinVL などの複数の先進的な視覚言語事前学習(VLP)方法と比較されました。
    • SimVLM-Huge は表中の VQA、NLVR2、SNLI-VE、NoCaps、Multi30k などで高い値ですが、すべての列で最高ではありません。例えば COCO キャプションの BLEU@4 は 40.6 で、OSCAR の 41.7 より低いです。
    • これらの論文間比較は生成式事前学習の競争力を示しますが、データや設定が揃っていない。
  2. 特定タスクでのパフォーマンス

    • 判別タスク

      SimVLM-Base の VQA test-std は 78.14 で、表中の VinVL の 76.60 より高い一方、SNLI-VE test の 84.15 は SOHO の 84.95 より低いです。SimVLM-Huge の VQA test-std は 80.34 で VinVL より 3.74 ポイント高く、単一モデルで 80%を超えています。

    • 複雑な視覚言語推論

      SimVLM-Huge の NLVR2 test-P/SNLI-VE test は 85.15/86.32 で、表中の先行方法より高い値です。これは各論文の結果を並べた比較です。

    • 生成タスク

      SimVLM-Huge は COCO キャプションの Karpathy 5k 分割で METEOR/CIDEr/SPICE が表中の CIDEr 最適化モデルを上回りますが、BLEU@4 の 40.6 は OSCAR の 41.7 より低いです。NoCaps の CIDEr/SPICE は 110.3/14.5 で、VinVL の 92.5/13.1 より高い値です。

    • 画像翻訳

      SimVLM はまた、Multi30k の英語からドイツ語への画像翻訳タスクで良い結果を示しました。

ゼロショットのパフォーマンスはどうか?

著者はここで、三つのゼロショットの応用方法を探りました。具体的には:

  1. ゼロショット/少数ショット画像キャプション生成

    事前学習は、雑音を含むウェブ画像とキャプションから学ぶ形とも見られます。ゼロショットでは直接生成し、少数ショットでは訓練データの 1%で 5 エポック微調整します。SimVLM-Huge のゼロショット COCO CIDEr は 32.2 で、完全教師ありモデルより低い値です。一方、NoCaps のゼロショット CIDEr は 101.4、少数ショット COCO CIDEr は 131.3 に達します。著者は「A picture of」というプレフィックスでキャプションが改善する例も示しています。

  2. ゼロショットクロスモーダルトランスファー

    著者は下流の純テキストデータだけで SimVLM を微調整し、対象となる画像とテキストの組では追加学習せずに評価します。このクロスモーダル転移を SNLI-VE と Multi30k で調べました。

    SNLI のテキストで微調整した SimVLM-Huge は、SNLI-VE の画像とテキストで test 73.86 です。完全教師あり UNITER の 78.28 より低いものの、画像を与えず仮説だけで評価すると約 34%になり、3 クラスのランダム推測に近づきます。MNLI のテキストで微調整した場合は test 66.97。Multi30k の言語・モダリティをまたぐ転移は BLEU@4/METEOR が 18.2/32.6 で、表中の LIUM の 23.8/35.1 より低い値です。転移は可能ですが、これらの比較では完全教師ありモデルとの差が残ります。

  3. オープンエンドビジュアルクエスチョンアンサー

    視覚的な質問応答(VQA)タスクでは、従来の方法は通常、質問を 3,129 の候補回答セットに対して多ラベル分類として定義します。しかし、この方法は固定の回答セットがすべての可能な状況をカバーするのが難しいため、現実のアプリケーションには限界があります。これにより、オープンエンド VQA が挑戦的になります。

    Karpathy-test の候補 3129 個に正解がない問題では、生成式 SimVLM-Huge が 30.3、識別式の同モデルが 17.5 です。2085 個の候補回答だけで微調整した場合も、未見回答群は 28.8 でした。ただし、どちらも VQA で微調整した結果です。VQA で全く微調整せず実際の質問を直接聞くと意味のある答えを出せないことが多く、少数の提示文による定性例はこの制約を覆しません。

誰の貢献か?

まず、小型モデルの VQA は Encoder-Decoder の 67.43 から Decoder のみの 65.23 に下がります。測定した設定では、双方向のプレフィックス符号化を残すことに利点があります。

次に、Decoder のみを単方向 LM にすると 64.48、完全な小型モデルを span corruption に変えると 66.23 で、いずれも PrefixLM の 67.43 に及びません。これは試した条件での PrefixLM の効果を支持しますが、表だけですべての統一目標に勝つとまでは言えません。

画像とテキストのデータを外すと VQA は 67.43 から 49.23、純テキストを外すと 65.25 になります。両方がこの実験に貢献していますが、純テキストがどの条件でも不可欠とまでは証明していません。

最後に畳み込み段階を外すと VQA は 63.11 です。ResNet のブロックを 2/3/4 個使うと 65.57/67.43/66.55 で、この設定では 3 個が最良でした。ただし表は、画像とテキストの粒度の違いがその原因だと単独で検証したものではありません。

結論

これほどシンプルなアーキテクチャで、これほどの結果が得られるとは。

SimVLM の成功は、この原則の最良の証明です。この論文が示すのは、効果的な技術戦略だけでなく、今日の複雑な技術世界の中でも、シンプルで直接的な解決策を見つけることが可能であるということです。

多くの人々は複雑な問題には複雑な解決策が必要だと自然に考えがちですが、SimVLM がシンプルな「PrefixLM」戦略で登場したとき、それはこの既存の思考パターンを打破し、その後の研究に明確な方向を示しました。

SimVLM の優れたパフォーマンスに基づき、将来の研究者たちは ViT の視点から最適化を試みるかもしれません。ViT はすでに多くの進化形態を持っていますし、あるいは GPT の戦略をさらに深めて、視覚言語事前学習領域のさらなる発展を推進する可能性もあります。