論文ノートライブラリに戻る
arXiv 2022NeurIPS 2022マルチモーダル学習論文ノート

Flamingo

図文並び

原論文

Flamingo: a Visual Language Model for Few-Shot Learning

論文の著者

Jean-Baptiste Alayrac · Jeff Donahue · Pauline Luc …

著者全 27 名を表示

Jean-Baptiste Alayrac · Jeff Donahue · Pauline Luc · Antoine Miech · Iain Barr · Yana Hasson · Karel Lenc · Arthur Mensch · Katie Millican · Malcolm Reynolds · Roman Ring · Eliza Rutherford · Serkan Cabi · Tengda Han · Zhitao Gong · Sina Samangooei · Marianne Monteiro · Jacob Menick · Sebastian Borgeaud · Andrew Brock · Aida Nematzadeh · Sahand Sharifzadeh · Mikolaj Binkowski · Ricardo Barreira · Oriol Vinyals · Andrew Zisserman · Karen Simonyan

発表先
NeurIPS 2022国際会議
arXiv への初回投稿
arXiv:2204.14198
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{multimodalityflamingo2022,
  title = {{Flamingo: a Visual Language Model for Few-Shot Learning}},
  author = {Jean-Baptiste Alayrac and Jeff Donahue and Pauline Luc and Antoine Miech and Iain Barr and Yana Hasson and Karel Lenc and Arthur Mensch and Katie Millican and Malcolm Reynolds and Roman Ring and Eliza Rutherford and Serkan Cabi and Tengda Han and Zhitao Gong and Sina Samangooei and Marianne Monteiro and Jacob Menick and Sebastian Borgeaud and Andrew Brock and Aida Nematzadeh and Sahand Sharifzadeh and Mikolaj Binkowski and Ricardo Barreira and Oriol Vinyals and Andrew Zisserman and Karen Simonyan},
  year = {2022},
  eprint = {2204.14198},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2204.14198}
}
このページの内容

以前の論文では、タイトルを無理につなぎ合わせ、セサミストリートの登場人物の名前をモデル名にするのが流行っていました。

今はもう、そんな演出もせず、好きな名詞をそのまま使うようです。例えばこの論文の「フラミンゴ」。

問題の定義

CLIP は対照学習で画像とテキストの表現を対応付け、検索やゼロショット分類に使えます。ただし自己回帰型のテキストデコーダーは持たず、自由記述の回答やキャプションを直接生成することはできません。

一方、GPT-3 は多くの分野で驚くべき成果を上げていますが、GPT-3 は画像入力には対応していません。

事前学習済みの視覚モデルと言語モデルを組み合わせ、画像とテキストが交互に並ぶ入力から応答を生成できないでしょうか。Flamingo が出力するのは文章です。

問題の解決

モデルアーキテクチャ

上図は Flamingo モデルのアーキテクチャの概要です。青色の部分は事前学習されたモデルで、パラメータは凍結されています。紫色の部分は新たに追加されたモジュールで、これらは最初から訓練を行います。

次に、Flamingo モデルの動作方法をデータフローに沿って見ていきます。

まず入力画像を用意します。この例では犬と猫です。画像を視覚エンコーダーに通し、空間的な視覚特徴を得ます。

著者は画像・テキストの対照学習で事前学習した NFNet-F6 を採用しています。視覚エンコーダーの品質は結果に影響します。その特徴を Perceiver Resampler に渡します。

Perceiver Resampler は学習可能な latent query を使い、可変数の視覚特徴を画像または動画ごとに 64 個の視覚トークンへまとめます。64 はトークンの数で、ベクトルの次元数ではありません。これらを後段の cross-attention のキーと値に使います。


次に、上図の右側の部分について説明します。

入力フォーマットは、交互に並べられた画像とテキストのシーケンスです。ここでは、以下のような例が示されています:

  • <image> This is a very cute dog. <image> This is

この図文シーケンスを言語モデルに入力し、「クロスアテンション層」を通じて処理します。著者はこのモジュールにいくつかの改良を加え、「GATED XATTN-DENSE」と名付けています。

このプロセスでは、言語特徴と画像特徴が混合され、最終的に出力結果が次のように生成されます:

  • "a very serious cat."

クロスアテンション層

先ほど述べた「GATED XATTN-DENSE」について、ここではこのモジュールの設計を詳しく見ていきます。

従来の Transformer decoder によく似ていますね。しかし、新たな cross-attention と feed-forward の二つの分岐に、それぞれ tanh gate を置いています。著者は理解しやすいよう、図の横に実装コードも載せています。

各 gate は学習可能なパラメータを 0 で初期化し、tanh の出力を新しい分岐に掛け、残差として言語特徴に加えます。最初は元の言語モデルの出力を保ち、訓練とともに視覚情報を使えるようになります。gate は確率ではなく、0 から 1 に限定されません。

訓練データセットと戦略

各テキスト位置の cross-attention は、その位置より前で最も近い一つの画像または動画を直接参照します。それ以前の視覚情報も、言語モデルの self-attention を介して間接的に伝わります。M3W の訓練部分系列では画像を最大 5 枚使い、少数例評価では最大 32 組の画像・動画とテキストの例を調べています。32 は実験した範囲で、固定的な容量上限ではありません。

使用された訓練データセットは以下の通りです:

  • M3W(MultiModal Massive-Web)データセット:約 4300 万のウェブページから抽出された画像とテキストの交互ペア。
  • ALIGN データセット:18 億枚の画像とその alt テキストのペア。
  • LTIP(Long Text & Image Pairs)データセット:3 億 1200 万枚の画像と高品質な長文テキストのペア。
  • VTP(Video & Text Pairs)データセット:2700 万の短い動画とその対応するテキスト記述。

目標関数は、複数のデータセットにおける加重負の対数尤度を最小化します:

∑m=1Mλm⋅E(x,y)∼Dm[−∑ℓ=1Llog⁡p(yℓ∣y<ℓ,x≤ℓ)],\sum_{m=1}^{M} \lambda_m \cdot \mathbb{E}_{(x, y) \sim \mathcal{D}_m} \left[ -\sum_{\ell=1}^{L} \log p(y_\ell | y_{<\ell}, x_{\leq \ell}) \right],

ここで、Dm\mathcal{D}_mはmm番目のデータセット、λm\lambda_mはその加重係数です。

討論

この論文の最初で、著者は多数の実験結果を示しています。一緒に見ていきましょう。

結果展示

最初に出てくるあのフラミンゴが、この論文のマスコットです。

二つの図は、少数例の提示による文章の続きと、複数画像を使った対話の例です。図文が交互に入るとモデルがどう応じるかは分かりますが、性能の判断には下のベンチマークを見ましょう。

他のモデルとの比較

Flamingo は、先行するゼロショットまたは少数例の結果と比較できるタスクで、わずか 4 例でもよい成績を示しました。ただし、RareAct はゼロショットの結果だけです。モデルが大きく、提示例も増えると全体として成績は伸びます。GPT-3 を思わせる結果ですね。

M3W の訓練系列では最大 5 枚の画像を使いましたが、評価では最大 32 組の画像・動画とテキストの例からも利益を得ています。

微調整モデル

より多くのタスク別アノテーションがある場合、著者は低い学習率で短期間の微調整も試しました。視覚エンコーダーを解凍し、より高い解像度の入力にも適応させます。表では、少数例で最高成績に届かなかった九つのタスクのうち、VQAv2、VATEX、VizWiz、MSRVTTQA、HatefulMemes の五つで新しい最高成績です。一方、COCO や VisDial などは先行値に届きません。

別の設定では、タスク別に微調整せず、単一のモデル重みと 32 個のタスク別提示例で、六つのベンチマークにおける従来の微調整済みモデルを上回りました。上の大量のラベル付きデータで重みを更新する実験とは分けて読みます。

消融実験

アブレーションは Flamingo-3B を短いスケジュールで訓練し、五つの DEV ベンチマークの検証セットを 4-shot で評価します。Overall は各タスクの得点を当時の最高得点で割り、その平均を 100 倍した値で、単一の正解率ではありません。原論文の表 3 は次の通りです。

設定Overall基準からの得点差
基準70.7—
M3W を除去53.4−17.3
画像・テキスト対を除去60.9−9.8
tanh gate を除去66.5−4.2
4 層ごとに cross-attention を追加68.8−1.9
CLIP ViT-L/14 に変更64.9−5.8
NFNet-F0 に変更62.7−8.0
言語モデルをゼロから訓練57.8−12.9
事前学習済み言語モデルを解凍62.7−8.0

差は Overall の得点差であり、相対的な低下率ではありません。動画・文章ペアを除くと、表中の二つの動画タスク MSVDQA と VATEX がともに低下します。データセット間で勾配を蓄積する方法も、順番に更新する round-robin よりよい結果です。標準の GATED XATTN-DENSE は、この条件では通常の cross-attention より高い Overall を得ています。

4 層ごとに追加すると、表の 1 ステップの時間は 1.74 秒から 1.02 秒に短縮し、Overall は 1.9 ポイント低下します。「66% 高速」とだけ書くより、元の時間を示す方が比較の意味を確認できます。実際の速度は機器や設定に依存します。

この実験条件では、Perceiver Resampler の Overall は MLP や Transformer より高く、1 ステップの時間も短い値です。視覚エンコーダーを NFNet-F6 から CLIP ViT-L/14 または NFNet-F0 に替えると Overall はそれぞれ 64.9、62.7 になりますが、パラメータ数と所要時間も同時に変わります。事前学習済み言語モデルの凍結を解いた場合の低下を、著者はこの条件での破滅的忘却の兆候と解釈しています。

結論

Flamingo は、同じモデルの重みと少数の提示例で、多様な画像・動画タスクに適応できることを示しました。「少数」とは新しいタスクの例数です。事前学習には膨大なデータと計算資源を使っていますが、この柔軟なやり取りは従来の視覚ベンチマークの枠を広げました。

著者は、大規模な事前訓練された言語モデルと強力な視覚モデルを統合し、汎用的な視覚理解に向けた重要な一歩を踏み出しました。この研究は、今後の研究にとって重要な参考となるでしょう。