論文ノートライブラリに戻る
arXiv 2021ICML 2021マルチモーダル学習論文ノート

ViLT

あなたが歌い終わった後に私が登場

原論文

ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision

論文の著者

Wonjae Kim · Bokyung Son · Ildoo Kim

発表先
ICML 2021国際会議
arXiv への初回投稿
arXiv:2102.03334
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{multimodalityvilt2021,
  title = {{ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision}},
  author = {Wonjae Kim and Bokyung Son and Ildoo Kim},
  year = {2021},
  eprint = {2102.03334},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2102.03334}
}
このページの内容

Transformer が発表されたのは 2017 年のことです。

画像に特化した Vision Transformer(ViT)は 2020 年の終わりに登場し、その間に 3 年以上の時間がありました。

今回はそんなに待つ必要はありません。半年も経たないうちに、ViT 型の画像パッチ投影が VLP(視覚と言語の事前学習)へ持ち込まれました。

過去数年間の研究では、主に VL モデルの視覚表現能力を向上させ、モデルの全体的なパフォーマンスを改善することに焦点を当ててきました。しかし、誰もが直面する現実は、物体検出の事前学習モデルが本当に重いということです!

そして ViLT の著者たちは言います。こういう構成である必要はない。重い視覚入力の処理を思い切って捨てよう!

問題の定義

著者が定義した問題と課題は、概ね以下のポイントにまとめることができます:

  1. 複雑な視覚エンコードプロセス

    現在の視覚と言語事前学習(VLP)モデルは、視覚エンコードを処理する際に深層畳み込みネットワークや事前学習された物体検出器を使用することが一般的です。このプロセスは通常非常に複雑で計算集約的であり、特に大量の画像を処理する必要がある場合、計算資源と実行時間に大きな課題をもたらします。

  2. 重い視覚エンコーダの使用

    従来の VLP モデルは、画像の特徴を抽出するために重い視覚エンコーダに依存します。学術実験では領域特徴を事前にキャッシュできますが、初めて見る画像をその場で処理する場合には検出器を動かす必要があります。

  3. エンコード効率とパフォーマンスのバランス

    多くの研究で、モデルのパフォーマンスを維持しつつ、エンコードの効率を高め、計算とストレージのコストを削減する方法を見つけることが課題となっています。また、過去のほとんどの研究は、視覚と言語タスクにおいて良好なパフォーマンスを実現しながら、より軽量で高速なエンコード方法やモデルアーキテクチャを提供することに重点を置いていませんでした。

  4. 従来のモデルアーキテクチャの限界

    従来の VLP モデルは視覚入力の処理に深層で畳み込みを使用したエンコード方法を用いています。これにより、モデルの複雑度と実行時間が増加し、ある程度はモデルの柔軟性と適応性を制限することになります。

問題の解決

ViLT 設計理念

著者は、視覚と言語モデルを以下の 2 つの次元で分類しました:

  • 2 つのモダリティ(視覚と言語)が均等な表現レベルを持つかどうか(専用のパラメータおよび/または計算)。
  • これら 2 つのモダリティが深層ネットワークで相互作用するかどうか。

これらの 2 点を組み合わせて、著者は 4 つのプロトタイプを導き出しました:

  • (a) タイプ:VSE++ や SCAN のような視覚意味埋め込み(VSE)モデル。視覚と言語のエンコーダは別々で、視覚側の処理が重い。両者の相互作用は主に内積や浅い注意層に限られます。
  • (b) タイプ:CLIP のようなモデル。2 つのモダリティに対して、別々で計算上等しいエンコーダを使用し、相対的に浅い層で相互作用を行います。
  • (c) タイプ:深層相互作用型モデル。例えば、一部の最新の VLP モデルでは、深層変換器モデルを使用して 2 つのモダリティ間の相互作用を深層でモデル化しますが、視覚情報のエンコーディングには依然として計算集約的な畳み込みニューラルネットワークに依存しています。
  • (d) タイプ:ViLT モデル。計算リソースのほとんどをモダリティ間の相互作用のモデリングに集中させ、原画像のエンコーディング層は比較的浅く、計算量が軽く、テキスト処理と似た計算量で処理されます。

これらの 4 つのモデルプロトタイプは、それぞれ異なる設計と計算のトレードオフを反映しています:

  • (a) タイプ:計算量は比較的軽いですが、モダリティ間の深い相互作用能力が犠牲になります。
  • (b) タイプ:視覚と言語のエンコーディングに計算資源を均等に分配していますが、相互作用は浅層にとどまります。
  • (c) タイプ:モダリティ間の相互作用に多くの計算リソースを投入していますが、視覚入力の処理で計算集約的な畳み込みニューラルネットワークに過度に依存する可能性があります。
  • (d) タイプ:視覚と文章の専用埋め込みをどちらも軽くし、大部分の計算を両者の深い相互作用に使います。

それぞれの設計選択には異なる利点と課題が伴います。例えば、2b タイプのモデル(CLIP のようなモデル)は、ゼロショット学習のシナリオでは優れたパフォーマンスを発揮しますが、深いモダリティ間相互作用が求められるタスクでは限界があるかもしれません。これらの分類は、視覚と言語モデルの設計の枠組みを提供し、異なる設計選択と方法が実際のアプリケーションで持つ可能性のある長所と短所を示唆しています。当然、実際のアプリケーションでは、具体的なシーンとニーズに応じてモデルを選択し、設計する必要があることを示唆しています。

ViLT 設計の詳細

ViLT は視覚エンコードプロセスを簡素化することを目指し、Patch 投影戦略を採用し、視覚特徴処理能力を持つ ViT から初期化されています。このアプローチにより、VLP タスクでより効率的でリソース消費の少ないパフォーマンスを達成することを目指しています。全体的なモデルアーキテクチャは、パフォーマンスを保ちつつ計算の複雑さとリソースの必要性をできるだけ減らすことに重点を置き、軽量な多モーダル学習戦略を示しています。

  1. 視覚エンコーディングの方法

    ViLT は BERT の tokenizer を使って文章を分割しますが、文章側の埋め込みパラメータは最初から学習します。視覚側は従来の方法と大きく異なります。三つの入口を比べてみましょう。

    • Region Feature

    従来の方法では、物体検出器(例えば Faster R-CNN)から得られる地域特徴がよく使用されますが、ViLT はこの方法に依存せず、より直接的でシンプルなアプローチを取っています。

    • Grid Feature

    グリッド特徴は、畳み込みニューラルネットワーク(CNN)の出力特徴マップを視覚特徴として利用する方法ですが、ViLT ではこれを主要な特徴として使用していません。

    • Patch Projection

    ViLT は ViT の画像パッチ投影を採用します。画像を 32×3232\times32 のパッチに分けて線形投影するため、視覚入力の処理を大幅に簡素化できます。約 2.4M はこの投影層のパラメータ数であり、ViLT-B/32 全体は表中で 87.4M です。

  2. モデルアーキテクチャ

    • ViLT はシンプルなアーキテクチャを持ち、視覚エンコーディングにおいて単一ストリーム方式を採用しています。
    • 従来の多くの VLP モデルが BERT の重みを使うのに対し、ViLT は相互作用用 Transformer を ViT の重みで初期化します。BERT 初期化に関する成績低下は先行研究を引用した説明です。
    • ViT のスタック構成は、マルチヘッド自己注意(MSA)層と MLP 層を含み、ViLT はこの構成を基にテキスト情報を組み合わせて多モーダル事前学習を行います。
    • ViLT は 32×3232\times32 のパッチを使い、ImageNet-21K で事前学習した後に ImageNet-1K で微調整した ViT-B/32 の重みから相互作用用 Transformer を初期化します。その後、画像・文章の事前学習と下流タスクの微調整を行います。
  3. エンコーディングの詳細

    • 入力テキストには、トークンエンコーディング行列と位置エンコーディング行列が加算されます。
    • 入力画像はパッチに分割され、フラット化されてから線形投影と位置エンコーディングが行われます。
    • 文章と画像にはそれぞれ対応するモダリティ種別の埋め込みを加え、一つの系列に連結して共通の Transformer 層で更新します。

事前学習戦略

著者は画像・文章の一致判定、単語とパッチの対照、マスク言語モデルを事前学習の目標にしました。全単語マスクは文章を隠す方法で、画像拡張は下流タスクの微調整で使います。

  1. 画像と言語一致(Image Text Matching, ITM)

    • ランダムな画像の置き換え:モデルの識別能力を強化するために、0.5 の確率で一致する画像をランダムに置き換えます。つまり、画像とその対応するテキスト記述が一致しない場合が 50%の確率で発生します。
    • ITM ヘッド:プールした特徴を単一の線形層で一致/不一致の二つの logits に変え、負の対数尤度損失を計算します。
  2. 単語パッチ一致(WPA)

    画像が「リンゴを食べている男」を示している場合、そのテキスト記述は「A man is eating an apple」になります。通常の画像と言語一致(ITM)では、モデルは画像全体とテキスト全体の関連性に注目します。

    一方、WPA は Transformer の出力から、文章 token と画像 patch の表現をより細かく対照します。例えば「apple」とリンゴ付近の patch に妥当な対応ができるよう促します。ただし、人が「リンゴ領域」を正解として注釈したものではありません。近似 Wasserstein 距離を 0.1 倍して ITM 損失に加えます。

  1. マスクされた言語モデル(Masked Language Modeling, MLM)

    • ランダムマスク:BERT から着想を得て、モデルはテキストの一部をランダムにマスクし、そのコンテキストに基づいてマスクされた部分を予測します。実験では、テキストの 15%がランダムにマスクされます。
    • MLM ヘッド:モデルは 2 層の MLP を使用してマスクされたトークンを予測し、最終的な目標は予測と実際のトークンとの負の対数尤度損失を最小化することです。
  2. 全単語マスク(Whole Word Masking)

    • これは単語の一部だけではなく、選ばれた単語全体をマスクする方法です。例えば「giraffe」が gi、##raf、##fe に分かれたら、三つをまとめて隠します。残りのサブワードから答えを推測する近道を減らす狙いがあります。
    • この操作は、Pre-training with whole word masking for Chinese BERTに基づいています。
  3. 画像拡張(Image Augmentation)

    著者は下流タスクの微調整時に RandAugment を使い、color inversion と Cutout を除外しました。色を反転すると文章に書かれた色と合わなくなり、Cutout は小さな物体を消す恐れがあります。

これらを組み合わせ、著者は重い検出器なしで画像と文章を一緒に学習させようとしました。

考察

本研究では、モデルが複数のデータセット(MSCOCO、Visual Genome、SBU Captions、Google Conceptual Captions)で事前学習され、豊富な画像と言語の特徴をキャプチャすることを目的としました。

訓練中、ViLT は AdamW オプティマイザーを使用し、学習率のウォームアップと線形減衰戦略を適用して、学習率を適応的に調整しました。画像入力は元のアスペクト比を維持したまま、リサイズと対応するセグメント選択を行い、テキスト入力は BERT トークナイザーを使用して処理し、テキスト関連のパラメータをゼロから学習しました。

事前学習後、VQAv2 と NLVR2 の分類、MSCOCO と Flickr30K の検索で評価しました。分類は三つの異なる初期化とデータ順序による平均を報告し、消融表には標準偏差も載せています。一方、検索の微調整は一回のみで、すべての結果が平均と標準偏差ではありません。

この全過程は、64 台の NVIDIA V100 GPU 上で実行され、事前学習プロセスは 100K または 200K ステップをカバーし、下流タスクの訓練は 10 エポックで行われ、視覚と言語タスクの性能最適化を目指しました。

パフォーマンスはどうだったか?

VQAv2 では、ViLT-B/32 の test-dev は 70.33、微調整時の画像拡張と長い事前学習を加えると 71.26 です。表中の Pixel-BERT-R50 は 71.35、VinVL-Base は 75.95 です。著者は、物体を問う質問が多い VQA では検出器が出す分離された物体表現が有利かもしれないと推測します。これは表だけで因果関係を証明した説明ではありません。

NLVR2 は、二枚の画像と一つの文章を照らし合わせて二値分類する課題です。ViLT は各画像と文章を個別の組にして処理し、二つのプール済み表現を連結して予測します。ViLT-B/32 の dev/test-P は 74.41/74.57、長い事前学習と微調整時の拡張を加えると 75.70/76.13 です。一部のモデルとは近いものの、表中の VinVL-Base の 82.05/83.08 には及びません。

最も重要な貢献

上の表に基づき、著者は 3 つの主要な操作を提案しました:

  1. より多くの訓練ステップ

    全単語マスク、MPP、画像拡張を使わない最初の三行では、25K から 100K step まで表中の指標が上がります。ただし 100K から 200K step への別の比較では分類スコアが伸びても、微調整後の文章検索 R@1 は Flickr30K で 83.69 から 83.50、MSCOCO で 62.88 から 61.49 に下がります。

  2. 全単語マスク

    同じ 100K step で比較すると、全単語マスクにより VQAv2 は 70.16 から 70.33、NLVR2 dev は 73.54 から 74.41 に上がります。これは測定された分類タスクでの改善で、言語生成能力を測った結果ではありません。別の masked patch prediction(MPP)を加えると、表中の多くの指標はむしろ下がります。

  3. 画像拡張

    微調整時に RandAugment を加えると、100K step の VQAv2 は 70.33 から 70.85、NLVR2 dev は 74.41 から 74.91 に上がります。表中で括弧に入ったゼロショット検索の数値は、この微調整によって変わるものではありません。

複雑度の分析

VLP モデルの複雑度分析は、いくつかの異なる観点から行うことができます。具体的には、パラメータ数、浮動小数点演算(FLOP)数、推論遅延などに関連しています。以下は、いくつかの重要な点についての詳細な議論です:

  1. パラメータ数

    表中で文章埋め込みを除くと、ViLT-B/32 は 87.4M、Pixel-BERT-R50 は 94.9M、UNITER-Base は 154.7M パラメータです。パラメータ数だけで正確さや過学習の程度は決まりません。

  2. FLOPs(浮動小数点演算)数

    前向き計算の推定量です。ViLT-B/32 は 55.9G、Pixel-BERT-R50 は 136.8G、UNITER-Base は 949.9G です。ただし画像解像度や入力 token 数が異なるため、同じ入力条件での純粋なアーキテクチャ消融ではありません。

  3. 推論遅延

    著者は Xeon E5-2650 CPU と NVIDIA P40 GPU で視覚入力と Transformer の処理時間を測り、ViLT-B/32 が約 15 ms、Pixel-BERT-R50 が約 60 ms、UNITER-Base が約 900 ms と報告しました。文章埋め込みは測定から除かれ、クラス別 NMS の時間も FLOPs には現れません。

  4. 入力解像度と長さ

    異なる VLP モデルは異なる画像解像度を使用しており、これはモデルの設計目標と適用されるアプリケーションシーンに基づいています。解像度が高いほど、通常はより多くの詳細を含みますが、計算コストも大きくなります。

  5. 入力シーケンスの処理

    著者のハードウェアでは、BERT-base 型の Transformer の系列長を 300 以下で変えても処理時間の差は 1 ms 未満でした。表中の ViLT-B/32 は画像 patch 200 個と文章 token 40 個を使い、画像 patch は最大 240 個まで許します。合計の系列長には文章 token も数えます。

これらの複雑度の要素を総合的に考慮すると、VLP モデルの複雑度は計算コストやリソース使用に関連するだけでなく、モデルの適用シーンやパフォーマンスにも関連しています。これらの複雑度の起源と影響を理解することは、モデルの選択、最適化、そして実際のアプリケーションへのデプロイにとって非常に重要な指針となります。

結論

本論文が発表された時点では、ViT(Vision Transformer)がつい最近発表されたばかりで、多くの事柄や理論がまだ模索されている段階でした。

ViT が発表されてからは、多くの議論と改善の論文が登場し、トレーニング効率の向上や精度向上に関する研究や理論の議論が長期間続きました。

一方、ViLT は NLVR2 などの課題で比較可能な成績を示し、論文の測定条件では視覚入力から予測までの処理時間を大幅に短縮しました。新しい画像をその場で扱う用途には魅力があります。ただし実際のサービスでの速度は入力とハードウェアを含めて測る必要があります。

ViLT は、計算を視覚入力の符号化と画像・文章の相互作用のどちらに配分するか、という設計上の問いを示しました。モデルを大きくするだけでなく、二つのモダリティが出会う内部の仕組みを改善する道もあります。

このようなモデルは、モダリティ間の相互作用と内部構造の最適化に焦点を当てた発展の方向性を指し示しており、将来的な研究は ViLT の潜在能力と限界を探るだけでなく、より多くの革新的なモデルやアプリケーション戦略を生み出すためのインスピレーションを提供するでしょう。