論文ノートライブラリに戻る
arXiv 2020NeurIPS 2020マルチモーダル学習論文ノート

VILLA

別荘の中の魅影

原論文

Large-Scale Adversarial Training for Vision-and-Language Representation Learning

論文の著者

Zhe Gan · Yen-Chun Chen · Linjie Li · Chen Zhu · Yu Cheng · Jingjing Liu

発表先
NeurIPS 2020国際会議
arXiv への初回投稿
arXiv:2006.06195
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{multimodalityvilla2020,
  title = {{Large-Scale Adversarial Training for Vision-and-Language Representation Learning}},
  author = {Zhe Gan and Yen-Chun Chen and Linjie Li and Chen Zhu and Yu Cheng and Jingjing Liu},
  year = {2020},
  eprint = {2006.06195},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2006.06195}
}
このページの内容

今回は興味深い論文を見ていきます。

著者はこの論文で敵対的訓練の概念を導入していますが、この概念はノイズ除去(Denoising)と混同しやすいです。

そこで、敵対的訓練とノイズ除去の違いについて少し話してみましょう。

  1. ノイズ除去 (Denoising)

    目的は画像やデータ内のノイズを取り除き、元のノイズのないデータを復元することです。

    もしノイズが影響を与えた画像があるとしましょう。ノイズ除去の過程では、これらのノイズを取り除こうとし、画像を元のきれいな状態に近づけます。

  2. 敵対的訓練 (Adversarial Training)

    目的はモデルが「敵対的攻撃」に直面したときでも、正確に予測できるようにすることです。

    もしあなたがモデルを持っていて、そのモデルが意図的に作られた、モデルを誤った予測に導く可能性のあるデータに直面したとしましょう。敵対的訓練の目的は、モデルがこれらの状況に対応できるよう学ばせ、一般化能力を高めることです。

ノイズ除去はきれいなデータの復元を目指し、敵対的訓練はモデルが誤りやすい摂動を使って学習します。ただしノイズ除去に既知のノイズパターンが必須とは限らず、敵対的訓練の防御範囲も攻撃条件ごとに評価します。

モデルの学習に「想像上の敵」を連れてくるようなものです。通常の画像とテキストの組に加え、誤答を誘うように作った摂動も与えます。VILLA が実際に変えるのは画像領域の特徴と単語埋め込みです。この練習で、きれいなデータの下流タスクの成績も上がるかが論文の問いです。

定義の問題

著者は、大規模な視覚言語モデルの敵対的事前学習と微調整について初期の研究として位置付けています。では、実際にどれほど効くのでしょう?

著者は、敵対的訓練の概念をどのように効果的にマルチモーダルタスクに適用するか、しかも効果的に実行する方法を探りたいと考えています。

クリーンなデータでの汎化を良くしながら、追加の計算負担も抑えたいところです。この論文の評価は主にクリーン入力の下流タスクです。

問題の解決

ここでは少し難しくなりますが、一緒に読んでみましょう。

著者は、モデル全体を構築するために三つの部分に分けています。

VILLA モデル設計

この段階の主な目的は、異なる下流タスクで適用可能な汎用的な画像とテキストの表現を学習することです。

  1. データセット

    データセット(論文内では、事前学習データセットを Dp で表現)が使用され、画像とテキストのペア(X_img, X_txt)で構成されています。

  2. 特徴表現

    • 画像(X_img)はまず、固定の bottom-up 特徴抽出器 (g_bu(·)) を通じて特徴ベクトルに変換されます。
    • テキスト(X_txt)は、学習可能な単語埋め込み関数 (g_emb(·)) を通じて特徴ベクトルに変換されます。
  3. マルチモーダル統合

    画像とテキストの特徴を統合するために、複数の層からなる Transformer 構造が使用されます。この構造は、自然言語処理や他のマルチモーダルタスクで非常に人気があります。ここで、[CLS]トークンには特別な意味があり、そのエンコードされた内容がマルチモーダルタスクの統合表現として使用されます。

事前学習タスク

その中で、MLM(Masked Language Modeling)と ITM(Image-Text Matching)は、以前の論文で何度も触れましたので、ここでは簡単に触れるだけで、MRM(Masked Region Modeling)の戦略について詳しく説明します。

  • マスク付き言語モデル (MLM)

    マスク付き言語モデルの過程では、モデルの入力トークンの約 15%がランダムに選ばれ、マスクされます。マスクの意味は、特定のトークンの元の値を隠すことで、モデルがそれを直接見ることができないようにすることです。その後、モデルの仕事は、これらのマスクされたトークンの実際の値を回復しようとすることです。モデルは、他のマスクされていない言語トークンや提供された視覚トークンに依存して回復予測を行う必要があります。

  • 画像テキスト一致 (ITM)

    画像テキスト一致(ITM)は、入力した画像とテキストが対応するかどうかの二値分類です。

  • マスク付き領域モデル (MRM)

    MRM は、残りの画像領域とテキストからマスクした領域の目標を予測する、MLM に似た事前学習タスクです。ただしここで紹介するのは一般的なタスクであり、この論文の UNITER への VILLA 適用は MLM と ITM を使います。

    画像データ X_img から領域を選び、その特徴をゼロにします。モデルが予測する対象は生の画素に限らず、検出器のラベルや確率分布、特徴である場合があります。

    他のマスクされていないマルチモーダル情報(画像の他の部分や関連するテキスト記述など)を与えられた場合、モデルの仕事はマスクされた領域の正しい内容を予測することです。この予測は、交差エントロピー損失、KL ダイバージェンス損失、または対照学習などで量化できます。

二段階の敵対的訓練

ここで言う二段階とは、事前学習と微調整のことを指します。

この部分では、事前学習と微調整の二つの段階でどのように敵対的訓練を行うか、その関係について議論されています。

  1. 事前学習と微調整の接続

    事前学習と微調整は、ほとんどの深層学習プロセスにおける二つの主要な段階です。事前学習段階は、モデルの基本的な理解と基本的な特徴抽出能力を得るためのものです。微調整段階では、特定のタスクに対する専門的な訓練が行われます。この二つの段階は密接に関連しており、事前学習が微調整段階に必要な基盤を提供します。

  2. クロスモーダルな統合理解の重要性

    モデルは、MLM や VQA などの異なるタスクにおいて、画像とテキストの内容を同時に理解するクロスモーダルな理解を行う必要があります。例えば、画像に犬が写っている場合、モデルはその視覚情報を「犬」というテキストと関連付ける必要があります。

  3. 敵対的訓練の仮定

    • 最初の仮定は、敵対的事前学習がモデルの一般化能力を強化でき、それが微調整段階に有益であるというものです。一般化能力とは、モデルが未見のデータに対してどのようにパフォーマンスを発揮するかということです。
    • 二番目の仮定は、微調整段階で特定のタスクに対する訓練データを用いて再度敵対的訓練を行うことで、モデルのパフォーマンスをさらに向上させることができるというものです。
  4. 共有された数学的な公式

    事前学習と微調整の二つの段階は数学的に似ているため、同じ敵対的訓練方法を使用できます。

ここで強調したいのは、二つの段階とも敵対的訓練を行えることです。論文は主にクリーン入力の下流成績で汎化を評価し、敵対的攻撃の成功率では頑健性を測っていません。

敵対的訓練は、事前学習段階でモデルの基本的な一般化能力を強化し、微調整段階では特定のタスクに合わせてさらにモデルのパフォーマンスを向上させることができます。

摂動(Perturbations)

この部分では、画像とテキストの埋め込み空間に敵対的摂動を加えて敵対的訓練を行う方法について探求しています。

  1. 画像モーダルの摂動

    最先端の V+L モデルでは、モデルは通常、事前学習済みの物体検出器から得られた画像特徴を入力として使用します。従来のようにピクセル空間に摂動を加える方法とは異なり、ここでは特徴の埋め込み空間で直接敵対的摂動を加える方法が選ばれています。例えば、犬の画像を考えた場合、ここでは画像のピクセルに対して微調整を行うのではなく、その画像がモデル内で持つ特徴表現に微小な摂動を加えます。この方法の主な利点は、特徴量をより精密に操作できることです。

  2. テキストモーダルの摂動

    画像のピクセルの連続的な値とは異なり、テキストのトークンは離散的であり、そのため操作が難しくなります。従来、テキストモーダルで意味を保持したまま敵対的な例を作成することは困難でした。しかし、本文では単語の埋め込み空間に摂動を加える方法を選んでいます。これにより、元のテキスト内容を直接変更せずに、モデルの予測に影響を与えることができます。

    例えば「The dog barks.」なら、「dog」を別の単語へ置換するのではなく、その単語の埋め込みベクトルに有界な摂動を加えます。

  3. 位置エンコーディング

    事前学習された V+L モデルでは、位置エンコーディングが画像領域やサブワードトークンの位置をエンコードするために使用されています。ここでの敵対的訓練方法では、画像と単語のエンコーディングのみを変更し、その他の特徴は変更しません。

  4. 同時摂動の考慮

    著者は画像またはテキストをそれぞれ摂動し、両方から得る学習損失を合わせます。目標は元ラベルを保ち、予測分布もクリーン入力に近づけることです。

マルチモーダル「自由」敵対的訓練

このセクションでは、VILLA モデルで使用されているマルチモーダル「自由」敵対的訓練法について説明しています。これにはいくつかの数学的公式と技術的詳細が含まれており、詳細に見ていきましょう。

  • 訓練目標

    VILLA では画像領域特徴と単語埋め込みに有界な摂動を加え、元の教師ラベルを保つように学習します。論文が主に示すのはクリーンな下流データでの汎化の改善で、実際の攻撃に対する頑健性は直接測っていません。

    この目標を達成するために、訓練過程では以下の三つの主要な損失項が考慮されます:

    1. 標準的な交差エントロピー損失(L-std)

      クリーン入力に対する教師ラベルで計算する損失です。事前学習と微調整では、各タスクの教師信号を使います。

    2. ラベル保持の敵対的訓練損失(R-at)

      画像とテキストの埋め込みについて、それぞれ損失を増やす摂動を探し、元の教師ラベルでモデルを訓練します。これは目標であり、すべての摂動入力が正しく予測される保証ではありません。

    3. 細粒度の敵対的正則化項(R-kl)

      対称 KL ダイバージェンスで、摂動を受けた入力とクリーン入力の予測確率分布を近づけます。これも学習上の制約です。

  • マルチモーダルの敵対的摂動

    VILLA は学習時に、画像領域特徴と単語埋め込みへそれぞれ敵対的な摂動を加えます。これで下流タスクの汎化を改善しようとしますが、すべての雑音や攻撃に対する保証ではありません。

    摂動は無制限ではなく、ノルムの上限内に射影します。これは埋め込み空間での大きさの制約で、人が読める文章や画像の意味が必ず保存される証明ではありません。

    次に、モデルの訓練には二つの主要な最適化ステップが含まれます:外部の最小化と内部の最大化です。外部の最小化は、全体の訓練過程においてモデルの予測エラー(つまり損失)をできるだけ小さくすることを目的としており、このステップは一般的な勾配降下法(SGD など)を使用して達成されます。内部の最大化は、敵対的摂動を探索する際に、これらの摂動がモデルの損失を最大化することを目指し、最もモデルに干渉する摂動を見つけることを目指しています。この最適化は、PGD(Projected Gradient Descent)という手法で行われます。

    画像モーダルを考慮すると、PGD は摂動が損失に与える影響を計算するために、損失の勾配を求めます。そして、損失を最大化する新しい摂動を見つけるために、その勾配方向に小さなステップを踏みます。このプロセスは繰り返し行われ、指定された反復回数または摂動の大きさの制限に達するまで続けられます。

    あなたが機械学習モデルを訓練していて、その仕事が「犬」か「猫」の写真を区別することであると想像してください。元の画像エンコーディングは、その写真から抽出された特徴や情報です。

    1. 敵対的摂動の追加

      学習中に写真から抽出された領域特徴を、猫と犬の分類が難しくなる方向へ少し動かすとします。ここで変えるのは画素ではなく、その特徴ベクトルです。

    2. ノルム制限

      ベクトルの変化にはノルムの上限があります。

    3. 最適化

      訓練の各反復で、モデルはこれらの微調整がどのように行われるかを特定し、それらを無視する方法を学んで、実際に「犬」と「猫」を区別する特徴に集中できるようにします。SGD を使用して、モデルはこれらの微調整の影響に基づいてパラメータを調整し、微調整された画像でのエラー率を減らします。そして、PGD を使用して、モデルは最も自分を間違えさせる可能性のある微調整を見つけ、最悪のシナリオに基づいて学習と調整を行います。

  • 敵対的正則化のさらに強化

    敵対的正則化では、モデルの予測分布が摂動の前後で大きく変わらないように学習します。これは一般化を狙う訓練上の制約です。

    元ラベルへの損失に加えて、摂動前後の確率分布全体を近づけます。「猫」と「犬」の各確率が近くなるよう促すものです。

自由な敵対的訓練戦略

敵対的訓練(Adversarial Training、AT)は摂動を使って学ぶ方法です。著者は「Free」と呼ばれる戦略を使います。(原文の free は「無料」か「自由」か、訳に迷いますね。)ここでは同じ摂動探索で得た勾配をモデルの更新にも使うという意味で、計算量がゼロという話ではありません。

  • K-step PGD の計算コスト

    PGD(Projected Gradient Descent)は敵対的訓練でよく使用される手法です。K-step PGD を使用する場合、モデルを K 回の前向きと逆向きの伝播を通じて計算する必要があり、非常に時間がかかります。さらに、K ステップ後の最後のステップで生成される摂動のみがモデルの訓練に使用されるため、それ以前のすべてのステップは最終的な摂動を生成するためだけに行われます。

  • 解決方法:FreeLB

    著者は FreeLB の考えを使います。PGD の各反復で摂動の勾配とモデルパラメータの勾配を計算し、後者を蓄積します。モデルパラメータは毎回更新せず、K 回分を蓄積・平均してから一度更新します。各反復の forward と backward は必要です。

    途中の摂動も学習信号として使い、K 倍の「仮想的」なミニバッチを作るのが利点です。

比喩を使って説明すると:

自転車を組み立てていると想像してください。各ステップで特定の部品を取り付ける必要があります。

  • 従来の K-step PGD 方法

    これは、自転車の組み立ての各ステップごとに、その部分が正常に機能するかどうかを確認するようなものです。例えば、ペダルを取り付けた後に少し乗ってみて、次にチェーンを取り付けてまた少し乗り、再度確認する。このようにして、各部品を取り付けるたびにテストを行います。これにより、各部品が正しく取り付けられていることを確認できますが、非常に時間がかかります。

    従来の方法では、モデルの更新に主に最後の摂動を使い、途中の検査で得た情報は更新に十分生かされません。

  • FreeLB 戦略

    では、別の組み立て戦略を想像してみましょう。

    この場合も各ステップで自転車を検査します。ただし、そのたびに見つけた問題を記録しておきます(各摂動でパラメータの勾配を蓄積することに相当します)。最後に記録をまとめて一度調整します。

    こう考えると、同じ探索の途中からも学習できる点は伝わるでしょう。ただし K 回の検査に相当する計算は残り、論文も標準訓練より計算負担が増すことを記しています。

もちろん、すべての比喩には限界があり、目標となる概念に完璧に対応することはできませんが、この説明が感覚をつかむ助けとなることを願っています。

考察

この論文の焦点は実際には敵対的訓練の設計に集中しています。

しかし、この設計が良いのか、どれほど良いのかを見ていく必要があります。

実験設定

VILLA の効果を見るため、著者は V+L の事前学習モデルをさまざまな下流タスクで評価しました。視覚質問応答(VQA)、視覚常識推論(VCR)、参照表現理解(Referring Expression Comprehension, RE)、視覚的含意、画像テキスト検索、NLVR2 などです。

まず UNITER に適用して下流タスクと消融を調べ、別の V+L モデル LXMERT では敵対的微調整への適用可能性を確かめます。

もしこれらのモデルについてまだ見ていない場合は、以下を参照してください:

  • リンク: LXMERT、UNITER

  • 主要なモデル設定:UNITER と LXMERT

    • UNITER

      • UNITER-base:これは単一ストリームモデルで、12 層があり、各層には 768 の隠れユニットと 12 のアテンションヘッドがあります。
      • UNITER-large:より大きなバージョンで、24 層があり、各層には 1024 の隠れユニットと 16 のアテンションヘッドがあります。
      • BERT の構造と同様ですが、その入力は二種類のモーダル(視覚と言語)の混合シーケンスを結合しています。
    • LXMERT

      • LXMERT は二重ストリームモデルで、まず各モーダルで独立した自己注意を使用して複数の層で処理を行い(テキストは 9 層、画像は 5 層)、その後、二つのストリームの出力を融合し、さらに 5 層の処理を行います。これには交差注意と自己注意が含まれます。
  • 設定の詳細

    • UNITER の実験では、著者は四つの主要な大規模データセットを使用して事前学習を行いました。これらは COCO、Visual Genome(VG)、Conceptual Captions、SBU Captions です。
    • UNITER の MLM と ITM に敵対的事前学習を適用します。base の 20 万ステップは通常学習 10 万+敵対的学習 10 万、large の 50 万ステップは 42.5 万+7.5 万です。総ステップ数は揃えても、敵対的ステップには追加計算が要ります。

VILLA の UNITER での効果と分析

  1. VILLA と他の事前学習 V+L モデルの比較

    • VILLA は表の多くの指標で従来モデルより高いですが、全列ではありません。例えば Flickr30k の画像検索 R@10 は VILLA-base の 95.82 が UNITER-base の 96.08 を下回ります。
    • VILLA-base と UNITER-base は、同じ分割・指標で比べます:
  2. VQA test-std:UNITER-base より 0.76 ポイント向上

    • VCR Q→AR:表の括弧内のアンサンブルでは 60.6 対 58.2 で +2.4 ポイント。単一モデルでは 59.75 対 57.76 で +1.99 ポイント。
    • NLVR2 test-P:79.30 対 77.85 で +1.45 ポイント。
    • SNLI-VE test:79.03 対 78.28 で +0.75 ポイント。
    • Flickr30k 画像/テキスト検索:UNITER-base に対して+2.22/+0.70(R@1)の向上
    • 3 つの RE データセットの平均は +0.99 ポイント。個別の分割での増分は同じではありません。
  3. VILLA-large モデルの効果向上

    • 全体的なパフォーマンスにおいて、同様の向上傾向が見られました。
    • VCR Q→AR:括弧内のアンサンブルでは 65.7 対 62.8 で +2.9 ポイント、単一モデルでは 65.18 対 62.59 で +2.59 ポイント。著者は社会的状況や常識推論の複雑さが増分に関わると推測します。
    • VQA の基準:74.02 から 74.87 に向上。
    • アンサンブルでは VQA test-std が 75.85 に達します。上の 74.87 は単一モデルです。

VILLA の詳細な分析

  1. 事前学習 vs. 微調整

    UNITER-base モデルを使用して、事前学習と微調整段階での敵対的訓練の効果を研究しています。

    • UNITER (reimp.):標準訓練で再実装された UNITER-base モデル。
    • VILLA-pre vs. VILLA-fine:それぞれ事前学習または微調整段階でのみ敵対的訓練が適用されたモデル。
    • 結果:VILLA-pre と VILLA-fine は、6 つの評価タスクでそれぞれ+0.51 および+0.82 のパフォーマンス向上をもたらしました。両者を組み合わせることで+1.15 の向上が得られました。

    3 タスクの曲線では、後半の VILLA の検証成績が UNITER より高いです。ただし VQA の序盤は UNITER が上にいる区間もあります。

  2. 画像 vs. テキストモーダル(表 3a)

    ここでの敵対的例は画像領域特徴や単語埋め込みに摂動を与えたものです。表 3a はテキストだけ、画像だけ、両方の学習信号を使う設定を比べます。

    • 実験結果
      • 画像の独立した摂動:画像特徴だけに摂動を加えても、表では改善します。従来の画像分類では、敵対的訓練がクリーン画像の精度と両立しにくいという報告もあり、興味深い結果です。
      • 直感と実際の結果:片方だけでも改善しますが、両方を使う設定は VILLA-base の VQA/VCR Q→AR、VILLA-large の表中 4 列で最高です。論文は同時に摂動する方法と交互に摂動する方法も比べ、結果が近いと注記しています。

    VCR(視覚常識推論)での増分はこの消融では VQA より大きいです。社会的状況や常識推論が複雑だからかもしれない、という著者の解釈ですが、表だけで成因を切り分けたものではありません。

  3. FreeLB vs. VILLA(表 3b)

    FreeLB と VILLA-fine を VQA と VCR で比べます。表 3b の VILLA-fine は各列で FreeLB より高く、base の VQA は 72.82→73.29、VCR Q→AR は 58.73→59.30 です。細粒度の敵対的正則化の効果を、この微調整設定で支持します。


    しかし、ちょっと待ってください。以前、VILLA が採用している戦略は FreeLB だと言っていませんでしたか?それではなぜ再び比較しているのでしょうか?

    VILLA は FreeLB の戦略を使用して敵対的訓練を行います。VILLA は、いくつかの追加的な戦略や正則化手法を組み込んだ、より包括的なフレームワークです。例えば、モデルの効果を最適化・強化するための細粒度の敵対的正則化項がその一例です。

    「FreeLB vs. VILLA」では、FreeLB の勾配蓄積に細粒度の KL 正則化を加えた VILLA-fine が、表の VQA/VCR 指標をさらに上げられるかを見ています。

    支持できるのは、このモデルとタスクにおけるアブレーション結果です。あらゆる敵対的訓練タスクへの保証にはなりません。

  4. LXMERT での結果

    UNITER だけでなく LXMERT にも使えるか、VILLA-fine を適用します。表 5 では LXMERT の再実装に対し、VQA test-dev が 72.50→73.02、GQA test-dev が 59.92→60.98、NLVR2 test-P が 74.75→75.73 です。VQA は表 1 の UNITER-base 72.70 と比べられますが、NLVR2 は UNITER-base 77.85 より低いままです。

    Meta-Ave. は 69.12→70.00、+0.88 ポイントです。これは LXMERT への敵対的微調整の適用可能性を示す結果で、LXMERT には VILLA の敵対的事前学習を行っていません。

結論

深層学習で敵対的攻撃と頑健性を考えるのは重要です。この論文は視覚と言語モデルの敵対的訓練によるクリーンな下流データへの汎化を調べています。実画像の画素まで勾配を戻して攻撃を作ることや、視覚文脈に合う敵対的な文章を作ることは、なお課題として残ります。

VILLA は視覚と言語の表現学習に敵対的訓練を使う枠組みです。事前学習と微調整の両段階で、埋め込み空間に摂動を加えます。調べた多くのベンチマークではクリーン入力の成績が改善しました。

著者は VILLA を「プラグイン」のような訓練手法と捉えています。推論用のモデル構造を大きく変えずに、事前学習や微調整へ敵対的訓練を加える発想です。ただし実際の学習は必要で、公開時にスイッチを入れるだけではありません。1〜3 ポイント程度の改善も、この論文で調べたモデル、タスク、指標に限った結果です。

最後に、著者は VILLA の効果が顕著である一方で、敵対的訓練の時間がかかることが一つの大きな課題であることにも触れています。今後、著者はより効率的な敵対的訓練方法を見つけ出し、大規模な事前学習を日常的な実践でより実行可能にすることを期待しています。