Learning to Prompt for Vision-Language Models
- arXiv への初回投稿
- arXiv:2109.01134
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{modeltuningcoop2021,
title = {{Learning to Prompt for Vision-Language Models}},
author = {Kaiyang Zhou and Jingkang Yang and Chen Change Loy and Ziwei Liu},
year = {2021},
eprint = {2109.01134},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2109.01134}
}
少し前に Soft Prompts という論文を見ましたが、今度はその後の関連応用を見ていきましょう。
このような外部プラグインを使ったモデル調整の方法は、通常 LLM や VLM を対象にしています。
そして、この論文の著者が設定した目標は VLM、正確には私たちがよく知っている CLIP です。
CLIP 論文は 2021 年 3 月に arXiv に掲載され、Prompt Tuning 論文は同年 4 月に発表されました。連続的プロンプトには、それ以前の Prefix-Tuning などの研究もあり、4 月の論文だけが概念の出発点ではありません。
そこで著者は Soft Prompts の概念を CLIP に適用し、今回の論文が生まれたのです。
問題の定義
ここで定義された問題は Soft Prompts と同様に、手作業で設計されたプロンプトに多くの欠点があり、異なるモデルやタスクに対して全く異なる結果が現れることです。
上の図のように、CLIP を例にとると、a photo of [CLASS]というプロンプトを使うと、約 80%の精度が得られますが、aを加えてa photo of a [CLASS]にすると、精度は 86%に上がります!
図の四つのパネルは別々のデータセットです。Caltech101 は冠詞 a の違い、他は flower、texture、satellite などのタスクに関連する語の効果を示しています。
どうしてこんなことが起こるのでしょうか?たった数語の違いでこんなにも大きな差が出るのは?
CLIP の復習
おそらく CLIP の論文を読まないと思いますので、簡単に CLIP の構造を復習しましょう。
CLIP には 2 つのエンコーダーがあります:
- 画像エンコーダー:高次元の画像データを低次元の特徴空間に埋め込みます。画像エンコーダーは CNN または ViT を使用することができます。
- テキストエンコーダー:Transformer ベースで、自然言語をテキストの埋め込み表現に変換します。
テキストを byte-level BPE で分割し、token embedding に変換します。ここでよく使う設定のテキスト幅は 512 ですが、CLIP の変種によって異なります。開始・終了トークンを含めて最大 77 トークンとし、終了位置の表現を LayerNorm と線形投影で処理します。論文の語彙数は 49,152 と記載されていますが、公開 tokenizer は特殊トークンを含め 49,408 です。実装では使用するモデルの設定に従います。
CLIP の学習目標は、画像とテキストの埋め込み空間を整列させることです。この概念は、画像-テキストペアのバッチを与え、モデルがペアのサンプル間の余弦類似度を最大化し、未ペアのサンプル間の余弦類似度を最小化することです。
CLIP の訓練データセットは非常に大規模で、モデルが多様な視覚的概念を学べるように、4 億組の画像-テキストペアから成る大規模な訓練データを集めました。
復習はこれで終了です。これであなたも CLIP の達人ですね。
問題の解決
モデル構造
上の図はコンテキスト最適化(Context Optimization, CoOp)の構造で、コンテキスト単語をデータから学習可能な連続ベクトルとしてモデル化し、手動でのプロンプト調整を避けています。
CLIP の両エンコーダーを凍結し、ラベル付き画像の分類交差エントロピーで context ベクトルだけを更新します。勾配はそのベクトルへ届くよう、テキストエンコーダーを通過します。以下の は画像 の特徴、 はクラス数、 は温度です。クラス名は複数トークンになることもあります。
著者はこの方法を 2 つの異なる訓練方法に分けています:
-
統一されたコンテキスト
原文は Unified Context、略して UC です。
プロンプト設計において、すべてのクラスに対して同じコンテキスト単語ベクトルを使い、統一されたプロンプトを構成します。プロンプトの構造は以下のようになります:
ここで、()は単語埋め込みの次元と同じ次元のベクトルで、例えば CLIP の特徴次元が 512 の場合、はコンテキスト単語の数を示すハイパーパラメータです。
推論プロセスは以下のようになります:
- プロンプトをテキストエンコーダーに渡し、対応する分類重みベクトルを取得します(これも
[EOS]の位置から取ります)。 - 予測確率は以下の式で計算されます:
ここで、は第クラス用のプロンプトで、そのクラス名を含む単語埋め込みベクトルです。
- プロンプトをテキストエンコーダーに渡し、対応する分類重みベクトルを取得します(これも
-
クラス専用コンテキスト
原文は Class-Specific Context、略して CSC です。
プロンプト設計において、各クラスに対して独立したコンテキスト単語ベクトルを使用します。
プロンプトの構造は以下のようになります:
ここで、()は単語埋め込み次元と同じ次元のベクトルで、はコンテキスト単語の数を示すハイパーパラメータです。
推論プロセスは以下のようになります:
- プロンプトをテキストエンコーダーに渡し、対応する分類重みベクトルを取得します(これも
[EOS]の位置から取ります)。 - 予測確率は以下の式で計算されます:
ここで、は第クラス用のプロンプトで、そのクラス名を含む単語埋め込みベクトルです。
- プロンプトをテキストエンコーダーに渡し、対応する分類重みベクトルを取得します(これも
議論
複数のデータセットでの効果
実線はCoOpがCLIPを改善した結果、星印はゼロショットCLIP
破線は線形プローブの代替案。
はコンテキストの長さ
「end」または「mid」はクラスラベルが末尾または中央に配置されることを示します
CSCはクラス固有のコンテキストを意味します。
平均では CoOp は各クラス 2 例のラベル付き画像でゼロショット CLIP を上回ります。データセット全体で二枚という意味でも、全データセットでの改善保証でもありません。各クラス 16 例では、平均正解率が約 15 ポイント向上します。
EuroSAT と DTD の 2 つの専用タスクでは、16-shot 時の性能向上はそれぞれ 45 ポイント以上と 20 ポイント以上でした。細かい粒度のデータセット(Flowers102、StanfordCars、FGVCAircraft)やシーン・アクション認識データセット(SUN397、UCF101)でも、性能向上は 10 ポイント以上でした。
ImageNet のような挑戦的なデータセット(1,000 クラス)でも 4.77 ポイントの向上がありました。
UC と CSC の比較
先ほど、統一されたコンテキスト(Unified Context)とクラス専用コンテキスト(CSC)について触れましたが、どちらの方が効果的だったのでしょうか?
ここでも上の図を参考に、CSC ありと CSC なしの UC の効果を比較してみましょう。
平均的に見ると、UC はほとんどのシーンで良い結果を出しています。16-shot では、CSC は Flowers102、FGVCAircraft や EuroSAT などで良い結果を示しますが、図の StanfordCars と DTD では UC が上回ります。8-shot 未満でも CSC は UC に劣る場合が多くあります。
つまり、タスクの要求に応じて適切なバージョンを選択することで、性能がさらに向上する可能性があります。
一般化能力の転送
CLIP は非常に強力なゼロショット能力を持っていますが、著者は CoOp が特定のデータセットで微調整されることによって、CLIP の一般化能力が影響を受けないか心配していました。
表のsourceはImageNetを使って微調整した場合、targetは一般化能力をテストするデータセットです。
CoOp は多くの設定で分布シフトへの性能を維持・改善し、短い context(特に )がより頑健な傾向にあります。ImageNet の既知クラスで分布を変える評価と、未見クラスへの汎化は区別する必要があります。
プロンプトの長さはどのくらい必要か?
著者は 11 のデータセットで実験し、コンテキストの長さを 4、8、16 に設定しました。
実験の結果、コンテキスト単語数を増やすと 11 データセットの平均精度は通常向上しました。mid は 4 から 8 トークンへの増加が大きい一方、16 トークンでは end が mid をわずかに上回ります。固定された最適な長さはなく、元のデータセットでの精度と分布転送の頑健性とのバランスを取る必要があります。
初期化方法
著者はランダム初期化と手動初期化の効果を比較しました。手動初期化は「a photo of a」の埋め込みベクトルを使用しました。
結果として、良い初期化は性能に大きな影響を与えないことが分かりました。初期化単語を調整することで役立つ場合もありますが、ランダム初期化でも実務では十分に効率的であることが示されました。
プロンプトの解釈性
コンテキストベクトルは連続空間で最適化されるため、直接的に解釈することは難しいです。
著者はユークリッド距離に基づいて、学習した context ベクトルに最も近い語を語彙表から探しました。
いくつかのデータセットでの検索結果を以下に示します:
- Food101:「enjoyed」がタスクに関連しています。
- OxfordPets:「fluffy」、「paw」が一定の関連性を持っています。
- DTD:「pretty」が素材の説明に反映されています。
近い単語は手がかりになりますが、連続ベクトルの完全な翻訳ではありません。ベクトルは同じ埋め込み空間にあり、語彙表の離散的な点の間にも位置できます。
結論
本研究の実験結果は、CoOp が複数のデータセットで優れた性能を示し、特に領域の一般化能力において手作業で設計されたプロンプトを大きく上回ることを示しています。この結果は、データ効率の良い学習における CoOp の潜在能力と利点を示しています。
プロンプト学習を大規模視覚モデルに適応させるための最初の包括的な研究として、この研究は重要な創造的意義を持ち、プロンプト学習に実証的なサポートを提供するとともに、今後の研究に基盤を築きました。