Prefix-Tuning: Optimizing Continuous Prompts for Generation
- 発表先
- ACL-IJCNLP 2021国際会議
- arXiv への初回投稿
- arXiv:2101.00190
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{modeltuningprefixtuning2021,
title = {{Prefix-Tuning: Optimizing Continuous Prompts for Generation}},
author = {Xiang Lisa Li and Percy Liang},
year = {2021},
eprint = {2101.00190},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2101.00190}
}
他人が学習済みの言語モデルを使うとき、よくある方法は次のとおりです:
-
Fine-tuning:モデルのパラメータを新しいタスクに合わせて調整する。
全パラメータ微調整ではモデルの勾配と optimizer の状態を保存する。必要な資源はモデルとタスクによって異なる。
-
Prompt-based:設計されたプロンプトを使って、モデルに望む結果を導き出す。
例えば、要約のタスクを行う場合、モデルに要約を生成させるためにプロンプトを設計します。異なるモデルでは異なるプロンプトが必要です。例えば:
- GPT-3:
Summarize with 3 sentences about the following article: - T5:
summarize the following article: - BART:
Document summarization: - ...
ただし、モデルが変われば癖も変わるので、毎回テストをやり直す必要があります。
- GPT-3:
これ以外に方法はありませんか?
もちろん!研究者たちに足りないものは創造力ではありません。
最近、AutoPromptという方法が提案され、自動的に最適なプロンプトを見つけることで、Fine-tuning と Prompt-based の利点を組み合わせました。
AutoPrompt は勾配を手掛かりに離散的な trigger token を探索する。Prefix-Tuning のように自由な連続プレフィックスベクトルを学習する方法ではない。
上記の自然言語 prompt は概念例だ。T5/BART の checkpoint がその指示に従うかは訓練・微調整に依存する。
問題定義
課題は、生成タスクごとに全重みを更新・保存せず、大きなモデルを共有する方法だ。
Prefix-Tuning は、後続位置から注意を向けられる連続的な「仮想トークン」の活性を加える。完全版は複数層のプレフィックス活性を直接調整し、入力 embedding に単語を一つ足すだけではない。
待ってください、それは AutoPrompt がやっていることではないですか?
その通りです!
違いは、AutoPrompt の方法が「既に訓練された」トークンから適切なプロンプトを組み合わせるのに対し、Prefix-Tuning は「特徴空間で」最適なトークンを訓練によって直接生成するということです。
違いは最適化できる空間にある。離散プロンプトは語彙の embedding に制約されるが、連続プレフィックスは各層の活性を自由に最適化できる。この活性は通常、文字列としては読み出せない。
解決策
モデルアーキテクチャ
上図は Prefix-Tuning のモデルアーキテクチャの示意図で、このアーキテクチャは以下の部分を含みます:
-
学習可能なプレフィックスパラメータ :これは各層で系列の先頭に置く仮想トークンの連続的な活性であり、その長さは設定可能です。BART のようなエンコーダ・デコーダモデルでは両側にそれぞれプレフィックスを置きます。訓練中に最適化し、特定のタスクに応じた出力を導きます。
-
固定した事前学習済み言語モデル :実験は表からの生成に GPT-2、要約に BART を使う。 は凍結するが、モデルを通してプレフィックスへ勾配を伝える計算と activation メモリは必要だ。
-
入力シーケンス :これはタスクの入力で、要約する必要がある記事や記述する必要がある表形式データなどです。
-
出力シーケンス :これはモデルが生成する必要がある出力で、例えば記事の要約や表のテキスト記述です。
実装の詳細
Prefix-Tuning の実装にはいくつかの手順があります:
-
プレフィックスパラメータの初期化:まず、プレフィックス用の学習可能なパラメータ行列 を作成します。サイズは で、 はプレフィックスの長さ、 は同じ位置の各層の活性を連結した全体の次元であり、単一の隠れ層の幅ではありません。
-
再パラメータ化:
高次元の を直接最適化すると最適化が不安定になる可能性があるため、著者は再パラメータ化戦略を採用しました:
- 低次元表現 :小さな行列 を作成します。そのサイズは で、 です。
- 多層パーセプトロン(MLP):多層パーセプトロン を使用して を高次元の にマッピングします:
- 最適化プロセス:訓練中は、 のパラメータと MLP の重み を最適化し、事前訓練された言語モデルのパラメータ は固定します。
-
モデルの前向き伝播:
- プレフィックス部分:プレフィックスの各位置 に対して、活性化値は から直接取ります:
- 入力シーケンス部分:入力シーケンス と出力シーケンス に対して、活性化値は事前訓練されたモデルの計算方法に従って、プレフィックスの活性化の影響を受けます: これは自己回帰モデルで とした説明だ。 は一位置の全層の活性をまとめたもの(実装では層ごとの key/value)で、単一層の隠れ幅ではない。BART では encoder と decoder にプレフィックスを設ける。
モデルの訓練目標は、出力シーケンス の対数尤度関数を最大化することです:
ここでは、プレフィックスパラメータ のみを最適化し、言語モデルのパラメータ は固定されます。
訓練後は を計算して保存し、再パラメータ化用 MLP を破棄できる。推論では層ごとのプレフィックス活性を読み込み、新しい入力と出力から参照する。
データセット設定
-
Table-to-Text 生成タスク:
- 三つのデータセットを使用し、複雑さと規模の順に並べます:
- E2E (Novikova et al., 2017):
- 1 つの領域(レストランレビュー)、約 50K データ、8 つのフィールドを含む。
- 各データに複数のテスト参照が対応、平均出力長は 22.9。
- 評価指標:BLEU、NIST、METEOR、ROUGE-L、CIDEr。
- WebNLG (Gardent et al., 2017):
- 22K データ、入力は(subject, property, object)の三項関係。
- 14 の領域をカバー、テストセットは「既知」と「未知」のカテゴリに分かれ、モデルの一般化能力を検証。
- 平均出力長は 22.5。
- 評価指標:BLEU、METEOR、TER。
- DART (Radev et al., 2020):
- オープン領域データセット、82K データ、入力フォーマットは WebNLG に似ている。
- WikiSQL、WikiTableQuestions、E2E、WebNLG からデータ。
- 平均出力長は 21.6。
- 評価指標:BLEU、METEOR、TER、MoverScore、BERTScore、BLEURT。
- E2E (Novikova et al., 2017):
- 三つのデータセットを使用し、複雑さと規模の順に並べます:
-
要約生成タスク:
- XSUM (Narayan et al., 2018):
- 225K 件のニュース要約データ、記事の平均長さは 431 語、要約の平均長さは 23.3 語。
- 評価指標:ROUGE-1、ROUGE-2、ROUGE-L。
- XSUM (Narayan et al., 2018):
考察
表からのテキスト生成性能
Prefix-Tuning は 0.1%のタスク特有のパラメータのみで、他の軽量化手法を超えるパフォーマンスを発揮しました:
- Adapter-Tuning (ADAPTER):同じ 0.1%のパラメータを使用していますが、Prefix-Tuning はBLEUスコアで平均4.1 点向上しました。
- FT-TOP2:入力側の最初の 2 層ではなく、出力に近い最上位の 2 層を微調整する。
Prefix-Tuning のパフォーマンスは、完全な Fine-tuning に匹敵し、時にはそれを上回ることもあります。Adapter-Tuning(3.0%のパラメータ)に対しても、Prefix-Tuning は遜色ないパフォーマンスを発揮しました。
Prefix-Tuning は E2E、WebNLG、DART の 3 つのデータセットで似た比較上の優位性を示し、これらの表からテキストを生成するタスクへの適用を支持しています。特に DART の結果は、異なるドメインや多様な関係を含む表も扱えることを示します。未見テーマへの外挿能力は、後述の独立した評価で確認します。
GPT-2 Medium および GPT-2 Large の実験では、Prefix-Tuning はモデルの規模が大きくなるにつれてパフォーマンスを維持できることが示され、GPT-3 のようなより大規模なモデルにも適用可能であることが示唆されました。
要約生成性能
2%のパラメータを使用した場合、Prefix-Tuning のROUGE-Lスコアは36.05で、完全な微調整モデルの37.25にはわずかに劣ります。さらにパラメータを0.1%に減らすと、Prefix-Tuning のROUGE-Lスコアは35.05に低下し、少ないパラメータで性能が低下することが示されました。
Prefix-Tuning は要約生成タスクでのパフォーマンスが完全微調整に及ばない場合がありますが、その理由として以下の要因が考えられます:
- データ量の差異:XSUM データセットのサンプル数は三つの表形式データセットの平均の約 4 倍であり、より多くのサンプルを処理する必要があります。
- 入力の長さ:XSUM の平均記事長は表形式データの17 倍であり、より長い入力シーケンスを処理する必要があります。
- タスクの複雑さ:要約生成は表形式データからのテキスト生成よりも複雑で、モデルには読解能力が必要であり、記事から重要な内容を識別する能力が求められます。
Prefix-Tuning は要約生成タスクでのパフォーマンスが完全微調整に劣るものの、リソースが制限されたシナリオにおいてその潜在能力を示しています。タスクによってモデルへの挑戦が異なり、長い記事や複雑な内容を処理する場合、Prefix-Tuning の優位性はやや小さくなります。しかし、それでも大幅にパラメータを削減しながら、微調整に近い性能を達成しています。
小サンプル設定
Prefix-Tuning は小サンプルシナリオで Fine-tuning より優れており、E2E の表からテキストを生成する評価では BLEU が平均 2.9 点高く、使用するパラメータも大幅に少なくなりました。データセットの規模が増加するにつれて、Prefix-Tuning と Fine-tuning のパフォーマンス差は徐々に縮小します。
完全なデータセット(E2E は表形式データ用、XSUM は要約生成用)からサンプリングし、異なる規模の小さなデータセットを構築し、それぞれ{50, 100, 200, 500}件のデータを使用しました。各規模で5 回の異なるサンプリングを行い、2 つのランダムシードで平均した結果、各規模の結果は10 個のモデルの平均パフォーマンスに基づいています。
小データシナリオでは、どちらの手法でも生成内容が不足する(undergeneration)のが一般的で、表の一部の内容が欠ける場合があります。Prefix-Tuning の生成結果は、入力された表に忠実で、100 または 200 件のデータのシナリオでも、その記述は実際のデータに合致します。Fine-tuning では、100 または 200 件のデータで顧客評価を「低い」と誤報告することがあり、実際の評価は「平均」でした。逆に、Prefix-Tuning によって生成された記述は、表の内容を正確に反映しています。
Prefix-Tuning は、小サンプルシナリオで顕著な適応能力を示し、使用するパラメータが少ないにもかかわらず、より良い結果を提供します。この方法は、特にデータ量が少ない場合に、Fine-tuning よりも安定性と信頼性が高いパフォーマンスを示しています。
外挿能力
著者はさらに、Prefix-Tuning が未見テーマでの外挿能力を持つかどうかを調査しました。これは、モデルが訓練とテストで異なるテーマを処理する能力を示します。
-
外挿設定
-
表形式からテキスト生成 (Table-to-Text):WebNLGデータセットを使用し、表のテーマに基づいてグループ化します:
- SEEN:訓練と検証データセットに現れる 9 つのカテゴリ。
- UNSEEN:テストデータセットにのみ現れる 5 つのカテゴリ。
テスト対象は SEEN カテゴリで訓練を行い、UNSEEN カテゴリでのモデルのパフォーマンスを評価します。
-
要約生成 (Summarization):2 つの外挿シナリオを設定:
- ニュースからスポーツ:ニュース記事で訓練し、スポーツ記事でテスト。
- ニュース内分類:「世界、イギリス、ビジネス」ニュースで訓練し、その他のニュースカテゴリ(健康、テクノロジーなど)でテスト。
-
Prefix-Tuning は、表形式からテキスト生成タスクでも要約生成タスクでも、すべての評価指標で Fine-Tuning を上回り、クロスドメインシナリオでの強力な外挿能力を示しました。
Adapter-Tuning もこの外挿評価では Prefix-Tuning に近い結果を示しました。事前学習済みの言語モデルを凍結することが役立つ可能性を示唆しますが、この比較だけで原因までは確定しません。
プレフィックスはどのくらいの長さが必要か?
実験結果によると、プレフィックスの長さが長いほどパフォーマンスに好影響を与えますが、一定の閾値を超えるとパフォーマンスがわずかに低下します。
- 要約生成タスクでは、プレフィックス長さが200で最適なパフォーマンスが得られました。
- 表形式からテキスト生成タスクでは、プレフィックス長さが10で最適なパフォーマンスが得られました。
論文の GPU 設定では長さによる推論速度への影響は小さかった。ただし、長いプレフィックスは注意の key/value 長とメモリを増やすため、実際の遅延はモデルと実装で測る必要がある。
初期化戦略
小データシナリオでは、初期化戦略がパフォーマンスに大きな影響を与えます:
- ランダム初期化はパフォーマンスを低くし、変動が大きくなります。
- 実際の語彙を使った活性化初期化はパフォーマンスを大幅に改善します。
タスクに関連する語彙(「summarization」や「table-to-text」など)で初期化した場合のパフォーマンスは、タスクと無関係な語彙(「elephant」や「divide」など)で初期化した場合よりわずかに良好です。それでも、無関係な語での初期化でもランダム初期化よりはパフォーマンスが高いです。
適用シナリオ
複数タスクや個人化サービスでは、凍結したモデルを共有し、タスク・ユーザー別にプレフィックスを訓練・保存できる。異なるプレフィックスの要求を同じ batch に入れられる点も利点だ。データ隔離やアクセス制御は、別途システムとして保証する必要がある。
Adapter もユーザー別に保存・切り替えできる。論文で問題にしているのは、中間層の計算がユーザーごとに変わり、通常の共通 batch 処理が難しくなる点であり、個人化が不可能ということではない。
未見テーマで優れたパフォーマンスを発揮する理由
著者の仮説は、一般的なコーパスで学んだモデルを凍結すると、領域を越えた汎化能力を保ちやすい、というものだ。Prefix と Adapter は今回の未見トピック実験で改善したが、原因の因果的検証でも、全タスクでの優位性の保証でもない。
真の理由は未解決とされている。事前学習データとの重複、タスクの複雑さ、過学習などの可能性を、ここで実証済みの結論として扱うことはできない。
結論
Prefix-Tuning は軽量微調整の方法で、学習可能なプレフィックスパラメータを追加することで、モデルを特定のタスクに適応させることができます。
この方法は、表形式からテキスト生成タスクと要約生成タスクで印象的なパフォーマンスを達成し、少ないパラメータであっても優れた結果を出しました。Prefix-Tuning は小サンプルや未見テーマのシナリオでも優れたパフォーマンスを示し、良好な汎化能力を持っています。