{"notes":[{"id":"model-tuning/soft-prompts","category":"model-tuning","legacyPath":"model-tuning/2104-soft-prompts","legacySlug":"2104-soft-prompts","legacyPaths":[],"title":"Soft Prompts","subtitle":"優しいリマインダー","author":"Z. Yuan","paperDate":"2021-04-18","publishedOn":"2024-10-30","paperTitle":"The Power of Scale for Parameter-Efficient Prompt Tuning","paperUrl":"https://arxiv.org/abs/2104.08691","bibliography":{"title":"The Power of Scale for Parameter-Efficient Prompt Tuning","authors":["Brian Lester","Rami Al-Rfou","Noah Constant"],"url":"https://arxiv.org/abs/2104.08691","pdfUrl":"https://arxiv.org/pdf/2104.08691","codeUrl":null,"preprint":{"id":"2104.08691","submittedOn":"2021-04-18","url":"https://arxiv.org/abs/2104.08691"},"publication":{"venue":"EMNLP","year":2021,"kind":"conference","url":"https://arxiv.org/abs/2104.08691"},"citation":"@misc{modeltuningsoftprompts2021,\n  title = {{The Power of Scale for Parameter-Efficient Prompt Tuning}},\n  author = {Brian Lester and Rami Al-Rfou and Noah Constant},\n  year = {2021},\n  eprint = {2104.08691},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2104.08691}\n}\n","citationPath":"/content/papers/citations/model-tuning/soft-prompts.75de530ce724.bib"},"thumbnail":{"src":"/content/papers/assets/0cff26c3218f8b6d30fe4d51e74ee40c999fd38c5219e4828653a6bf6b1a5d26.jpg","width":1184,"height":640},"locale":"ja","path":"/content/papers/ja/model-tuning/soft-prompts.b797da17d436.md","headings":[{"id":"問題定義","text":"問題定義","depth":2},{"id":"解決方法","text":"解決方法","depth":2},{"id":"prompt-tuning","text":"Prompt Tuning","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"プロンプトの長さはどれくらいが最適か","text":"プロンプトの長さはどれくらいが最適か？","depth":3},{"id":"プロンプト初期化戦略の影響は","text":"プロンプト初期化戦略の影響は？","depth":3},{"id":"事前訓練目標の影響は","text":"事前訓練目標の影響は？","depth":3},{"id":"lm-適応の訓練時間の影響は","text":"LM 適応の訓練時間の影響は？","depth":3},{"id":"他の手法との比較","text":"他の手法との比較","depth":3},{"id":"結局プロンプトは何を伝えているのか","text":"結局プロンプトは何を伝えているのか？","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"解決問題":"解決方法","討論":"考察"},"guide":null,"relatedReading":[{"id":"model-tuning/autoprompt","relation":"comparison","topic":"離散プロンプト・ソフトプロンプト・プレフィックス"},{"id":"model-tuning/prefix-tuning","relation":"comparison","topic":"離散プロンプト・ソフトプロンプト・プレフィックス"}]},{"id":"model-tuning/autoprompt","category":"model-tuning","legacyPath":"model-tuning/2010-autoprompt","legacySlug":"2010-autoprompt","legacyPaths":[],"title":"AutoPrompt","subtitle":"モデル言語","author":"Z. Yuan","paperDate":"2020-10-29","publishedOn":"2024-06-15","paperTitle":"AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts","paperUrl":"https://arxiv.org/abs/2010.15980","bibliography":{"title":"AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts","authors":["Taylor Shin","Yasaman Razeghi","Robert L. Logan","Eric Wallace","Sameer Singh"],"url":"https://arxiv.org/abs/2010.15980","pdfUrl":"https://arxiv.org/pdf/2010.15980","codeUrl":null,"preprint":{"id":"2010.15980","submittedOn":"2020-10-29","url":"https://arxiv.org/abs/2010.15980"},"publication":{"venue":"EMNLP","year":2020,"kind":"conference","url":"https://doi.org/10.18653/v1/2020.emnlp-main.346"},"citation":"@misc{modeltuningautoprompt2020,\n  title = {{AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts}},\n  author = {Taylor Shin and Yasaman Razeghi and Robert L. Logan and Eric Wallace and Sameer Singh},\n  year = {2020},\n  eprint = {2010.15980},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2010.15980}\n}\n","citationPath":"/content/papers/citations/model-tuning/autoprompt.1466df03434e.bib"},"thumbnail":{"src":"/content/papers/assets/3a9a46741e3e735774bacb3425027a4fb544d1551d111e9321f90d72ac8b7865.jpg","width":1730,"height":544},"locale":"ja","path":"/content/papers/ja/model-tuning/autoprompt.c973fc94488f.md","headings":[{"id":"問題定義","text":"問題定義","depth":2},{"id":"手動でプロンプトを書くのは時間がかかり面倒","text":"手動でプロンプトを書くのは時間がかかり面倒","depth":3},{"id":"モデルは入力に非常に敏感","text":"モデルは入力に非常に敏感","depth":3},{"id":"専門知識の不足","text":"専門知識の不足","depth":3},{"id":"モデルが変われば頭も変わる","text":"モデルが変われば頭も変わる","depth":3},{"id":"問題解決","text":"問題解決","depth":2},{"id":"モデルアーキテクチャの設計","text":"モデルアーキテクチャの設計","depth":3},{"id":"勾配に基づくプロンプト探索","text":"勾配に基づくプロンプト探索","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"感情分析実験","text":"感情分析実験","depth":3},{"id":"事実検索","text":"事実検索","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"model-tuning/soft-prompts","relation":"comparison","topic":"離散プロンプト・ソフトプロンプト・プレフィックス"},{"id":"model-tuning/prefix-tuning","relation":"comparison","topic":"離散プロンプト・ソフトプロンプト・プレフィックス"}]},{"id":"model-tuning/prefix-tuning","category":"model-tuning","legacyPath":"model-tuning/2101-prefix-tuning","legacySlug":"2101-prefix-tuning","legacyPaths":[],"title":"Prefix-Tuning","subtitle":"その人？ 別人？","author":"Z. Yuan","paperDate":"2021-01-01","publishedOn":"2024-10-30","paperTitle":"Prefix-Tuning: Optimizing Continuous Prompts for Generation","paperUrl":"https://arxiv.org/abs/2101.00190","bibliography":{"title":"Prefix-Tuning: Optimizing Continuous Prompts for Generation","authors":["Xiang Lisa Li","Percy Liang"],"url":"https://arxiv.org/abs/2101.00190","pdfUrl":"https://arxiv.org/pdf/2101.00190","codeUrl":null,"preprint":{"id":"2101.00190","submittedOn":"2021-01-01","url":"https://arxiv.org/abs/2101.00190"},"publication":{"venue":"ACL-IJCNLP","year":2021,"kind":"conference","url":"https://doi.org/10.18653/v1/2021.acl-long.353"},"citation":"@misc{modeltuningprefixtuning2021,\n  title = {{Prefix-Tuning: Optimizing Continuous Prompts for Generation}},\n  author = {Xiang Lisa Li and Percy Liang},\n  year = {2021},\n  eprint = {2101.00190},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2101.00190}\n}\n","citationPath":"/content/papers/citations/model-tuning/prefix-tuning.fda64a808b55.bib"},"thumbnail":{"src":"/content/papers/assets/21f9834f78ef22b11e57cdbfd5c39edca8f15b7ba5ce59a699bd30d0a6c1bc7c.jpg","width":1834,"height":620},"locale":"ja","path":"/content/papers/ja/model-tuning/prefix-tuning.6a3afa65acad.md","headings":[{"id":"問題定義","text":"問題定義","depth":2},{"id":"解決策","text":"解決策","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"実装の詳細","text":"実装の詳細","depth":3},{"id":"データセット設定","text":"データセット設定","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"表からのテキスト生成性能","text":"表からのテキスト生成性能","depth":3},{"id":"要約生成性能","text":"要約生成性能","depth":3},{"id":"小サンプル設定","text":"小サンプル設定","depth":3},{"id":"外挿能力","text":"外挿能力","depth":3},{"id":"プレフィックスはどのくらいの長さが必要か","text":"プレフィックスはどのくらいの長さが必要か？","depth":3},{"id":"初期化戦略","text":"初期化戦略","depth":3},{"id":"適用シナリオ","text":"適用シナリオ","depth":3},{"id":"未見テーマで優れたパフォーマンスを発揮する理由","text":"未見テーマで優れたパフォーマンスを発揮する理由","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"討論":"考察","表格転文字生成性能":"表からのテキスト生成性能"},"guide":null,"relatedReading":[{"id":"model-tuning/adapter","relation":"comparison","topic":"少数の学習可能パラメータによるモデル適応"},{"id":"model-tuning/lora","relation":"comparison","topic":"少数の学習可能パラメータによるモデル適応"},{"id":"model-tuning/autoprompt","relation":"comparison","topic":"離散プロンプト・ソフトプロンプト・プレフィックス"}]}],"text":"Prefix-Tuning を見たばかりですが、今回は別の新しい方法である**Prompt Tuning**を見ていきましょう。\n\n\n> [!TIP]\n> \n> もしまだ Prefix-Tuning を見ていないのであれば、まずは以前読んだ論文をチェックしてみてください：\n> \n> - [**[21.01] Prefix-Tuning: それは彼？それとも彼ではない？**](/blog/papers/model-tuning/prefix-tuning)\n\n\n## 問題定義\n\n著者は論文の中で、T5 の論文のアーキテクチャから始め、現在のモデル調整における困難を理解するための手助けをしています。\n\n\n> [!TIP]\n> \n> もし T5 を見たことがないのであれば、以下の論文を参考にできます：\n> \n> - [**[19.10] Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer**](https://arxiv.org/abs/1910.10683)\n\n\nT5 では、すべてのタスクがテキスト生成の問題として扱われます。翻訳、要約、分類など、すべてが入力テキストから出力テキストを生成する問題として表現されます。\n\n従来の分類モデルは確率 $\\text{Pr}(y|X)$ を使用して、入力 $X$ を出力カテゴリ $y$ にマッピングします。しかし、T5 のアーキテクチャでは、モデルが注目しているのは**条件付き生成**の問題で、目標は以下を計算することです：\n\n$$\n\\text{Pr}_\\theta(Y | X)\n$$\n\nここで：\n\n- $Y$ はカテゴリを表す**テキスト**で、例えば「positive」や「negative」などであり、0、1、2 といったカテゴリではありません。\n- $\\theta$ は Transformer モデルのパラメータです。\n\nこの方法の利点は、モデルが単一のクラスラベルだけでなく、より豊かなテキスト出力を直接生成できることです。\n\nプロンプト（Prompting）は、入力 $X$ の前に追加されるテキストの一部で、モデルが正しい出力 $Y$ を生成するように導きます。プロンプトはモデルにタスクの文脈や指示を提供し、入力に対してどのように処理すべきかを理解させる役割を果たします。\n\n例えば、感情分析タスクでは、次のようなプロンプトを使用できます：\n\n```\n\"以下の文の感情傾向を判断してください：\"\n```\n\nそして、ユーザーの入力文をプロンプトの後ろに追加して、最終的な入力を形成します：\n\n```\n\"以下の文の感情傾向を判断してください：I love this movie!\"\n```\n\n手作業のプロンプト設計には試行錯誤が必要で、離散トークンの選択を連続パラメータとして直接勾配降下で更新することはできない。ただし、AutoPrompt は勾配を利用して離散探索を行う。\n\n---\n\nこの問題を解決するために、以前の研究では Prefix-Tuning が提案され、モデルの入力の最前に「Prefix」と呼ばれるトークンを追加して、モデルを導く方法を採用しました。この Prefix はモデルの各層に深く組み込む必要があり、これによりモデルの各層でガイダンスを受けることができます。\n\nでは、これをもっと簡単にできないでしょうか？入力層でモデルを導くだけで良いのでは？\n\nそこで登場したのがこの論文：**Prompt Tuning**です。\n\n\n> [!TIP]\n> \n> Prompt Engineering は文字列を調整するため入力 embedding や活性も変わるが、モデルの重みを更新するものではない。\n> \n> Prompt Tuning は追加の連続入力ベクトルを直接学習する。位置は複数あってよく、単一トークンや語彙表の単語に制限されない。\n\n\n## 解決方法\n\n### Prompt Tuning\n\n\n\n![model arch](/content/papers/assets/0cff26c3218f8b6d30fe4d51e74ee40c999fd38c5219e4828653a6bf6b1a5d26.jpg)\n\n\n\nそこで、著者は Prompt Tuning の方法を提案し、更新可能なプロンプト埋め込みパラメータ $\\theta_P$ を導入しました。これらのパラメータはモデルの埋め込み表に制約されず、訓練データを通じて自動的に学習できます。\n\n新しい条件付き生成の式は次のようになります：\n\n$$\n\\text{Pr}_{\\theta; \\theta_P}(Y | [P; X])\n$$\n\nここで：\n\n- $[P; X]$ はプロンプト $P$ と入力 $X$ を結合したものです。\n- $\\theta$ は固定されたモデルのパラメータです。\n- $\\theta_P$ は学習可能なプロンプトパラメータです。\n\n訓練過程では、逆伝播アルゴリズムを使用してプロンプトパラメータ $\\theta_P$ のみを更新し、モデルの本体のパラメータ $\\theta$ は変更しません。\n\n具体的な実装の詳細は、次のような手順に分けられます：\n\n1. **入力埋め込み**：入力の$n$個のトークンを埋め込み行列$X_e \\in \\mathbb{R}^{n \\times e}$に変換します。ここで、$e$は埋め込みの次元です。\n2. **プロンプト埋め込み**：プロンプトの埋め込みは行列$P_e \\in \\mathbb{R}^{p \\times e}$として定義され、ここで$p$はプロンプトの長さです。\n3. **結合操作**：プロンプト埋め込みと入力埋め込みを結合して：\n   $$\n   [P_e; X_e] \\in \\mathbb{R}^{(p + n) \\times e}\n   $$\n4. **モデル処理**：結合された埋め込みをエンコーダ・デコーダのアーキテクチャに入力し、計算を行います。\n\n例えば、モデルに「I love this movie!」という文の感情を判断させたい場合、従来の方法では入力は次のようになります：\n\n```\n\"以下の文の感情を判断してください：I love this movie!\"\n```\n\n一方、Prompt Tuning を使用した場合のモデル入力は次のようになります：\n\n```\n[Token1] [Token2] [Token3] [Token4] [Token5] I love this movie!\n```\n\n`[Token1]` などは学習可能ベクトルを表すラベルにすぎない。実装では embedding 層で行列を連結する。\n\n\n> [!TIP]\n> \n> **これって AutoPrompt ではないか？**\n> \n> もし以前 AutoPrompt を読んだことがあるなら、こう疑問に思うかもしれません。読んでいない場合は、以下の記事を参照してください：\n> \n> - [**[20.10] AutoPrompt: モデル語**](/blog/papers/model-tuning/autoprompt)\n> \n> ---\n> \n> この二つの違いは、AutoPrompt ではモデルが既存の語彙表から最適なプロンプトを見つけ出し、その結果が語彙表内に存在するのに対し、Prompt Tuning ではプロンプトの入力が特徴空間に直接作用し、語彙表に制約されることはありません。\n> \n> そのため、Prompt Tuning の結果では、計算したコサイン類似度を通じて、プロンプトがどの語彙と近いかを見ることはできますが、プロンプトの内容自体を直接見ることはできません。\n\n\n## 考察\n\n![ablation](/content/papers/assets/de6cb8c85b065d7e5bc361b9e1babf0f0a0fecf95a54d63bc19ca49df79f6bed.jpg)\n\n著者は Prompt Tuning に関するいくつかの重要な問題を調査するために、アブレーション実験を行いました：\n\nこれらの実験は T5.1.1 の五サイズを SuperGLUE 開発セットで評価する。標準設定は共通 LM 適応 100K ステップ、prompt 長 100、クラスラベル初期化で、タスク別に prompt を学習する。図は三実行の平均と標準偏差を示す。\n\n### プロンプトの長さはどれくらいが最適か？\n\n上図 (a) に示すように、著者は異なるモデルサイズ（Small、Base、Large、XL、XXL）におけるプロンプトの長さを実験し、プロンプトの長さを \\{1, 5, 20, 100, 150\\} と設定しました。\n\n結果として、ほとんどのモデルではプロンプト長を 1 トークン以上に増加させると、パフォーマンスが顕著に向上することが示されました。しかし、T5-XXL モデルでは、単一のトークンをプロンプトとして使用するだけでも良いパフォーマンスが得られ、大規模モデルはプロンプト信号に対する要求が低いことがわかりました。\n\nプロンプトの長さが 20 トークンを超えると、パフォーマンスの向上は緩やかになり、一部の大きなモデルでは 100 トークンを超えるとわずかに低下しました。\n\n### プロンプト初期化戦略の影響は？\n\n上図 (b) に示すように、著者は 3 つの異なる初期化戦略を比較しました：\n\n1. **ランダム初期化**：範囲$[-0.5, 0.5]$から均等にランダムサンプリング。\n2. **語彙埋め込み初期化**：T5 の**頻度の高い 5,000 個の SentencePiece token**から埋め込みを選び、初期化。\n3. **カテゴリラベル初期化**：下流タスクのカテゴリラベルを埋め込みに変換。ラベルが複数のトークンの場合は、その埋め込みの平均を取ります。プロンプトの長さがカテゴリ数を超える場合、残りのトークンには語彙埋め込みを使用。\n\n結果として、カテゴリラベル初期化は全体的に良いパフォーマンスを示し、特に小さなモデルでは初期化戦略の差が非常に明確でした。T5-XXL モデルは初期化戦略に対してあまり敏感ではなく、どの初期化を使用してもそのパフォーマンスは比較的安定していました。\n\n### 事前訓練目標の影響は？\n\n上図 (c) に示すように、著者は異なる事前訓練目標が Prompt Tuning に与える影響を調査しました：\n\n1. **Span Corruption**：T5 のデフォルトの span corruption 事前訓練目標を使用。\n2. **Span Corruption + Sentinel**：下流タスクの目標出力にセンチネルトークンを追加し、事前訓練時の出力フォーマットを模倣。\n3. **LM 適応**：自然文の前半を入力、続きを出力として、T5 本体を最大 100,000 ステップ追加学習する。この共通の適応段階では本体を更新し、その後に凍結してタスク別 prompt を学習する。\n\n結果として、Span Corruption 事前訓練モデルは、本体を凍結してプロンプトを学習する場合には適していませんでした。なぜなら、モデルがセンチネルトークン付きのテキストを読み取り、出力しているからです。**「Span Corruption + Sentinel」**による事前訓練フォーマットの模倣でも効果は限られていました。\n\n**LM 適応**はすべてのモデルサイズでパフォーマンスを向上させましたが、T5-XXL での増益は比較的小さくなりました。\n\n### LM 適応の訓練時間の影響は？\n\n上図 (d) に示すように、著者は LM 適応の訓練時間が Prompt Tuning に与える影響を調査しました。\n\n試した範囲では長い LM 適応ほど概ね有利で、上限は 100,000 ステップ（元の T5 事前学習の約 10%）だった。この本体の適応はタスク間で共有できる。\n\nT5-XXL はさまざまな非理想的な設定でも良好なパフォーマンスを発揮し、モデル設定に対して高い頑健性を示しました。Span Corruption 設定では、モデルのパフォーマンスが不安定で、小さなモデルが Base、Large、XL モデルを超えることもありました。これらの問題はランダムな変動によるものではなく、3 回の繰り返し実験で一貫した低い変動が観察されました。\n\nSpan Corruption 事前訓練モデルと比較して、LM 適応後のモデルはすべてのサイズで安定しており、パフォーマンスの不安定性リスクを大幅に低減しました。\n\n### 他の手法との比較\n\n\n\n![comparison](/content/papers/assets/2a7e4fc23afa9dac14b036808fe7a07afcaf19bf8f0dd9d76ef485b3e29a258f.jpg)\n\n\n\n上図では、著者は Prompt Tuning と他の関連手法を比較しました。手法が多いため、以下に各手法の簡単な紹介と参考文献を示します。\n\n---\n\n- **Prefix Tuning**：\n\n  - [**[21.01] Prefix-Tuning: Optimizing Continuous Prompts for Generation**](https://arxiv.org/abs/2101.00190)\n\n  Transformer の各層に学習可能なプレフィックスを追加する手法で、各層の固定された活性化値を提供します。この方法は GPT-2 や BART に適用されますが、Prompt Tuning は T5 に特化しています。BART では、Prefix Tuning は「エンコーダとデコーダ」の両方にプレフィックスを追加する必要があり、Prompt Tuning はエンコーダにのみプロンプトを追加するだけです。\n\n  Prompt Tuning は入力層の一連のベクトル（$pe$ パラメータ）を学習し、Prefix-Tuning は各層のプレフィックス活性を直接設定する。前者の prompt 表現は上位層で入力に応じて文脈化される。後者ではプレフィックス活性はサンプル間で固定だが、通常の文字位置の活性は入力で変化する。Prefix の再パラメータ化 MLP は訓練時のみ必要だ。\n\n---\n\n- **WARP**\n\n  - [**[21.01] WARP: Word-level Adversarial ReProgramming**](https://arxiv.org/abs/2101.00121)\n\n  WARP はプロンプトパラメータを入力層に追加し、[MASK]トークンと学習可能な出力層を使用して、マスクされた部分をクラス予測にマッピングします。この手法は単一の出力しか生成できないため、分類タスクに制限されます。\n\n  Prompt Tuning は入力に特殊な設計を加える必要がなく、タスク固有の出力層を使用することなく、より広範なタスクに適用できます。また、パフォーマンスも完全なモデル微調整に近いものです。\n\n---\n\n- **P-tuning**\n\n  - [**[21.03] GPT Understands, Too**](https://arxiv.org/abs/2103.10385)\n\n  比較対象の初期 P-tuning は、人手で設計したパターン内に連続 prompt を配置し、引用された SuperGLUE 設定では本体も同時に微調整する。これはその実験の設定であり、あらゆる P-tuning 派生手法の必須条件ではない。\n\n  Prompt Tuning はプロンプトパラメータのみを更新し、メインの言語モデルは凍結されたままであり、モデル微調整のコストを回避できます。\n\n---\n\n- **Soft Words**\n\n  - [**[21.04] Learning How to Ask: Querying LMs with Mixtures of Soft Prompts**](https://arxiv.org/abs/2104.06599)\n\n    Soft Words では手作りのプロンプトテンプレートに基づいて学習されたプロンプトを使用し、各層に学習可能な$\\Delta_i$パラメータを追加します。これにより、パラメータ要求はモデルの深さに応じて増加します。\n\n    Prompt Tuning は層数の増加に伴って追加のパラメータを必要としないため、パラメータ規模の点で効率的です。\n\n---\n\n- **Adapters**\n\n  - [**[19.02] Parameter-Efficient Transfer Learning for NLP**](https://arxiv.org/abs/1902.00751)\n\n    Adapters は凍結されたモデル層間に挿入された小さなボトルネック層で、タスク固有のパラメータを削減します。BERT-Large で Adapter 層を微調整すると、パラメータは 2-4％増加し、性能は完全なモデル微調整に匹敵します。\n\n    Adapters は中間層の活性化値を書き換えることでモデルの挙動を変更しますが、Prompt Tuning は入力表現を調整し、モデル内部の計算を変更しません。\n\n### 結局プロンプトは何を伝えているのか？\n\n先ほど述べたように、Prompt Tuning は明確な語彙空間ではなく連続空間で操作するため、これらのプロンプトがモデルの挙動にどのように影響するかを直接理解することは難しいです。\n\n著者はコサイン距離で、凍結した語彙 embedding 内の最近傍を探す。局所的な語彙の類似性は分かる。\n\n実験結果では、プロンプトトークンの最初の 5 つの最近隣語彙は「語義的に密接に関連したグループ」を形成することが多かったです。ランダムに生成されたベクトルを訓練されたプロンプトトークンの代わりに使用した場合、このような語義のグループは形成されませんでした。\n\nつまり、Prompt Tuning はランダムではなく、実際に言語モデルの中で語義構造を捉えていることが分かります。また、長いプロンプトシーケンスの場合、著者は複数のプロンプトトークンが同じ最近隣語彙を共有していることを発見しました。\n\nしかし、これには二つの潜在的な問題が生じます：\n\n1. **容量の余剰の可能性**：位置間で情報が重複しているかもしれない。\n2. **系列としての構造が弱い可能性**：情報が特定位置に集中しにくいのかもしれない。これは別の解釈候補であり、位置情報の喪失や両問題の同時発生を証明したものではない。\n\nもう一つの重要な観察として、プロンプトトークンの最近隣語彙の中には、「下流タスクのカテゴリラベル」がよく含まれており、つまり、Prompt Tuning はモデル内部で期待される出力カテゴリを保存し、それを生成出力の参照基準として利用できることが示唆されています。\n\n## 結論\n\n中心的な結果は T5.1.1 の SuperGLUE 開発セット比較で、規模が大きいほど全パラメータ微調整との差が縮まり、11B の XXL では強いマルチタスク基準に近づくことだ。ゼロショット領域転移でも元領域のラベルで prompt を学習し、転移先のラベルは使わない。過学習回避という説明は、別途検証が必要だ。\n\n著者は今後の研究の方向性として、「タスク定義パラメータ」と「言語モデルの一般パラメータを分離すること」に焦点を当てることで、モデルの挙動をより良く制御し、モデルの解釈可能性を高めることができると考えています。\n\n\n> [!TIP]\n> \n> 今後も Prompt Tuning に関連した研究が進められる予定ですので、引き続きいくつかの論文をチェックしてみましょう。\n","imageSizes":{"/content/papers/assets/0cff26c3218f8b6d30fe4d51e74ee40c999fd38c5219e4828653a6bf6b1a5d26.jpg":{"width":1184,"height":640},"/content/papers/assets/de6cb8c85b065d7e5bc361b9e1babf0f0a0fecf95a54d63bc19ca49df79f6bed.jpg":{"width":1292,"height":984},"/content/papers/assets/2a7e4fc23afa9dac14b036808fe7a07afcaf19bf8f0dd9d76ef485b3e29a258f.jpg":{"width":792,"height":716}}}
