{"notes":[{"id":"model-tuning/soft-prompts","category":"model-tuning","legacyPath":"model-tuning/2104-soft-prompts","legacySlug":"2104-soft-prompts","legacyPaths":[],"title":"Soft Prompts","subtitle":"小弦切切如私語","author":"Z. Yuan","paperDate":"2021-04-18","publishedOn":"2024-10-30","paperTitle":"The Power of Scale for Parameter-Efficient Prompt Tuning","paperUrl":"https://arxiv.org/abs/2104.08691","bibliography":{"title":"The Power of Scale for Parameter-Efficient Prompt Tuning","authors":["Brian Lester","Rami Al-Rfou","Noah Constant"],"url":"https://arxiv.org/abs/2104.08691","pdfUrl":"https://arxiv.org/pdf/2104.08691","codeUrl":null,"preprint":{"id":"2104.08691","submittedOn":"2021-04-18","url":"https://arxiv.org/abs/2104.08691"},"publication":{"venue":"EMNLP","year":2021,"kind":"conference","url":"https://arxiv.org/abs/2104.08691"},"citation":"@misc{modeltuningsoftprompts2021,\n  title = {{The Power of Scale for Parameter-Efficient Prompt Tuning}},\n  author = {Brian Lester and Rami Al-Rfou and Noah Constant},\n  year = {2021},\n  eprint = {2104.08691},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2104.08691}\n}\n","citationPath":"/content/papers/citations/model-tuning/soft-prompts.75de530ce724.bib"},"thumbnail":{"src":"/content/papers/assets/0cff26c3218f8b6d30fe4d51e74ee40c999fd38c5219e4828653a6bf6b1a5d26.jpg","width":1184,"height":640},"locale":"zh-hant","path":"/content/papers/zh-hant/model-tuning/soft-prompts.5d8922f34ee2.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"prompt-tuning","text":"Prompt Tuning","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"提示長度要多長","text":"提示長度要多長？","depth":3},{"id":"提示初始化策略的影響","text":"提示初始化策略的影響？","depth":3},{"id":"預訓練目標的影響","text":"預訓練目標的影響？","depth":3},{"id":"lm-調適時長的影響","text":"LM 調適時長的影響？","depth":3},{"id":"和其他方法比較","text":"和其他方法比較","depth":3},{"id":"到底提示了什麼","text":"到底提示了什麼？","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"model-tuning/autoprompt","relation":"comparison","topic":"離散提示、軟提示與前綴"},{"id":"model-tuning/prefix-tuning","relation":"comparison","topic":"離散提示、軟提示與前綴"}]},{"id":"model-tuning/autoprompt","category":"model-tuning","legacyPath":"model-tuning/2010-autoprompt","legacySlug":"2010-autoprompt","legacyPaths":[],"title":"AutoPrompt","subtitle":"模型語","author":"Z. Yuan","paperDate":"2020-10-29","publishedOn":"2024-06-15","paperTitle":"AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts","paperUrl":"https://arxiv.org/abs/2010.15980","bibliography":{"title":"AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts","authors":["Taylor Shin","Yasaman Razeghi","Robert L. Logan","Eric Wallace","Sameer Singh"],"url":"https://arxiv.org/abs/2010.15980","pdfUrl":"https://arxiv.org/pdf/2010.15980","codeUrl":null,"preprint":{"id":"2010.15980","submittedOn":"2020-10-29","url":"https://arxiv.org/abs/2010.15980"},"publication":{"venue":"EMNLP","year":2020,"kind":"conference","url":"https://doi.org/10.18653/v1/2020.emnlp-main.346"},"citation":"@misc{modeltuningautoprompt2020,\n  title = {{AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts}},\n  author = {Taylor Shin and Yasaman Razeghi and Robert L. Logan and Eric Wallace and Sameer Singh},\n  year = {2020},\n  eprint = {2010.15980},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2010.15980}\n}\n","citationPath":"/content/papers/citations/model-tuning/autoprompt.1466df03434e.bib"},"thumbnail":{"src":"/content/papers/assets/3a9a46741e3e735774bacb3425027a4fb544d1551d111e9321f90d72ac8b7865.jpg","width":1730,"height":544},"locale":"zh-hant","path":"/content/papers/zh-hant/model-tuning/autoprompt.60e3724e642c.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"手動編寫提示既費時又麻煩","text":"手動編寫提示既費時又麻煩","depth":3},{"id":"模型對輸入的敏感度超高","text":"模型對輸入的敏感度超高","depth":3},{"id":"專業知識不足","text":"專業知識不足","depth":3},{"id":"換個模型換個腦袋","text":"換個模型換個腦袋","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"模型架構設計","text":"模型架構設計","depth":3},{"id":"基於梯度的提示搜索","text":"基於梯度的提示搜索","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"情感分析實驗","text":"情感分析實驗","depth":3},{"id":"事實檢索","text":"事實檢索","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"model-tuning/soft-prompts","relation":"comparison","topic":"離散提示、軟提示與前綴"},{"id":"model-tuning/prefix-tuning","relation":"comparison","topic":"離散提示、軟提示與前綴"}]},{"id":"model-tuning/prefix-tuning","category":"model-tuning","legacyPath":"model-tuning/2101-prefix-tuning","legacySlug":"2101-prefix-tuning","legacyPaths":[],"title":"Prefix-Tuning","subtitle":"是他？不是他？","author":"Z. Yuan","paperDate":"2021-01-01","publishedOn":"2024-10-30","paperTitle":"Prefix-Tuning: Optimizing Continuous Prompts for Generation","paperUrl":"https://arxiv.org/abs/2101.00190","bibliography":{"title":"Prefix-Tuning: Optimizing Continuous Prompts for Generation","authors":["Xiang Lisa Li","Percy Liang"],"url":"https://arxiv.org/abs/2101.00190","pdfUrl":"https://arxiv.org/pdf/2101.00190","codeUrl":null,"preprint":{"id":"2101.00190","submittedOn":"2021-01-01","url":"https://arxiv.org/abs/2101.00190"},"publication":{"venue":"ACL-IJCNLP","year":2021,"kind":"conference","url":"https://doi.org/10.18653/v1/2021.acl-long.353"},"citation":"@misc{modeltuningprefixtuning2021,\n  title = {{Prefix-Tuning: Optimizing Continuous Prompts for Generation}},\n  author = {Xiang Lisa Li and Percy Liang},\n  year = {2021},\n  eprint = {2101.00190},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2101.00190}\n}\n","citationPath":"/content/papers/citations/model-tuning/prefix-tuning.fda64a808b55.bib"},"thumbnail":{"src":"/content/papers/assets/21f9834f78ef22b11e57cdbfd5c39edca8f15b7ba5ce59a699bd30d0a6c1bc7c.jpg","width":1834,"height":620},"locale":"zh-hant","path":"/content/papers/zh-hant/model-tuning/prefix-tuning.02f5b48465e6.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"模型架構","text":"模型架構","depth":3},{"id":"實作細節","text":"實作細節","depth":3},{"id":"資料集設置","text":"資料集設置","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"表格轉文字生成性能","text":"表格轉文字生成性能","depth":3},{"id":"摘要生成性能","text":"摘要生成性能","depth":3},{"id":"小樣本配置","text":"小樣本配置","depth":3},{"id":"外推能力","text":"外推能力","depth":3},{"id":"前綴要多長","text":"前綴要多長？","depth":3},{"id":"初始化策略","text":"初始化策略","depth":3},{"id":"適用場景","text":"適用場景","depth":3},{"id":"為何在未見主題上表現優異","text":"為何在未見主題上表現優異？","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"model-tuning/adapter","relation":"comparison","topic":"用少量可訓練參數調整模型"},{"id":"model-tuning/lora","relation":"comparison","topic":"用少量可訓練參數調整模型"},{"id":"model-tuning/autoprompt","relation":"comparison","topic":"離散提示、軟提示與前綴"}]}],"text":"我們剛看完 Prefix-Tuning 不久，現在來看另外一個新的方法：**Prompt Tuning**。\n\n\n> [!TIP]\n> \n> 如果你還沒看過 Prefix-Tuning，不妨先去看一下我們之前讀的論文：\n> \n> - [**[21.01] Prefix-Tuning: 是他？不是他？**](/blog/papers/model-tuning/prefix-tuning)\n\n\n## 定義問題\n\n作者在論文中從 T5 的論文架構開始，來幫助讀者了解目前在調整模型上所面臨的困難。\n\n\n> [!TIP]\n> \n> 如果你沒看過 T5，可以參考以下論文：\n> \n> - [**[19.10] Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer**](https://arxiv.org/abs/1910.10683)\n\n\nT5 將所有任務視為文本生成問題，無論是翻譯、摘要還是分類，都可以表示為從輸入文本生成輸出文本。\n\n傳統的分類模型使用概率 $\\text{Pr}(y|X)$，將輸入 $X$ 映射到輸出類別 $y$，然而，在 T5 的架構中，模型所關注的是**條件生成**問題，目標是計算：\n\n$$\n\\text{Pr}_\\theta(Y | X)\n$$\n\n其中：\n\n- $Y$ 是代表類別的**文本**，例如：「positive」或「negative」，而不是 0, 1, 2 這種類別。\n- $\\theta$ 是 Transformer 模型的參數。\n\n這種方法的優點是模型可以直接生成更豐富的文本輸出，而不僅僅是單一的類別標籤。\n\n提示（Prompting）是添加在輸入 $X$ 前的一段文本，用於引導模型生成正確的輸出 $Y$。提示為模型提供了任務的上下文或指令，幫助模型理解應該如何處理輸入。\n\n例如在情感分析任務中，我們可以使用以下提示：\n\n```\n\"請判斷以下句子的情感傾向：\"\n```\n\n然後將用戶的輸入句子接在提示後面，形成模型的最終輸入：\n\n```\n\"請判斷以下句子的情感傾向：I love this movie!\"\n```\n\n但是這種「傳統上」的提示，不僅人工成本高，而且效果不穩定又不可微分。不可微分的問題意味著我們無法通過反向傳播算法來更新提示的參數，這將導致模型無法自動學習到最佳的提示方式。\n\n---\n\n為了解決這個問題，之前的研究：Prefix-Tuning 提出在模型的輸入最前面加上一個叫做 Prefix 的 Token，來引導模型產生結果。這個 Prefix 必須深入到模型的每一層，這樣才能讓模型在每一層都能受到引導。\n\n那我們能不能把事情簡化一下？只要在輸入層對模型進行引導就好了？\n\n所以就有了這篇論文：**Prompt Tuning**。\n\n\n> [!TIP]\n> \n> 這裡說的的「引導」和另外我們常聽到的「Prompt Engineering」不是同一件事情，Prompt Engineering 還是使用自然語言的方式來引導模型，從頭到尾都沒有改變模型的輸入特徵，沒有改參數，也沒有改架構。\n> \n> 而「Prompt Tuning」指的是在模型的輸入層加上一個特殊的 Token，這個 Token 是可以訓練的，這樣就可以讓模型在訓練的時候自己學習到最適合的引導方式。\n\n\n## 解決問題\n\n### Prompt Tuning\n\n\n\n![model arch](/content/papers/assets/0cff26c3218f8b6d30fe4d51e74ee40c999fd38c5219e4828653a6bf6b1a5d26.jpg)\n\n\n\n所以作者提出了 Prompt Tuning 的方法，引入了可更新的提示詞嵌入參數 $\\theta_P$，這些參數不再受限於模型的詞嵌入表，可以通過訓練數據自動學習。\n\n新的條件生成公式為：\n\n$$\n\\text{Pr}_{\\theta; \\theta_P}(Y | [P; X])\n$$\n\n其中：\n\n- $[P; X]$ 表示將提示 $P$ 和輸入 $X$ 進行拼接。\n- $\\theta$ 是凍結的模型參數。\n- $\\theta_P$ 是可訓練的提示參數。\n\n在訓練過程中，使用反向傳播算法，只更新提示參數 $\\theta_P$，而保持模型主體的參數 $\\theta$ 不變。\n\n具體的實現細節大致上可以分為幾個步驟：\n\n1. **輸入嵌入**：將輸入的 $n$ 個 token 嵌入為矩陣 $X_e \\in \\mathbb{R}^{n \\times e}$，其中 $e$ 是嵌入維度。\n2. **提示嵌入**：提示詞嵌入為矩陣 $P_e \\in \\mathbb{R}^{p \\times e}$，其中 $p$ 是提示的長度。\n3. **拼接操作**：將提示嵌入和輸入嵌入拼接為：\n   $$\n   [P_e; X_e] \\in \\mathbb{R}^{(p + n) \\times e}\n   $$\n4. **模型處理**：將拼接後的嵌入輸入到編碼器-解碼器架構中進行計算。\n\n假設我們希望模型判斷句子 \"I love this movie!\" 的情感，基於傳統方法的模型輸入是：\n\n```\n\"請判斷以下句子的情感：I love this movie!\"\n```\n\n而使用 Prompt Tuning 方法的模型輸入是：\n\n```\n[Token1] [Token2] [Token3] [Token4] [Token5] I love this movie!\n```\n\n其中，上面的每一個 Token 都代表可訓練的連續向量，並不是詞彙表中的實際字串；模型必須自己學習如何最好地使用這些提示。\n\n\n> [!TIP]\n> \n> **這不就是 AutoPrompt？**\n> \n> 如果你之前有讀過 AutoPrompt 的話，你可能就會問出這個問題，如果沒看過，可以參考我們之前的文章：\n> \n> - [**[20.10] AutoPrompt: 模型語**](/blog/papers/model-tuning/autoprompt)\n> \n> ---\n> \n> 這兩者的差別在於：在 AutoPrompt 中，模型要從現有的詞彙表中找到最適合的提示，最後的結果都存在於詞彙表中。而在 Prompt Tuning 中，提示的輸入直接作用於特徵空間，不需要受限於詞彙表。\n> \n> 所以基於 Prompt Tuning 的結果，你可以透過計算餘弦相似度來看這和哪些詞彙比較接近，但不能直接把提示當成可讀的詞句。\n\n\n## 討論\n\n![ablation](/content/papers/assets/de6cb8c85b065d7e5bc361b9e1babf0f0a0fecf95a54d63bc19ca49df79f6bed.jpg)\n\n作者做了一系列的消融研究，來探討 Prompt Tuning 的一些關鍵問題：\n\n### 提示長度要多長？\n\n如上圖 (a)，作者對不同模型規模（Small、Base、Large、XL、XXL）的提示長度進行了實驗，提示長度分別為 \\{1, 5, 20, 100, 150\\}。\n\n結果顯示，對大多數模型而言，提示長度增加到多於 1 個 token 對性能表現有明顯提升。但對於 T5-XXL 模型，即使只使用單一 token 作為提示，也能達到不錯的表現，表明大模型對提示訊號的需求較低。\n\n超過 20 個 token 後，性能提升趨於平緩；對部分較大的模型，超過 100 個甚至略有下降。\n\n### 提示初始化策略的影響？\n\n如上圖 (b)，作者比較了三種不同的初始化策略：\n\n1. **隨機初始化**：從範圍 $[-0.5, 0.5]$ 中均勻隨機取樣。\n2. **詞彙嵌入初始化**：從 T5 的 **5,000 個最常見詞彙**中選取詞嵌入進行初始化。\n3. **類別標籤初始化**：將下游任務中的類別標籤轉換為詞嵌入，若標籤為多個 token，則對嵌入取平均值。當提示長度超過類別數時，剩餘的 token 使用詞彙嵌入填充。\n\n結果顯示，類別標籤初始化整體表現較好，特別是對於小模型來說，初始化策略的差異非常明顯。T5-XXL 模型對初始化策略較不敏感，幾種方法的結果相近。\n\n### 預訓練目標的影響？\n\n如上圖 (c)，作者探討了不同的預訓練目標對 Prompt Tuning 的影響：\n\n1. **Span Corruption**：使用預設的 T5 span corruption 預訓練目標。\n2. **Span Corruption + Sentinel**：在下游任務的目標輸出中添加哨兵符號，以模擬預訓練時的輸出格式。\n3. **LM 調適**：延續 T5 的預訓練，但改為**語言模型（LM）目標**，進行額外的 100,000 步調適。\n\n結果顯示，Span Corruption 預訓練的模型不適合用於凍結模型的 Prompt Tuning，因為模型習慣了讀取和輸出帶有哨兵符號的文本。即使透過 **「Span Corruption + Sentinel」** 模擬預訓練格式，效果仍然有限。\n\n**LM Adaptation** 在各個模型規模上都有提升，但 T5-XXL 的增益相對較小。\n\n### LM 調適時長的影響？\n\n如上圖 (d)，作者探討了 LM 調適時長對 Prompt Tuning 的影響。\n\n結果顯示，在圖中測試的範圍內，延長 LM 調適步數至 100,000 步仍有增益。Span Corruption 預訓練轉換為 LM 目標不是一個簡單的過程，需要投入相當的訓練資源（相當於原始 T5 預訓練步數的 10%）。\n\nT5-XXL 在各種非理想配置下仍表現良好，顯示其對模型設定具有高韌性。在 Span Corruption 配置下，模型表現不穩定，小模型甚至超越了 Base、Large 和 XL 模型。這些問題並非隨機波動造成，因為在 3 次重複實驗中觀察到一致的低變異。\n\n與 Span Corruption 預訓練的模型相比，LM 調適後的模型在所有規模下都表現穩定，大幅降低了性能不穩定的風險。\n\n### 和其他方法比較\n\n\n\n![comparison](/content/papers/assets/2a7e4fc23afa9dac14b036808fe7a07afcaf19bf8f0dd9d76ef485b3e29a258f.jpg)\n\n\n\n上圖中，作者將 Prompt Tuning 與其他相關方法進行了比較，由於方法眾多，下面會列出每個方法的簡要介紹和參考文獻。\n\n---\n\n- **Prefix Tuning**：\n\n  - [**[21.01] Prefix-Tuning: Optimizing Continuous Prompts for Generation**](https://arxiv.org/abs/2101.00190)\n\n  在 Transformer 的每一層前置可學習的前綴 (prefix)，相當於為每層網路固定激活值。這方法適用於 GPT-2 和 BART，而本研究的 Prompt Tuning 專注於 T5。在 BART 上，Prefix Tuning 需要同時在「編碼器和解碼器」加入前綴，而 Prompt Tuning 只需在編碼器加入提示。\n\n  Prompt Tuning 只需在輸入層加上一段可學習提示，而非在每層加入前綴，因此參數需求更少。而且 Prompt Tuning 允許 Transformer 根據輸入例子更新其中間層的任務表徵，而 Prefix Tuning 在這篇論文比較的設定中需要重參數化來穩定訓練。\n\n---\n\n- **WARP**\n\n  - [**[21.01] WARP: Word-level Adversarial ReProgramming**](https://arxiv.org/abs/2101.00121)\n\n  WARP 將提示參數添加至輸入層，並使用 [MASK] token 和可學習的輸出層，將遮蔽部分映射至類別預測。這種方法只能產生單一輸出，因此受限於分類任務。\n\n  Prompt Tuning 不需要對輸入進行特殊設計或使用任務專屬的輸出層，適用於更廣泛的任務。性能也更接近完整的模型微調。\n\n---\n\n- **P-tuning**\n\n  - [**[21.03] GPT Understands, Too**](https://arxiv.org/abs/2103.10385)\n\n  P-tuning 將可學習的連續提示嵌入於輸入之間，並基於人類設計的模式進行排列。為了達到良好的 SuperGLUE 表現，P-tuning 必須與模型微調結合，即同時調整提示和主模型的參數。\n\n  Prompt Tuning 只需更新提示參數，而主語言模型保持凍結，避免模型微調的成本。\n\n---\n\n- **Soft Words**\n\n  - [**[21.04] Learning How to Ask: Querying LMs with Mixtures of Soft Prompts**](https://arxiv.org/abs/2104.06599)\n\n    Soft Words 學習的提示基於手工設計的提示範本，並為每層添加可學習的 $\\Delta_i$ 參數，使得參數需求隨模型深度增加。\n\n    Prompt Tuning 不需要隨層數增加而添加額外參數，因此在參數規模上更具效率。\n\n---\n\n- **Adapters**\n\n  - [**[19.02] Parameter-Efficient Transfer Learning for NLP**](https://arxiv.org/abs/1902.00751)\n\n    Adapters 是插入於凍結模型層之間的小型瓶頸層，用以減少任務專屬參數。在 BERT-Large 上微調 Adapter 層，僅增加 2–4% 的參數，且性能接近完整模型微調。\n\n    Adapters 透過重寫中間層的激活值來修改模型行為，而 Prompt Tuning 則是透過調整輸入表示，保留了模型內部的運算不變。\n\n### 到底提示了什麼？\n\n如同剛才講到的，由於 Prompt Tuning 是在連續空間中操作，而非明確的詞彙空間，我們難以直接理解這些提示是如何影響模型的行為。\n\n作者透過計算每個提示 token 與模型詞彙表中各 token 的「餘弦相似度」，找出最相近的詞彙。這讓我們可以看到每個提示 token 對應的「最近鄰詞彙」，藉此找到提示 token 在語義上的含義。\n\n實驗結果顯示提示 token 的前五個最近鄰詞彙往往形成「語義密切相關的群組」。當使用隨機生成的向量代替經過訓練的提示 token，則無法形成相似的語義群聚。\n\n這些觀察顯示，訓練後的提示向量具有詞彙相似的結構；此外在長提示序列的情況下，作者發現多個提示 token 可能共享相同的最近鄰詞彙。\n\n作者推測這可能有兩種原因：\n\n1. **冗餘容量**：提示中可能存在重複或多餘的資訊。\n2. **缺乏序列結構**：模型可能難以把資訊定位到提示序列的特定位置。\n\n另一個重要的觀察是，提示 token 的最近鄰詞彙中，經常包含「下游任務的類別標籤」，意思是 Prompt Tuning 能在模型內部儲存預期的輸出類別，作為生成輸出的參考依據。\n\n## 結論\n\nPrompt Tuning 在各類實驗中的表現與傳統模型微調相當，且隨著模型規模的擴大，這種性能差距逐漸縮小。在零樣本領域遷移任務中，Prompt Tuning 展現出更好的泛化能力，表示凍結語言模型中的通用理解參數並將學習範圍限制於輕量化的提示向量，可以有效避免過度擬合於特定領域。\n\n作者認為未來的研究方向，可能在於將「任務定義的參數」與「語言建模的通用參數分離」，這樣可以更好地控制模型的行為，並提高模型的可解釋性。\n\n\n> [!TIP]\n> \n> 後續的有不少的研究也都在 Prompt Tuning 的方向進行，我們可以繼續再來看幾篇論文。\n","imageSizes":{"/content/papers/assets/0cff26c3218f8b6d30fe4d51e74ee40c999fd38c5219e4828653a6bf6b1a5d26.jpg":{"width":1184,"height":640},"/content/papers/assets/de6cb8c85b065d7e5bc361b9e1babf0f0a0fecf95a54d63bc19ca49df79f6bed.jpg":{"width":1292,"height":984},"/content/papers/assets/2a7e4fc23afa9dac14b036808fe7a07afcaf19bf8f0dd9d76ef485b3e29a258f.jpg":{"width":792,"height":716}}}
