{"notes":[{"id":"model-tuning/soft-prompts","category":"model-tuning","legacyPath":"model-tuning/2104-soft-prompts","legacySlug":"2104-soft-prompts","legacyPaths":[],"title":"Soft Prompts","subtitle":"小弦切切如私语","author":"Z. Yuan","paperDate":"2021-04-18","publishedOn":"2024-10-30","paperTitle":"The Power of Scale for Parameter-Efficient Prompt Tuning","paperUrl":"https://arxiv.org/abs/2104.08691","bibliography":{"title":"The Power of Scale for Parameter-Efficient Prompt Tuning","authors":["Brian Lester","Rami Al-Rfou","Noah Constant"],"url":"https://arxiv.org/abs/2104.08691","pdfUrl":"https://arxiv.org/pdf/2104.08691","codeUrl":null,"preprint":{"id":"2104.08691","submittedOn":"2021-04-18","url":"https://arxiv.org/abs/2104.08691"},"publication":{"venue":"EMNLP","year":2021,"kind":"conference","url":"https://arxiv.org/abs/2104.08691"},"citation":"@misc{modeltuningsoftprompts2021,\n  title = {{The Power of Scale for Parameter-Efficient Prompt Tuning}},\n  author = {Brian Lester and Rami Al-Rfou and Noah Constant},\n  year = {2021},\n  eprint = {2104.08691},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2104.08691}\n}\n","citationPath":"/content/papers/citations/model-tuning/soft-prompts.75de530ce724.bib"},"thumbnail":{"src":"/content/papers/assets/0cff26c3218f8b6d30fe4d51e74ee40c999fd38c5219e4828653a6bf6b1a5d26.jpg","width":1184,"height":640},"locale":"zh-hans","path":"/content/papers/zh-hans/model-tuning/soft-prompts.fea9a85276ef.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"prompt-tuning","text":"Prompt Tuning","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"提示长度要多长","text":"提示长度要多长？","depth":3},{"id":"提示初始化策略的影响","text":"提示初始化策略的影响？","depth":3},{"id":"预训练目标的影响","text":"预训练目标的影响？","depth":3},{"id":"lm-调适时长的影响","text":"LM 调适时长的影响？","depth":3},{"id":"和其他方法比较","text":"和其他方法比较","depth":3},{"id":"到底提示了什么","text":"到底提示了什么？","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"model-tuning/autoprompt","relation":"comparison","topic":"离散提示、软提示与前缀"},{"id":"model-tuning/prefix-tuning","relation":"comparison","topic":"离散提示、软提示与前缀"}]},{"id":"model-tuning/autoprompt","category":"model-tuning","legacyPath":"model-tuning/2010-autoprompt","legacySlug":"2010-autoprompt","legacyPaths":[],"title":"AutoPrompt","subtitle":"模型语","author":"Z. Yuan","paperDate":"2020-10-29","publishedOn":"2024-06-15","paperTitle":"AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts","paperUrl":"https://arxiv.org/abs/2010.15980","bibliography":{"title":"AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts","authors":["Taylor Shin","Yasaman Razeghi","Robert L. Logan","Eric Wallace","Sameer Singh"],"url":"https://arxiv.org/abs/2010.15980","pdfUrl":"https://arxiv.org/pdf/2010.15980","codeUrl":null,"preprint":{"id":"2010.15980","submittedOn":"2020-10-29","url":"https://arxiv.org/abs/2010.15980"},"publication":{"venue":"EMNLP","year":2020,"kind":"conference","url":"https://doi.org/10.18653/v1/2020.emnlp-main.346"},"citation":"@misc{modeltuningautoprompt2020,\n  title = {{AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts}},\n  author = {Taylor Shin and Yasaman Razeghi and Robert L. Logan and Eric Wallace and Sameer Singh},\n  year = {2020},\n  eprint = {2010.15980},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2010.15980}\n}\n","citationPath":"/content/papers/citations/model-tuning/autoprompt.1466df03434e.bib"},"thumbnail":{"src":"/content/papers/assets/3a9a46741e3e735774bacb3425027a4fb544d1551d111e9321f90d72ac8b7865.jpg","width":1730,"height":544},"locale":"zh-hans","path":"/content/papers/zh-hans/model-tuning/autoprompt.9964bd6d7bf5.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"手动编写提示既费时又麻烦","text":"手动编写提示既费时又麻烦","depth":3},{"id":"模型对输入的敏感度超高","text":"模型对输入的敏感度超高","depth":3},{"id":"专业知识不足","text":"专业知识不足","depth":3},{"id":"换个模型换个脑袋","text":"换个模型换个脑袋","depth":3},{"id":"解决问题","text":"解决问题","depth":2},{"id":"模型架构设计","text":"模型架构设计","depth":3},{"id":"基于梯度的提示搜索","text":"基于梯度的提示搜索","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"情感分析实验","text":"情感分析实验","depth":3},{"id":"事实检索","text":"事实检索","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"model-tuning/soft-prompts","relation":"comparison","topic":"离散提示、软提示与前缀"},{"id":"model-tuning/prefix-tuning","relation":"comparison","topic":"离散提示、软提示与前缀"}]},{"id":"model-tuning/prefix-tuning","category":"model-tuning","legacyPath":"model-tuning/2101-prefix-tuning","legacySlug":"2101-prefix-tuning","legacyPaths":[],"title":"Prefix-Tuning","subtitle":"是他？不是他？","author":"Z. Yuan","paperDate":"2021-01-01","publishedOn":"2024-10-30","paperTitle":"Prefix-Tuning: Optimizing Continuous Prompts for Generation","paperUrl":"https://arxiv.org/abs/2101.00190","bibliography":{"title":"Prefix-Tuning: Optimizing Continuous Prompts for Generation","authors":["Xiang Lisa Li","Percy Liang"],"url":"https://arxiv.org/abs/2101.00190","pdfUrl":"https://arxiv.org/pdf/2101.00190","codeUrl":null,"preprint":{"id":"2101.00190","submittedOn":"2021-01-01","url":"https://arxiv.org/abs/2101.00190"},"publication":{"venue":"ACL-IJCNLP","year":2021,"kind":"conference","url":"https://doi.org/10.18653/v1/2021.acl-long.353"},"citation":"@misc{modeltuningprefixtuning2021,\n  title = {{Prefix-Tuning: Optimizing Continuous Prompts for Generation}},\n  author = {Xiang Lisa Li and Percy Liang},\n  year = {2021},\n  eprint = {2101.00190},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2101.00190}\n}\n","citationPath":"/content/papers/citations/model-tuning/prefix-tuning.fda64a808b55.bib"},"thumbnail":{"src":"/content/papers/assets/21f9834f78ef22b11e57cdbfd5c39edca8f15b7ba5ce59a699bd30d0a6c1bc7c.jpg","width":1834,"height":620},"locale":"zh-hans","path":"/content/papers/zh-hans/model-tuning/prefix-tuning.276e9ded103b.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"模型架构","text":"模型架构","depth":3},{"id":"实作细节","text":"实作细节","depth":3},{"id":"数据集设置","text":"数据集设置","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"表格转文字生成性能","text":"表格转文字生成性能","depth":3},{"id":"摘要生成性能","text":"摘要生成性能","depth":3},{"id":"小样本配置","text":"小样本配置","depth":3},{"id":"外推能力","text":"外推能力","depth":3},{"id":"前缀要多长","text":"前缀要多长？","depth":3},{"id":"初始化策略","text":"初始化策略","depth":3},{"id":"适用场景","text":"适用场景","depth":3},{"id":"为何在未见主题上表现优异","text":"为何在未见主题上表现优异？","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"model-tuning/adapter","relation":"comparison","topic":"用少量可训练参数调整模型"},{"id":"model-tuning/lora","relation":"comparison","topic":"用少量可训练参数调整模型"},{"id":"model-tuning/autoprompt","relation":"comparison","topic":"离散提示、软提示与前缀"}]}],"text":"我们刚看完 Prefix-Tuning 不久，现在来看另外一个新的方法：**Prompt Tuning**。\n\n\n> [!TIP]\n> \n> 如果你还没看过 Prefix-Tuning，不妨先去看一下我们之前读的论文：\n> \n> - [**[21.01] Prefix-Tuning: 是他？不是他？**](/blog/papers/model-tuning/prefix-tuning)\n\n\n## 定义问题\n\n作者在论文中从 T5 的论文架构开始，来帮助读者了解目前在调整模型上所面临的困难。\n\n\n> [!TIP]\n> \n> 如果你没看过 T5，可以参考以下论文：\n> \n> - [**[19.10] Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer**](https://arxiv.org/abs/1910.10683)\n\n\nT5 将所有任务视为文本生成问题，无论是翻译、摘要还是分类，都可以表示为从输入文本生成输出文本。\n\n传统的分类模型使用概率 $\\text{Pr}(y|X)$，将输入 $X$ 映射到输出类别 $y$，然而，在 T5 的架构中，模型所关注的是**条件生成**问题，目标是计算：\n\n$$\n\\text{Pr}_\\theta(Y | X)\n$$\n\n其中：\n\n- $Y$ 是代表类别的**文本**，例如：「positive」或「negative」，而不是 0, 1, 2 这种类别。\n- $\\theta$ 是 Transformer 模型的参数。\n\n这种方法的优点是模型可以直接生成更丰富的文本输出，而不仅仅是单一的类别标签。\n\n提示（Prompting）是添加在输入 $X$ 前的一段文本，用于引导模型生成正确的输出 $Y$。提示为模型提供了任务的上下文或指令，帮助模型理解应该如何处理输入。\n\n例如在情感分析任务中，我们可以使用以下提示：\n\n```\n\"请判断以下句子的情感倾向：\"\n```\n\n然后将用户的输入句子接在提示后面，形成模型的最终输入：\n\n```\n\"请判断以下句子的情感倾向：I love this movie!\"\n```\n\n但是这种「传统上」的提示，不仅人工成本高，而且效果不稳定又不可微分。不可微分的问题意味着我们无法通过反向传播算法来更新提示的参数，这将导致模型无法自动学习到最佳的提示方式。\n\n---\n\n为了解决这个问题，之前的研究：Prefix-Tuning 提出在模型的输入最前面加上一个叫做 Prefix 的 Token，来引导模型产生结果。这个 Prefix 必须深入到模型的每一层，这样才能让模型在每一层都能受到引导。\n\n那我们能不能把事情简化一下？只要在输入层对模型进行引导就好了？\n\n所以就有了这篇论文：**Prompt Tuning**。\n\n\n> [!TIP]\n> \n> 这里说的「引导」和另外我们常听到的「Prompt Engineering」不是同一件事情，Prompt Engineering 还是使用自然语言的方式来引导模型，从头到尾都没有改变模型的输入特征，没有改参数，也没有改架构。\n> \n> 而「Prompt Tuning」指的是在模型的输入层加上一个特殊的 Token，这个 Token 是可以训练的，这样就可以让模型在训练的时候自己学习到最适合的引导方式。\n\n\n## 解决问题\n\n### Prompt Tuning\n\n\n\n![模型架构](/content/papers/assets/0cff26c3218f8b6d30fe4d51e74ee40c999fd38c5219e4828653a6bf6b1a5d26.jpg)\n\n\n\n所以作者提出了 Prompt Tuning 的方法，引入了可更新的提示词嵌入参数 $\\theta_P$，这些参数不再受限于模型的词嵌入表，可以通过训练数据自动学习。\n\n新的条件生成公式为：\n\n$$\n\\text{Pr}_{\\theta; \\theta_P}(Y | [P; X])\n$$\n\n其中：\n\n- $[P; X]$ 表示将提示 $P$ 和输入 $X$ 进行拼接。\n- $\\theta$ 是冻结的模型参数。\n- $\\theta_P$ 是可训练的提示参数。\n\n在训练过程中，使用反向传播算法，只更新提示参数 $\\theta_P$，而保持模型主体的参数 $\\theta$ 不变。\n\n具体的实现细节大致上可以分为几个步骤：\n\n1. **输入嵌入**：将输入的 $n$ 个 token 嵌入为矩阵 $X_e \\in \\mathbb{R}^{n \\times e}$，其中 $e$ 是嵌入维度。\n2. **提示嵌入**：提示词嵌入为矩阵 $P_e \\in \\mathbb{R}^{p \\times e}$，其中 $p$ 是提示的长度。\n3. **拼接操作**：将提示嵌入和输入嵌入拼接为：\n   $$\n   [P_e; X_e] \\in \\mathbb{R}^{(p + n) \\times e}\n   $$\n4. **模型处理**：将拼接后的嵌入输入到编码器-解码器架构中进行计算。\n\n假设我们希望模型判断句子 \"I love this movie!\" 的情感，基于传统方法的模型输入是：\n\n```\n\"请判断以下句子的情感：I love this movie!\"\n```\n\n而使用 Prompt Tuning 方法的模型输入是：\n\n```\n[Token1] [Token2] [Token3] [Token4] [Token5] I love this movie!\n```\n\n其中，上面的每一个 Token 都代表可训练的连续向量，并不是词汇表中的实际字串；模型必须自己学习如何最好地使用这些提示。\n\n\n> [!TIP]\n> \n> **这不就是 AutoPrompt？**\n> \n> 如果你之前有读过 AutoPrompt 的话，你可能就会问出这个问题，如果没看过，可以参考我们之前的文章：\n> \n> - [**[20.10] AutoPrompt: 模型语**](/blog/papers/model-tuning/autoprompt)\n> \n> ---\n> \n> 这两者的差别在于：在 AutoPrompt 中，模型要从现有的词汇表中找到最适合的提示，最后的结果都存在于词汇表中。而在 Prompt Tuning 中，提示的输入直接作用于特征空间，不需要受限于词汇表。\n> \n> 所以基于 Prompt Tuning 的结果，你可以通过计算余弦相似度来看这和哪些词汇比较接近，但不能直接把提示当成可读的词句。\n\n\n## 讨论\n\n![消融实验](/content/papers/assets/de6cb8c85b065d7e5bc361b9e1babf0f0a0fecf95a54d63bc19ca49df79f6bed.jpg)\n\n作者做了一系列的消融研究，来探讨 Prompt Tuning 的一些关键问题：\n\n### 提示长度要多长？\n\n如上图 (a)，作者对不同模型规模（Small、Base、Large、XL、XXL）的提示长度进行了实验，提示长度分别为 \\{1, 5, 20, 100, 150\\}。\n\n结果显示，对大多数模型而言，提示长度增加到多于 1 个 token 对性能表现有明显提升。但对于 T5-XXL 模型，即使只使用单一 token 作为提示，也能达到不错的表现，表明大模型对提示讯号的需求较低。\n\n超过 20 个 token 后，性能提升趋于平缓；对部分较大的模型，超过 100 个甚至略有下降。\n\n### 提示初始化策略的影响？\n\n如上图 (b)，作者比较了三种不同的初始化策略：\n\n1. **随机初始化**：从范围 $[-0.5, 0.5]$ 中均匀随机取样。\n2. **词汇嵌入初始化**：从 T5 的 **5,000 个最常见词汇**中选取词嵌入进行初始化。\n3. **类别标签初始化**：将下游任务中的类别标签转换为词嵌入，若标签为多个 token，则对嵌入取平均值。当提示长度超过类别数时，剩余的 token 使用词汇嵌入填充。\n\n结果显示，类别标签初始化整体表现较好，特别是对于小模型来说，初始化策略的差异非常明显。T5-XXL 模型对初始化策略较不敏感，几种方法的结果相近。\n\n### 预训练目标的影响？\n\n如上图 (c)，作者探讨了不同的预训练目标对 Prompt Tuning 的影响：\n\n1. **Span Corruption**：使用预设的 T5 span corruption 预训练目标。\n2. **Span Corruption + Sentinel**：在下游任务的目标输出中添加哨兵符号，以模拟预训练时的输出格式。\n3. **LM 调适**：延续 T5 的预训练，但改为**语言模型（LM）目标**，进行额外的 100,000 步调适。\n\n结果显示，Span Corruption 预训练的模型不适合用于冻结模型的 Prompt Tuning，因为模型习惯了读取和输出带有哨兵符号的文本。即使通过 **「Span Corruption + Sentinel」** 模拟预训练格式，效果仍然有限。\n\n**LM Adaptation** 在各个模型规模上都有提升，但 T5-XXL 的增益相对较小。\n\n### LM 调适时长的影响？\n\n如上图 (d)，作者探讨了 LM 调适时长对 Prompt Tuning 的影响。\n\n结果显示，在图中测试的范围内，延长 LM 调适步数至 100,000 步仍有增益。Span Corruption 预训练转换为 LM 目标不是一个简单的过程，需要投入相当的训练资源（相当于原始 T5 预训练步数的 10%）。\n\nT5-XXL 在各种非理想配置下仍表现良好，显示其对模型设定具有高韧性。在 Span Corruption 配置下，模型表现不稳定，小模型甚至超越了 Base、Large 和 XL 模型。这些问题并非随机波动造成，因为在 3 次重复实验中观察到一致的低变异。\n\n与 Span Corruption 预训练的模型相比，LM 调适后的模型在所有规模下都表现稳定，大幅降低了性能不稳定的风险。\n\n### 和其他方法比较\n\n\n\n![方法比较](/content/papers/assets/2a7e4fc23afa9dac14b036808fe7a07afcaf19bf8f0dd9d76ef485b3e29a258f.jpg)\n\n\n\n上图中，作者将 Prompt Tuning 与其他相关方法进行了比较，由于方法众多，下面会列出每个方法的简要介绍和参考文献。\n\n---\n\n- **Prefix Tuning**：\n\n  - [**[21.01] Prefix-Tuning: Optimizing Continuous Prompts for Generation**](https://arxiv.org/abs/2101.00190)\n\n  在 Transformer 的每一层前置可学习的前缀 (prefix)，相当于为每层网络固定激活值。这方法适用于 GPT-2 和 BART，而本研究的 Prompt Tuning 专注于 T5。在 BART 上，Prefix Tuning 需要同时在「编码器和解码器」加入前缀，而 Prompt Tuning 只需在编码器加入提示。\n\n  Prompt Tuning 只需在输入层加上一段可学习提示，而非在每层加入前缀，因此参数需求更少。而且 Prompt Tuning 允许 Transformer 根据输入例子更新其中间层的任务表征，而 Prefix Tuning 在这篇论文比较的设定中需要重参数化来稳定训练。\n\n---\n\n- **WARP**\n\n  - [**[21.01] WARP: Word-level Adversarial ReProgramming**](https://arxiv.org/abs/2101.00121)\n\n  WARP 将提示参数添加至输入层，并使用 [MASK] token 和可学习的输出层，将遮蔽部分映射至类别预测。这种方法只能产生单一输出，因此受限于分类任务。\n\n  Prompt Tuning 不需要对输入进行特殊设计或使用任务专属的输出层，适用于更广泛的任务。性能也更接近完整的模型微调。\n\n---\n\n- **P-tuning**\n\n  - [**[21.03] GPT Understands, Too**](https://arxiv.org/abs/2103.10385)\n\n  P-tuning 将可学习的连续提示嵌入于输入之间，并基于人类设计的模式进行排列。为了达到良好的 SuperGLUE 表现，P-tuning 必须与模型微调结合，即同时调整提示和主模型的参数。\n\n  Prompt Tuning 只需更新提示参数，而主语言模型保持冻结，避免模型微调的成本。\n\n---\n\n- **Soft Words**\n\n  - [**[21.04] Learning How to Ask: Querying LMs with Mixtures of Soft Prompts**](https://arxiv.org/abs/2104.06599)\n\n    Soft Words 学习的提示基于手工设计的提示范本，并为每层添加可学习的 $\\Delta_i$ 参数，使得参数需求随模型深度增加。\n\n    Prompt Tuning 不需要随层数增加而添加额外参数，因此在参数规模上更具效率。\n\n---\n\n- **Adapters**\n\n  - [**[19.02] Parameter-Efficient Transfer Learning for NLP**](https://arxiv.org/abs/1902.00751)\n\n    Adapters 是插入于冻结模型层之间的小型瓶颈层，用以减少任务专属参数。在 BERT-Large 上微调 Adapter 层，仅增加 2–4% 的参数，且性能接近完整模型微调。\n\n    Adapters 通过重写中间层的激活值来修改模型行为，而 Prompt Tuning 则是通过调整输入表示，保留了模型内部的运算不变。\n\n### 到底提示了什么？\n\n如同刚才讲到的，由于 Prompt Tuning 是在连续空间中操作，而非明确的词汇空间，我们难以直接理解这些提示是如何影响模型的行为。\n\n作者通过计算每个提示 token 与模型词汇表中各 token 的「余弦相似度」，找出最相近的词汇。这让我们可以看到每个提示 token 对应的「最近邻词汇」，借此找到提示 token 在语义上的含义。\n\n实验结果显示提示 token 的前五个最近邻词汇往往形成「语义密切相关的群组」。当使用随机生成的向量代替经过训练的提示 token，则无法形成相似的语义群聚。\n\n这些观察显示，训练后的提示向量具有词汇相似的结构；此外在长提示序列的情况下，作者发现多个提示 token 可能共享相同的最近邻词汇。\n\n作者推测这可能有两种原因：\n\n1. **冗余容量**：提示中可能存在重复或多余的信息。\n2. **缺乏序列结构**：模型可能难以把信息定位到提示序列的特定位置。\n\n另一个重要的观察是，提示 token 的最近邻词汇中，经常包含「下游任务的类别标签」，意思是 Prompt Tuning 能在模型内部储存预期的输出类别，作为生成输出的参考依据。\n\n## 结论\n\nPrompt Tuning 在各类实验中的表现与传统模型微调相当，且随着模型规模的扩大，这种性能差距逐渐缩小。在零样本领域迁移任务中，Prompt Tuning 展现出更好的泛化能力，表示冻结语言模型中的通用理解参数并将学习范围限制于轻量化的提示向量，可以有效避免过度拟合于特定领域。\n\n作者认为未来的研究方向，可能在于将「任务定义的参数」与「语言建模的通用参数分离」，这样可以更好地控制模型的行为，并提高模型的可解释性。\n\n\n> [!TIP]\n> \n> 后续的有不少的研究也都在 Prompt Tuning 的方向进行，我们可以继续再来看几篇论文。\n","imageSizes":{"/content/papers/assets/0cff26c3218f8b6d30fe4d51e74ee40c999fd38c5219e4828653a6bf6b1a5d26.jpg":{"width":1184,"height":640},"/content/papers/assets/de6cb8c85b065d7e5bc361b9e1babf0f0a0fecf95a54d63bc19ca49df79f6bed.jpg":{"width":1292,"height":984},"/content/papers/assets/2a7e4fc23afa9dac14b036808fe7a07afcaf19bf8f0dd9d76ef485b3e29a258f.jpg":{"width":792,"height":716}}}
