返回论文笔记资料库
arXiv 2021ACL-IJCNLP 2021模型适配论文笔记

Prefix-Tuning

是他?不是他?

原始论文

Prefix-Tuning: Optimizing Continuous Prompts for Generation

论文作者

Xiang Lisa Li · Percy Liang

发表版本
ACL-IJCNLP 2021会议
arXiv 首次提交
arXiv:2101.00190
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{modeltuningprefixtuning2021,
  title = {{Prefix-Tuning: Optimizing Continuous Prompts for Generation}},
  author = {Xiang Lisa Li and Percy Liang},
  year = {2021},
  eprint = {2101.00190},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2101.00190}
}
本页内容

要使用别人 Train 好的语言模型,大概就是几个常见的方式:

  1. Fine-tuning:直接将模型的参数调整到新的任务上。

    但是不是一般人可以做的,因为需要大量的数据和计算资源。

  2. Prompt-based:通过设计好的 Prompt 来引导模型产生想要的结果。

    假设我们要做的任务是摘要,我们就会设计一个 Prompt 来引导模型产生摘要,不同的模型可能会需要不同的 Prompt,例如:

    1. GPT-3:Summarize with 3 sentences about the following article:
    2. T5:summarize the following article:
    3. BART:Document summarization:
    4. ...

    缺点是换个模型就换个脑袋,需要不断地测试。


除此之外,还有吗?

当然!研究者最不缺的就是创意。

前阵子出了一篇 AutoPrompt,通过自动化的方式找出最适合的 Prompt,同时结合了 Fine-tuning 和 Prompt-based 的优点。

通过一组可以学习的参数,让模型根据自己的特性来自己找出最适合的 Prompt。

定义问题

刚也提到了,目前的问题在于原本的模型规模太大,一般人无法 Fine-tuning,而 Prompt-based 又需要不断地测试。

既然这样,作者提出了一个新的方法:Prefix-Tuning。概念很简单,如上图,就是通过一个叫做 Prefix 的 Token,安插在模型输入的最前面,来引导模型产生结果。

等等,这不就是 AutoPrompt 在做的事情吗?

说得没错!

差别在于 AutoPrompt 的方法是从「已经训练」好的 Token 中组合出合适的 Prompt,而 Prefix-Tuning 则是「直接在特征空间」训练出最适合的 Token。

作者认为 AutoPrompt 的方法所产出的 Prompt 的连续性有问题,因为它是从已经训练好的 Token 中组合出来的,而 Prefix-Tuning 则是直接在特征空间训练出来的,所以会更加合用!

解决问题

模型架构

上图是 Prefix-Tuning 的模型架构示意图,在这个架构中,整个模型包含以下几个部分:

  1. 可训练的前缀参数 PθP_\theta:这是一组新加入的连续参数,在各层充当序列最前面的虚拟 token 激活值,其长度可设定。对 BART 这类编码器-解码器模型,编码器与解码器各有前缀。这些参数将在训练过程中进行优化,以引导模型生成符合特定任务需求的输出。

  2. 固定的预训练语言模型 LMϕ\text{LM}_\phi:这部分是已经预训练好的语言模型,论文分别在 GPT-2 和 BART 上实验。作者在 Prefix-Tuning 过程中保持其参数 ϕ\phi 不变,避免了大规模模型微调的资源消耗。

  3. 输入序列 xx:这是任务的输入,例如需要摘要的文章或需要描述的表格数据。

  4. 输出序列 yy:这是模型需要生成的输出,例如文章的摘要或表格的文字描述。

实作细节

在实作上,Prefix-Tuning 主要几个步骤:

  1. 初始化前缀参数:首先为前缀创建一组可训练的参数矩阵 PθP_\theta,其尺寸为 ∣Pidx∣×dim(hi)|P_{\text{idx}}| \times \text{dim}(h_i),其中 ∣Pidx∣|P_{\text{idx}}| 是前缀的长度,dim(hi)\text{dim}(h_i) 是模型隐藏层的维度。

  2. 重新参数化 (Reparametrization):

    直接优化高维度的 PθP_\theta 可能导致优化不稳定,因此作者采用重新参数化的策略:

    • 低维表示 Pθ′P'_\theta:建立一个较小的矩阵 Pθ′P'_\theta,其尺寸为 ∣Pidx∣×d′|P_{\text{idx}}| \times d',其中 d′<dim(hi)d' < \text{dim}(h_i)。
    • 多层感知机 (MLP):使用一个多层感知机 MLPθ\text{MLP}_\theta 将 Pθ′P'_\theta 映射到高维度的 PθP_\theta: Pθ[i,:]=MLPθ(Pθ′[i,:])P_\theta[i, :] = \text{MLP}_\theta \left( P'_\theta[i, :] \right)
    • 优化过程:在训练时,只需要优化 Pθ′P'_\theta 的参数以及 MLP 的权重 θ\theta,而预训练语言模型的参数 ϕ\phi 保持不变。
  3. 模型前向传播:

    • 前缀部分:对于前缀的每个位置 i∈Pidxi \in P_{\text{idx}},其激活值直接取自 Pθ[i,:]P_\theta[i, :]: hi=Pθ[i,:]h_i = P_\theta[i, :]
    • 输入序列部分:对于输入序列 xx 和输出序列 yy,其激活值按照预训练模型的计算方式,并受前缀激活的影响: hi=LMϕ(zi,h<i)h_i = \text{LM}_\phi(z_i, h_{<i}) 其中 ziz_i 是输入序列的第 ii 个 Token,h<ih_{<i} 包含了前缀和输入序列中第 ii 个位置之前的所有激活值。

模型的训练目标是最大化输出序列 yy 的对数似然函数:

max⁡θlog⁡pϕ(y∣x,Pθ)=∑i∈Yidxlog⁡pϕ(zi∣h<i)\max_\theta \log p_\phi(y | x, P_\theta) = \sum_{i \in Y_{\text{idx}}} \log p_\phi(z_i | h_{<i})

这里只优化前缀参数 θ\theta,而语言模型的参数 ϕ\phi 是固定的。

在训练完成后,由于我们已经获得了优化后的高维前缀矩阵 PθP_\theta。由于推理时不再需要进行重新参数化,因此我们可以丢弃 MLP 模型,只保留 PθP_\theta。在推理时,将 PθP_\theta 作为模型各层的前缀激活值,让新的输入序列 xx 与生成序列 yy 关注它;BART 的编码器和解码器则各使用自己的前缀。

数据集设置

  1. Table-to-Text 生成任务:

    • 使用三个数据集,依据复杂度和规模排序:
      1. E2E (Novikova et al., 2017):
        • 1 个领域(餐厅描述),约 50K 笔数据,包含 8 种栏位。
        • 每笔数据对应多个测试参考,平均输出长度为 22.9。
        • 评估指标:BLEU、NIST、METEOR、ROUGE-L、CIDEr。
      2. WebNLG (Gardent et al., 2017):
        • 22K 笔数据,输入为 (subject, property, object) 的三元组。
        • 涵盖 14 个领域,测试集分为「已见」与「未见」类别,以检测模型的泛化能力。
        • 平均输出长度为 22.5。
        • 评估指标:BLEU、METEOR、TER。
      3. DART (Radev et al., 2020):
        • 开放领域数据集,包含 82K 笔数据,输入格式类似 WebNLG。
        • 来自 WikiSQL、WikiTableQuestions、E2E 和 WebNLG 的数据。
        • 平均输出长度为 21.6。
        • 评估指标:BLEU、METEOR、TER、MoverScore、BERTScore、BLEURT。
  2. 摘要生成任务:

    • XSUM (Narayan et al., 2018):
      • 225K 笔新闻摘要数据,文章平均长度为 431 字,摘要平均长度为 23.3 字。
      • 评估指标:ROUGE-1、ROUGE-2、ROUGE-L。

讨论

表格转文字生成性能

Prefix-Tuning 仅使用 0.1% 的任务特定参数,但表现超越其他轻量化方法:

  • Adapter-Tuning (ADAPTER):使用同样 0.1% 参数,但 Prefix-Tuning 平均在 BLEU 分数上提升 4.1 分。
  • FT-TOP2:仅微调模型最上面的两层参数。

Prefix-Tuning 的表现接近甚至优于完整微调模型 (Fine-tuning)。相较于 Adapter-Tuning(3.0% 参数),Prefix-Tuning 的性能也不逊色。

Prefix-Tuning 在三个数据集(E2E、WebNLG、DART)中都取得相近的比较优势,支持其适用于这些表格转文字任务。在 DART 数据集上的表现显示,Prefix-Tuning 能够处理不同领域的表格数据和多元关系;未见主题的外推能力还要看后面的独立测试。

GPT-2 Medium 和 GPT-2 Large 上的实验显示,Prefix-Tuning 可随模型规模增长而保持性能,暗示其适用于更大型的模型(如 GPT-3)。

摘要生成性能

使用 2% 参数 时,Prefix-Tuning 的 ROUGE-L 分数为 36.05,略低于完整微调模型的 37.25。当参数进一步缩减至 0.1% 时,Prefix-Tuning 的 ROUGE-L 分数降至 35.05,显示出使用更少参数的情况下,性能有所下降。

Prefix-Tuning 在摘要生成任务上的表现低于完整微调,可能是由于以下几个因素:

  1. 数据量差异:XSUM 数据集的样本数量为表格转文字数据集的 4 倍,需要处理更多样本。
  2. 输入长度:XSUM 的文章平均长度为表格输入的 17 倍,需处理更长的输入序列。
  3. 任务复杂性:摘要生成比表格转文字更为复杂,因为需要模型具备阅读理解能力,以及从文章中辨识关键内容。

Prefix-Tuning 在摘要生成任务中的表现虽然不及完整微调,但仍然展示了其在资源受限场景中的潜力。不同任务对模型的挑战不同,在处理长文章和复杂内容时,Prefix-Tuning 的优势相对较小。然而,它依然在大幅减少参数的情况下,取得了接近微调的性能。

小样本配置

Prefix-Tuning 在小样本场景中优于 Fine-tuning;E2E 表格转文字的 BLEU 平均提升 2.9 分,且使用的参数大幅减少。随着数据集的规模增加,Prefix-Tuning 和 Fine-tuning 的性能差距逐渐缩小。

从完整数据集中(E2E 用于表格转文字,XSUM 用于摘要生成)抽样,建立不同规模的小数据集,规模分别为 {50, 100, 200, 500} 笔数据。每个规模进行 5 次不同的抽样,并对 2 种随机种子进行平均,因此每个规模的结果来自 10 个模型的平均表现。

在小数据场景中,两种方法都会出现内容生成不足 (undergeneration)的情况,即缺漏部分表格内容。Prefix-Tuning 的生成结果更为忠实于输入表格,即便在 100 或 200 笔数据的场景中,其描述依然符合真实数据。Fine-tuning 在 100 或 200 笔数据的设定下,可能误报顾客评分为「低」,而实际的评分为「平均」。相反,Prefix-Tuning 生成的描述则能准确反映表格内容。

Prefix-Tuning 在小样本场景中具有明显的适应优势,使用更少参数的同时提供更好的结果。此方法能更忠实地反映输入内容,特别是在数据量较少的情况下,表现比 Fine-tuning 更稳定和可靠。

外推能力

作者进一步探讨 Prefix-Tuning 在未见主题上的外推能力,即模型在训练和测试时处理不同主题的表现。

  • 外推设置

    • 表格转文字 (Table-to-Text):使用 WebNLG 数据集,根据表格主题进行分组:

      • SEEN:训练和验证集中出现的 9 个类别。
      • UNSEEN:仅在测试集中出现的 5 个类别。

      测试目标在 SEEN 类别上进行训练,并测试模型在 UNSEEN 类别上的表现。

    • 摘要生成 (Summarization):设置两种外推场景:

      • 新闻到体育:在新闻文章上进行训练,并在体育文章上进行测试。
      • 新闻内部分类:在「世界、英国、商业」新闻上训练,并在其他新闻类别(如健康、科技)上进行测试。

Prefix-Tuning 在所有评估指标上都优于 Fine-Tuning,无论是表格转文字还是摘要生成任务,显示其在跨主题场景中的强大外推能力。

Adapter-Tuning 在外推场景中的表现与 Prefix-Tuning 相当,这显示出保留语言模型参数(不对模型进行完整微调)有助于提升外推性能。

前缀要多长?

经过实验较长的前缀长度对性能有正面影响,但超过一定阈值后性能会略有下降。

  • 在摘要生成任务中,前缀长度增加到 200 时性能达到最佳。
  • 在表格转文字任务中,前缀长度增加到 10 时性能达到最佳。

前缀的长度对推理速度影响不大,因为 GPU 可将注意力计算并行化处理。

初始化策略

在小数据场景中,初始化策略对性能有很大影响:

  • 随机初始化导致性能较低且变异性高。
  • 使用真实词汇的激活初始化显著提升性能。

使用与任务相关的词(如「summarization」和「table-to-text」)初始化的性能略优于任务无关的词(如「elephant」和「divide」)。然而,即便是使用无关词的初始化,其性能也优于随机初始化。

适用场景

Prefix-Tuning 特别适合需要针对大量任务独立训练的场景,如多用户个性化模型。为了保护用户隐私,每个用户的数据需分离,且每位用户需要独立的模型。在此情境下,每位用户视为一个独立的任务。

Prefix-Tuning 可以借由增删各用户独立训练的前缀来灵活添加或删除用户,使不同用户的任务参数保持分离。

反观 Adapter-Tuning 的个人化适配器嵌在 Transformer 层之间,较难让不同用户的请求在同一批次中共用模型计算。

为何在未见主题上表现优异?

这个问题作者有用了一个小章节来论述。

首先,预训练语言模型是在大规模通用语料上训练的,因此保留这些参数(不进行大幅调整)有助于保持模型的泛化能力,使模型能应对未见主题。Prefix-Tuning 和 Adapter-Tuning 都冻结了预训练参数,仅调整小部分参数,避免对模型的原始能力造成干扰。

完整微调 (Fine-tuning) 可能导致模型过度拟合于训练数据,特别是在特定领域或小数据集的场景中。轻量化微调(如 Prefix-Tuning 和 Adapter-Tuning)只针对部分参数进行优化;保留预训练参数可能有助于未见主题的表现,但作者也说真正原因仍待研究。

虽然轻量化微调保留了预训练参数,但这也意味着它无法充分针对新任务优化模型。在某些高度复杂的场景中(如需要深入理解和推理的任务),微调可能必不可少,而轻量化微调的表现可能会受到限制。

虽然 Prefix-Tuning 在外推场景上有良好表现,但这种结果可能依赖于特定的数据或任务。例如,在过于复杂或不规则的数据上,轻量化微调可能无法提供稳定的泛化性能。此外,部分未见主题的测试集可能与预训练语料有潜在的重叠,这可能导致结果偏向乐观。

最后,作者认为这仍然是个开放问题,需要进一步研究。

结论

Prefix-Tuning 是一种轻量化微调方法,通过添加一组可训练的前缀参数,引导模型生成符合特定任务需求的输出。

这种方法在表格转文字和摘要生成任务上取得了令人印象深刻的性能,即使只使用少量参数。Prefix-Tuning 在小样本和未见主题场景中表现优异,具有良好的泛化能力。