返回论文笔记资料库
arXiv 2020EMNLP 2020模型适配论文笔记

AutoPrompt

模型语

原始论文

AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts

论文作者

Taylor Shin · Yasaman Razeghi · Robert L. Logan · Eric Wallace · Sameer Singh

发表版本
EMNLP 2020会议
arXiv 首次提交
arXiv:2010.15980
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{modeltuningautoprompt2020,
  title = {{AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts}},
  author = {Taylor Shin and Yasaman Razeghi and Robert L. Logan and Eric Wallace and Sameer Singh},
  year = {2020},
  eprint = {2010.15980},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2010.15980}
}
本页内容

语言模型越做越大,使得大部分的人都没有能力来训练或微调时,另外一个方向的研究应运而生:提示工程(Prompt engineering)。

这个概念是指如何设计一个好的提示(prompt),让大型语言模型能够回答特定问题。

但是写提示很麻烦啊!

定义问题

手动编写提示既费时又麻烦

每次为一个新任务编写提示,就像在玩一场需要反复试验的拼图游戏,需要花大量时间。

编写这些提示也不简单,你得非常了解模型和任务,才能写出有效的提示,这对大部分人来说并不直观。

模型对输入的敏感度超高

模型对提示的要求很高,一点点的变化可能会让模型的表现大打折扣。

写提示时稍有不慎,就可能让结果一团糟。

专业知识不足

手动写提示不仅累,而且需要非常专业的知识。如果不具备专业知识,可能问不到核心概念,模型也只能回答一些表面问题。

换个模型换个脑袋

经历过前面几个挑战后,你花了几个月,终于完成了可以完全压榨出模型潜力的提示工程。

但是这时候,模型升级了!

于是你又得重新开始。

解决问题

模型架构设计

为了解决上述的问题,本文提出了一种新的方法:AutoPrompt。

概念上非常简单:既然我不知道怎样的提示对模型有效,那就让模型自己生成提示。

整个架构在上图中非常清晰地展示了出来:

  1. Original Input:这是原始的输入 XX。

  2. [MASK]:这是遮蔽语言模型要填入词汇的预测位置,并不是已知的输出 YY。

这里使用的是情感分析的任务,所以模型在 [MASK] 位置对词汇的预测,会转换成正向或负向的类别概率。

中间 [T] 的部分,就是 AutoPrompt 的重点:自动生成提示的范围。

意思就是,方法利用带标签的训练数据,为任务找出一组共用的触发词;测试时再把触发词和新的输入放进模板。

基于梯度的提示搜索

作者针对不同的任务设计了不同的模板,上图展示的是找到的提示范例。

在这部分,AutoPrompt 利用一种基于梯度的搜索策略来自动生成提示。

模板中的触发词 [T] 先以 [MASK] 初始化,再用梯度估计替换词的效果,找出 top-k 候选,逐一代入模板评估并选出较好的词。

因此,这个方法不会动到目标语言模型;梯度用来搜索词汇表中的离散触发词,而不是更新模型权重。

讨论

情感分析实验

研究结果显示:

  1. AutoPrompt 找到的提示,能从未微调的 BERT 和 RoBERTa 引出不错的情感分析表现。
  2. 无需微调,BERT 在 SST-2 测试集得到 82.3%,接近受监督 BiLSTM 的 82.8%。
  3. RoBERTa 得到 91.4%,高于 BiLSTM + ELMo 的 89.3%,但低于微调 BERT 的 93.5%。

此外,作者也观察到自动构建的提示比手动提示更有效,且这些提示使用人类直觉难以构建:

  • 在 SST-2 测试集,BERT 的自动提示比手动提示高 19.1 个百分点(82.3% 对 63.2%);RoBERTa 则高 6.2 个百分点(91.4% 对 85.2%)。
  • 对于 RoBERTa 来说,最佳模板是 “{句子} atmosphere alot dialogue Clone totally [P]。”。

事实检索

作者也在事实检索任务上进行了实验,这项研究利用 LAMA 和 LPAQA 数据集,探讨预训练 MLM(如 BERT 和 RoBERTa)是否能准确辨识与理解真实世界的事实。在这个任务中,作者使用模板 "{sub}[T]...[T][P]" 来映射三元组,其中触发标记是关于关系的特定 Token,正确对象作为标签标记。

  • 数据收集与处理

    • 对 LAMA 的每种关系,从 T-REx 数据集和 Wikidata 收集最多 1000 个事实以训练 AutoPrompt。
    • 确保收集的 T-REx 三元组不出现在 LAMA 测试集中,并将收集的数据按 80/20 分成训练/开发集;另以 T-REx 的 60/20/20 分割测试同分布结果。
  • 性能评估

    • 使用标准排名指标如平均倒数排名(MRR)、精度为 1(P@1)和精度为 10(P@10)来评估模型。
    • 在图中的 LAMA Original 测试集,7 个触发词的 P@1 为 43.34%,高于 LPAQA 的 34.10%;5 个触发词的 P@1 也有 42.94%。
  • BERT 与 RoBERTa 的比较:

    • 作者只在两种模型都能以单一 token 表示答案的 LAMA 子集上比较;BERT 的 P@1 为 45.23%,RoBERTa 为 40.01%。RoBERTa 找到的提示也常含较多无关的词。

在这些事实检索评估中,AutoPrompt 比手动和语料挖掘的提示取得更高分数。

令人惊讶的是 RoBERTa 的表现并不比 BERT 更好,值得在未来的工作中进一步研究这一点。

结论

如同前面作者所提到的:

  • 对于 RoBERTa 来说,最佳模板是 “{句子} atmosphere alot dialogue Clone totally [P]。”。

虽然语言模型是使用人类的语言知识训练的,但或许模型已经从训练数据中总结出了更多「只属于」模型可以理解的「模型语」。

这种「模型语」的形成是由于深层神经网络能够从数据中抽象出复杂的语言特征,这些特征包含了语言的深层语义和语境模式。

因此,当模型使用这些看似无序的词组来表达其内部状态时,这实际上是模型在用它自己的方式来处理和编码信息。

这件事情其实非常有趣,他可以衍生出非常多的思考:

  1. 人类语言是否过于低效?

  2. 模型语和人类语之间的差异是否需要消除?又真的能消除吗?

  3. 我们常诟病模型不够透明,但是这种「模型语」的存在是否让模型更加难以解释?

  4. 不同模型之间的「模型语」是否有相似性?毕竟他们都是从人类语言中学习的?

且让我们继续翻看后续的研究,看看这些问题是否有更多的答案。