AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts
- 发表版本
- EMNLP 2020会议
- arXiv 首次提交
- arXiv:2010.15980
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{modeltuningautoprompt2020,
title = {{AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts}},
author = {Taylor Shin and Yasaman Razeghi and Robert L. Logan and Eric Wallace and Sameer Singh},
year = {2020},
eprint = {2010.15980},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2010.15980}
}
语言模型越做越大,使得大部分的人都没有能力来训练或微调时,另外一个方向的研究应运而生:提示工程(Prompt engineering)。
这个概念是指如何设计一个好的提示(prompt),让大型语言模型能够回答特定问题。
但是写提示很麻烦啊!
定义问题
手动编写提示既费时又麻烦
每次为一个新任务编写提示,就像在玩一场需要反复试验的拼图游戏,需要花大量时间。
编写这些提示也不简单,你得非常了解模型和任务,才能写出有效的提示,这对大部分人来说并不直观。
模型对输入的敏感度超高
模型对提示的要求很高,一点点的变化可能会让模型的表现大打折扣。
写提示时稍有不慎,就可能让结果一团糟。
专业知识不足
手动写提示不仅累,而且需要非常专业的知识。如果不具备专业知识,可能问不到核心概念,模型也只能回答一些表面问题。
换个模型换个脑袋
经历过前面几个挑战后,你花了几个月,终于完成了可以完全压榨出模型潜力的提示工程。
但是这时候,模型升级了!
于是你又得重新开始。
解决问题
模型架构设计
为了解决上述的问题,本文提出了一种新的方法:AutoPrompt。
概念上非常简单:既然我不知道怎样的提示对模型有效,那就让模型自己生成提示。
整个架构在上图中非常清晰地展示了出来:
-
Original Input:这是原始的输入 。
-
[MASK]:这是遮蔽语言模型要填入词汇的预测位置,并不是已知的输出 。
这里使用的是情感分析的任务,所以模型在 [MASK] 位置对词汇的预测,会转换成正向或负向的类别概率。
中间 [T] 的部分,就是 AutoPrompt 的重点:自动生成提示的范围。
意思就是,方法利用带标签的训练数据,为任务找出一组共用的触发词;测试时再把触发词和新的输入放进模板。
基于梯度的提示搜索
作者针对不同的任务设计了不同的模板,上图展示的是找到的提示范例。
在这部分,AutoPrompt 利用一种基于梯度的搜索策略来自动生成提示。
模板中的触发词 [T] 先以 [MASK] 初始化,再用梯度估计替换词的效果,找出 top-k 候选,逐一代入模板评估并选出较好的词。
因此,这个方法不会动到目标语言模型;梯度用来搜索词汇表中的离散触发词,而不是更新模型权重。
讨论
情感分析实验
研究结果显示:
- AutoPrompt 找到的提示,能从未微调的 BERT 和 RoBERTa 引出不错的情感分析表现。
- 无需微调,BERT 在 SST-2 测试集得到 82.3%,接近受监督 BiLSTM 的 82.8%。
- RoBERTa 得到 91.4%,高于 BiLSTM + ELMo 的 89.3%,但低于微调 BERT 的 93.5%。
此外,作者也观察到自动构建的提示比手动提示更有效,且这些提示使用人类直觉难以构建:
- 在 SST-2 测试集,BERT 的自动提示比手动提示高 19.1 个百分点(82.3% 对 63.2%);RoBERTa 则高 6.2 个百分点(91.4% 对 85.2%)。
- 对于 RoBERTa 来说,最佳模板是 “{句子} atmosphere alot dialogue Clone totally [P]。”。
事实检索
作者也在事实检索任务上进行了实验,这项研究利用 LAMA 和 LPAQA 数据集,探讨预训练 MLM(如 BERT 和 RoBERTa)是否能准确辨识与理解真实世界的事实。在这个任务中,作者使用模板 "{sub}[T]...[T][P]" 来映射三元组,其中触发标记是关于关系的特定 Token,正确对象作为标签标记。
-
数据收集与处理
- 对 LAMA 的每种关系,从 T-REx 数据集和 Wikidata 收集最多 1000 个事实以训练 AutoPrompt。
- 确保收集的 T-REx 三元组不出现在 LAMA 测试集中,并将收集的数据按 80/20 分成训练/开发集;另以 T-REx 的 60/20/20 分割测试同分布结果。
-
性能评估
- 使用标准排名指标如平均倒数排名(MRR)、精度为 1(P@1)和精度为 10(P@10)来评估模型。
- 在图中的 LAMA Original 测试集,7 个触发词的 P@1 为 43.34%,高于 LPAQA 的 34.10%;5 个触发词的 P@1 也有 42.94%。
-
BERT 与 RoBERTa 的比较:
- 作者只在两种模型都能以单一 token 表示答案的 LAMA 子集上比较;BERT 的 P@1 为 45.23%,RoBERTa 为 40.01%。RoBERTa 找到的提示也常含较多无关的词。
在这些事实检索评估中,AutoPrompt 比手动和语料挖掘的提示取得更高分数。
令人惊讶的是 RoBERTa 的表现并不比 BERT 更好,值得在未来的工作中进一步研究这一点。
结论
如同前面作者所提到的:
- 对于 RoBERTa 来说,最佳模板是 “{句子} atmosphere alot dialogue Clone totally [P]。”。
虽然语言模型是使用人类的语言知识训练的,但或许模型已经从训练数据中总结出了更多「只属于」模型可以理解的「模型语」。
这种「模型语」的形成是由于深层神经网络能够从数据中抽象出复杂的语言特征,这些特征包含了语言的深层语义和语境模式。
因此,当模型使用这些看似无序的词组来表达其内部状态时,这实际上是模型在用它自己的方式来处理和编码信息。
这件事情其实非常有趣,他可以衍生出非常多的思考:
-
人类语言是否过于低效?
-
模型语和人类语之间的差异是否需要消除?又真的能消除吗?
-
我们常诟病模型不够透明,但是这种「模型语」的存在是否让模型更加难以解释?
-
不同模型之间的「模型语」是否有相似性?毕竟他们都是从人类语言中学习的?
且让我们继续翻看后续的研究,看看这些问题是否有更多的答案。