AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts
- 發表版本
- EMNLP 2020會議
- arXiv 首次提交
- arXiv:2010.15980
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{modeltuningautoprompt2020,
title = {{AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts}},
author = {Taylor Shin and Yasaman Razeghi and Robert L. Logan and Eric Wallace and Sameer Singh},
year = {2020},
eprint = {2010.15980},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2010.15980}
}
語言模型愈做愈大,使得大部分的人都沒有能力來訓練或微調時,另外一個方向的研究應運而生:提示工程(Prompt engineering)。
這個概念是指如何設計一個好的提示(prompt),讓大型語言模型能夠回答特定問題。
但是寫提示很麻煩啊!
定義問題
手動編寫提示既費時又麻煩
每次為一個新任務編寫提示,就像在玩一場需要反復試驗的拼圖遊戲,需要花大量時間。
編寫這些提示也不簡單,你得非常了解模型和任務,才能寫出有效的提示,這對大部分人來說並不直觀。
模型對輸入的敏感度超高
模型對提示的要求很高,一點點的變化可能會讓模型的表現大打折扣。
寫提示時稍有不慎,就可能讓結果一團糟。
專業知識不足
手動寫提示不僅累,而且需要非常專業的知識。如果不具備專業知識,可能問不到核心概念,模型也只能回答一些表面問題。
換個模型換個腦袋
經歷過前面幾個挑戰後,你花了幾個月,終於完成了可以完全壓榨出模型潛力的提示工程。
但是這時候,模型升級了!
於是你又得重新開始。
解決問題
模型架構設計
為了解決上述的問題,本文提出了一種新的方法:AutoPrompt。
概念上非常簡單:既然我不知道怎樣的提示對模型有效,那就讓模型自己生成提示。
整個架構在上圖中非常清晰地展示了出來:
-
Original Input:這是原始的輸入 。
-
[MASK]:這是遮蔽語言模型要填入詞彙的預測位置,並不是已知的輸出 。
這裡使用的是情感分析的任務,所以模型在 [MASK] 位置對詞彙的預測,會轉換成正向或負向的類別機率。
中間 [T] 的部分,就是 AutoPrompt 的重點:自動生成提示的範圍。
意思就是,方法利用帶標籤的訓練資料,為任務找出一組共用的觸發詞;測試時再把觸發詞和新的輸入放進模板。
基於梯度的提示搜索
作者針對不同的任務設計了不同的模板,上圖展示的是找到的提示範例。
在這部分,AutoPrompt 利用一種基於梯度的搜索策略來自動生成提示。
模板中的觸發詞 [T] 先以 [MASK] 初始化,再用梯度估計替換詞的效果,找出 top-k 候選,逐一代入模板評估並選出較好的詞。
因此,這個方法不會動到目標語言模型;梯度用來搜尋詞彙表中的離散觸發詞,而不是更新模型權重。
討論
情感分析實驗
研究結果顯示:
- AutoPrompt 找到的提示,能從未微調的 BERT 和 RoBERTa 引出不錯的情感分析表現。
- 無需微調,BERT 在 SST-2 測試集得到 82.3%,接近受監督 BiLSTM 的 82.8%。
- RoBERTa 得到 91.4%,高於 BiLSTM + ELMo 的 89.3%,但低於微調 BERT 的 93.5%。
此外,作者也觀察到自動構建的提示比手動提示更有效,且這些提示使用人類直覺難以構建:
- 在 SST-2 測試集,BERT 的自動提示比手動提示高 19.1 個百分點(82.3% 對 63.2%);RoBERTa 則高 6.2 個百分點(91.4% 對 85.2%)。
- 對於 RoBERTa 來說,最佳模板是 “{句子} atmosphere alot dialogue Clone totally [P]。”。
事實檢索
作者也在事實檢索任務上進行了實驗,這項研究利用 LAMA 和 LPAQA 數據集,探討預訓練 MLM(如 BERT 和 RoBERTa)是否能準確辨識與理解真實世界的事實。在這個任務中,作者使用模板 "{sub}[T]...[T][P]" 來映射三元組,其中觸發標記是關於關係的特定 Token,正確對象作為標籤標記。
-
數據收集與處理
- 對 LAMA 的每種關係,從 T-REx 數據集和 Wikidata 收集最多 1000 個事實以訓練 AutoPrompt。
- 確保收集的 T-REx 三元組不出現在 LAMA 測試集中,並將收集的資料按 80/20 分成訓練/開發集;另以 T-REx 的 60/20/20 分割測試同分布結果。
-
性能評估
- 使用標準排名指標如平均倒數排名(MRR)、精度為 1(P@1)和精度為 10(P@10)來評估模型。
- 在圖中的 LAMA Original 測試集,7 個觸發詞的 P@1 為 43.34%,高於 LPAQA 的 34.10%;5 個觸發詞的 P@1 也有 42.94%。
-
BERT 與 RoBERTa 的比較:
- 作者只在兩種模型都能以單一 token 表示答案的 LAMA 子集上比較;BERT 的 P@1 為 45.23%,RoBERTa 為 40.01%。RoBERTa 找到的提示也常含較多無關的詞。
在這些事實檢索評估中,AutoPrompt 比手動和語料挖掘的提示取得更高分數。
令人驚訝的是 RoBERTa 的表現並不比 BERT 更好,值得在未來的工作中進一步研究這一點。
結論
如同前面作者所提到的:
- 對於 RoBERTa 來說,最佳模板是 “{句子} atmosphere alot dialogue Clone totally [P]。”。
雖然語言模型是使用人類的語言知識訓練的,但或許模型已經從訓練數據中總結出了更多「只屬於」模型可以理解的「模型語」。
這種「模型語」的形成是由於深層神經網路能夠從數據中抽象出複雜的語言特徵,這些特徵包含了語言的深層語義和語境模式。
因此,當模型使用這些看似無序的詞組來表達其內部狀態時,這實際上是模型在用它自己的方式來處理和編碼信息。
這件事情其實非常有趣,他可以衍生出非常多的思考:
-
人類語言是否過於低效?
-
模型語和人類語之間的差異是否需要消除?又真的能消除嗎?
-
我們常詬病模型不夠透明,但是這種「模型語」的存在是否讓模型更加難以解釋?
-
不同模型之間的「模型語」是否有相似性?畢竟他們都是從人類語言中學習的?
且讓我們繼續翻看後續的研究,看看這些問題是否有更多的答案。