返回論文筆記資料庫
arXiv 2020EMNLP 2020模型調適論文筆記

AutoPrompt

模型語

原始論文

AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts

論文作者

Taylor Shin · Yasaman Razeghi · Robert L. Logan · Eric Wallace · Sameer Singh

發表版本
EMNLP 2020會議
arXiv 首次提交
arXiv:2010.15980
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{modeltuningautoprompt2020,
  title = {{AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts}},
  author = {Taylor Shin and Yasaman Razeghi and Robert L. Logan and Eric Wallace and Sameer Singh},
  year = {2020},
  eprint = {2010.15980},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2010.15980}
}
本頁內容

語言模型愈做愈大,使得大部分的人都沒有能力來訓練或微調時,另外一個方向的研究應運而生:提示工程(Prompt engineering)。

這個概念是指如何設計一個好的提示(prompt),讓大型語言模型能夠回答特定問題。

但是寫提示很麻煩啊!

定義問題

手動編寫提示既費時又麻煩

每次為一個新任務編寫提示,就像在玩一場需要反復試驗的拼圖遊戲,需要花大量時間。

編寫這些提示也不簡單,你得非常了解模型和任務,才能寫出有效的提示,這對大部分人來說並不直觀。

模型對輸入的敏感度超高

模型對提示的要求很高,一點點的變化可能會讓模型的表現大打折扣。

寫提示時稍有不慎,就可能讓結果一團糟。

專業知識不足

手動寫提示不僅累,而且需要非常專業的知識。如果不具備專業知識,可能問不到核心概念,模型也只能回答一些表面問題。

換個模型換個腦袋

經歷過前面幾個挑戰後,你花了幾個月,終於完成了可以完全壓榨出模型潛力的提示工程。

但是這時候,模型升級了!

於是你又得重新開始。

解決問題

模型架構設計

為了解決上述的問題,本文提出了一種新的方法:AutoPrompt。

概念上非常簡單:既然我不知道怎樣的提示對模型有效,那就讓模型自己生成提示。

整個架構在上圖中非常清晰地展示了出來:

  1. Original Input:這是原始的輸入 XX。

  2. [MASK]:這是遮蔽語言模型要填入詞彙的預測位置,並不是已知的輸出 YY。

這裡使用的是情感分析的任務,所以模型在 [MASK] 位置對詞彙的預測,會轉換成正向或負向的類別機率。

中間 [T] 的部分,就是 AutoPrompt 的重點:自動生成提示的範圍。

意思就是,方法利用帶標籤的訓練資料,為任務找出一組共用的觸發詞;測試時再把觸發詞和新的輸入放進模板。

基於梯度的提示搜索

作者針對不同的任務設計了不同的模板,上圖展示的是找到的提示範例。

在這部分,AutoPrompt 利用一種基於梯度的搜索策略來自動生成提示。

模板中的觸發詞 [T] 先以 [MASK] 初始化,再用梯度估計替換詞的效果,找出 top-k 候選,逐一代入模板評估並選出較好的詞。

因此,這個方法不會動到目標語言模型;梯度用來搜尋詞彙表中的離散觸發詞,而不是更新模型權重。

討論

情感分析實驗

研究結果顯示:

  1. AutoPrompt 找到的提示,能從未微調的 BERT 和 RoBERTa 引出不錯的情感分析表現。
  2. 無需微調,BERT 在 SST-2 測試集得到 82.3%,接近受監督 BiLSTM 的 82.8%。
  3. RoBERTa 得到 91.4%,高於 BiLSTM + ELMo 的 89.3%,但低於微調 BERT 的 93.5%。

此外,作者也觀察到自動構建的提示比手動提示更有效,且這些提示使用人類直覺難以構建:

  • 在 SST-2 測試集,BERT 的自動提示比手動提示高 19.1 個百分點(82.3% 對 63.2%);RoBERTa 則高 6.2 個百分點(91.4% 對 85.2%)。
  • 對於 RoBERTa 來說,最佳模板是 “{句子} atmosphere alot dialogue Clone totally [P]。”。

事實檢索

作者也在事實檢索任務上進行了實驗,這項研究利用 LAMA 和 LPAQA 數據集,探討預訓練 MLM(如 BERT 和 RoBERTa)是否能準確辨識與理解真實世界的事實。在這個任務中,作者使用模板 "{sub}[T]...[T][P]" 來映射三元組,其中觸發標記是關於關係的特定 Token,正確對象作為標籤標記。

  • 數據收集與處理

    • 對 LAMA 的每種關係,從 T-REx 數據集和 Wikidata 收集最多 1000 個事實以訓練 AutoPrompt。
    • 確保收集的 T-REx 三元組不出現在 LAMA 測試集中,並將收集的資料按 80/20 分成訓練/開發集;另以 T-REx 的 60/20/20 分割測試同分布結果。
  • 性能評估

    • 使用標準排名指標如平均倒數排名(MRR)、精度為 1(P@1)和精度為 10(P@10)來評估模型。
    • 在圖中的 LAMA Original 測試集,7 個觸發詞的 P@1 為 43.34%,高於 LPAQA 的 34.10%;5 個觸發詞的 P@1 也有 42.94%。
  • BERT 與 RoBERTa 的比較:

    • 作者只在兩種模型都能以單一 token 表示答案的 LAMA 子集上比較;BERT 的 P@1 為 45.23%,RoBERTa 為 40.01%。RoBERTa 找到的提示也常含較多無關的詞。

在這些事實檢索評估中,AutoPrompt 比手動和語料挖掘的提示取得更高分數。

令人驚訝的是 RoBERTa 的表現並不比 BERT 更好,值得在未來的工作中進一步研究這一點。

結論

如同前面作者所提到的:

  • 對於 RoBERTa 來說,最佳模板是 “{句子} atmosphere alot dialogue Clone totally [P]。”。

雖然語言模型是使用人類的語言知識訓練的,但或許模型已經從訓練數據中總結出了更多「只屬於」模型可以理解的「模型語」。

這種「模型語」的形成是由於深層神經網路能夠從數據中抽象出複雜的語言特徵,這些特徵包含了語言的深層語義和語境模式。

因此,當模型使用這些看似無序的詞組來表達其內部狀態時,這實際上是模型在用它自己的方式來處理和編碼信息。

這件事情其實非常有趣,他可以衍生出非常多的思考:

  1. 人類語言是否過於低效?

  2. 模型語和人類語之間的差異是否需要消除?又真的能消除嗎?

  3. 我們常詬病模型不夠透明,但是這種「模型語」的存在是否讓模型更加難以解釋?

  4. 不同模型之間的「模型語」是否有相似性?畢竟他們都是從人類語言中學習的?

且讓我們繼續翻看後續的研究,看看這些問題是否有更多的答案。