返回論文筆記資料庫
arXiv 2021ICLR 2022模型調適論文筆記

FLAN

沒教過的也會

原始論文

Finetuned Language Models Are Zero-Shot Learners

論文作者

Jason Wei · Maarten Bosma · Vincent Y. Zhao …

查看全部 9 位作者

Jason Wei · Maarten Bosma · Vincent Y. Zhao · Kelvin Guu · Adams Wei Yu · Brian Lester · Nan Du · Andrew M. Dai · Quoc V. Le

發表版本
ICLR 2022會議
arXiv 首次提交
arXiv:2109.01652
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{modeltuningflan2021,
  title = {{Finetuned Language Models Are Zero-Shot Learners}},
  author = {Jason Wei and Maarten Bosma and Vincent Y. Zhao and Kelvin Guu and Adams Wei Yu and Brian Lester and Nan Du and Andrew M. Dai and Quoc V. Le},
  year = {2021},
  eprint = {2109.01652},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2109.01652}
}
本頁內容

GPT-3 讓大家見識到少樣本學習(few-shot learning):在提示裡放幾個範例,模型就能照著做。

拿掉範例之後就差很多。GPT-3 在閱讀理解、問答、自然語言推論(NLI)這類任務上,零樣本的成績明顯落後少樣本。作者的推測是,沒有範例時,模型面對的提示和預訓練資料的格式差太遠。例如 NLI 要判斷一句話是否能從另一句推出來,這種題目幾乎不會以自然的樣子出現在網路文字裡。

Google 的 Wei、Bosma、Zhao、Guu 等人在 2021 年 9 月提出一個很直接的做法。既然很多 NLP 任務都能用一句話描述,例如「這則影評是正面還是負面?」,那就把現有的幾十個資料集都改寫成自然語言指令,拿去微調語言模型,再看它能不能做沒見過的任務。他們把這個做法叫做指令微調(instruction tuning),微調後的模型叫 FLAN(Finetuned Language Net)。這個名字後來比模型本身還紅,Flan-T5、Flan-PaLM 都沿用了它。

定義問題

原論文 Figure 1:上半部是指令微調的示意。左側框內是微調用的任務,包括一題常識推理(把枕頭套放冰箱還是烤箱以便夏天睡得涼)與一題英翻西,下面還有情感分析、共指消解等任務;右側是推論時的未見任務,一題自然語言推論,FLAN 回答 It is not possible to tell。下半部是三種未見題型的長條圖,比較 GPT-3 175B 零樣本、GPT-3 175B 少樣本與 FLAN 137B 零樣本,自然語言推論為 42.9、53.2、56.2,閱讀理解為 63.7、72.6、77.4,閉卷問答為 49.8、55.7、56.6。
原論文 Figure 1(Wei 等人),取自 PDF 第 1 頁,arXiv 授權,學術引用。

圖的上半部是整個實驗的設計。訓練時,模型看到常識推理、翻譯、情感分析等許多任務,每一題都寫成指令;測試時,給它一題自然語言推論,而它在訓練中從沒見過任何推論任務。

下半部是結果的預告。在三種沒見過的題型上,FLAN 137B 的零樣本表現超過 GPT-3 175B 的零樣本,甚至超過 GPT-3 的少樣本。

作者把指令微調放在兩種既有做法之間。一種是 BERT、T5 的「預訓練後微調」,每個任務都需要大量標註資料,最後得到一個專用模型。另一種是 GPT-3 的「提示」,不微調,靠少樣本範例或精心設計的提示詞。指令微調用許多任務的監督訊號去微調,目標卻是讓模型在推論時,能聽懂一個沒見過任務的自然語言描述。

這裡最需要說清楚的是「沒見過」怎麼定義。只要求測試用的資料集沒出現在訓練裡並不夠:如果模型練過 MNLI,再去考 RTE,兩者都是 NLI,很難說它在做新任務。

解決問題

把資料集改寫成指令

作者從 TensorFlow Datasets 收集了 62 個公開的文字資料集,同時包含理解與生成任務,依任務類型分成 12 個群組(cluster),例如自然語言推論 7 個資料集、閱讀理解 5 個、閉卷問答 3 個、翻譯 8 個、摘要 11 個。

每個資料集由人工寫 10 個不同的指令模板。大部分模板描述原本的任務,但為了增加多樣性,每個資料集最多有 3 個模板會「把任務反過來」,例如情感分類資料集也拿來要求模型寫一則影評。同一筆 NLI 資料,可以套成好幾種問法:

text
模板 1:
<premise>
Based on the paragraph above, can we conclude that <hypothesis>?
<options>

模板 3:
Read the following and determine if the hypothesis can be inferred from the premise:
Premise: <premise>
Hypothesis: <hypothesis>
<options>

訓練時,每一筆資料隨機選一個該資料集的模板套上去。

分類題附上選項

FLAN 是只有解碼器的語言模型,生成任務本來就能直接回答。分類題比較麻煩。GPT-3 的做法是「排序分類」,例如只比較「yes」和「no」兩個詞的機率,取高的那個。作者指出,「yes」可能有很多種說法,機率會被分散掉。

所以 FLAN 在分類題的結尾加上 OPTIONS: 和所有類別,讓模型知道該從哪幾個答案裡選,例如圖中 NLI 那題的「yes / it is not possible to tell / no」。

留出整個題型來測

評估時,作者採用比較保守的定義。資料集 DD 只有在它所屬的整個群組都沒出現在微調中時,才算未見任務。要測 NLI,就把 NLI 群組的 7 個資料集全部拿掉,用其餘群組微調;性質相近的群組也一併排除,例如測 NLI 時連「改寫辨識」群組也不用。

這代表要評估 cc 個群組,就得訓練 cc 個不同的 FLAN,每個留出一個群組。成本變高,但測到的才是「沒見過的題型」。

訓練設定

基底模型是 LaMDA-PT,一個 1,370 億參數、只有解碼器的語言模型。它在網頁(含程式碼)、對話資料和維基百科上預訓練,總共 2.49 兆個 BPE token,約 10% 不是英文。LaMDA-PT 只做過語言模型預訓練,還沒經過後來 LaMDA 那種對話微調。

為了平衡各資料集的大小,每個資料集最多取 3 萬筆,再用 T5 的「按資料量比例混合」(就是 T5 那篇逐一比過的混合方式),比例上限設為 3,000。舉例來說,三個資料集各有 10 萬、2 萬、1,000 筆,截到 3 萬後是 3 萬、2 萬、1,000;比例上限讓前兩個都只算 3,000,抽樣比例就是 3:3:1。大資料集不會把小資料集淹沒。

微調 3 萬步,每批 8,192 個 token,Adafactor 學習率 3×10−53\times10^{-5},輸入與輸出長度分別為 1,024 與 256。在 128 核的 TPUv3 上約需 60 小時,梯度更新步數不到預訓練的 2%。

討論

主要結果

比較對象有三組。最直接的是同一個 LaMDA-PT 不微調,用 GPT-3 論文的提示做零樣本和少樣本,這組比較直接量出指令微調本身帶來多少。另外兩組是 GPT-3 175B 與 GLaM 64B/64E,數字取自它們各自的論文。

FLAN 的成績有兩種算法。一種是所有模板的平均,代表隨便寫一個自然的指令時大概能拿到多少;另一種是用開發集挑出最好的模板,再回報測試集的成績,對應 GPT-3 論文裡「有開發集可以調提示」的情況。挑出最佳模板時,FLAN 的零樣本在 25 個資料集中的 20 個勝過 GPT-3 的零樣本,有 10 個甚至勝過 GPT-3 的少樣本。

挑幾個資料集來看:

資料集LaMDA-PT 零樣本GPT-3 零樣本GPT-3 少樣本FLAN 零樣本(模板平均)FLAN 零樣本(最佳模板)
ANLI R139.634.636.847.7 ± 1.446.4
RTE73.363.572.978.3 ± 7.984.1
CB42.946.482.164.1 ± 14.783.9
BoolQ81.060.577.580.2 ± 3.182.9
OBQA41.857.665.477.4 ± 1.378.4
ARC-c42.051.451.561.7 ± 1.463.1
HellaSwag57.078.979.356.4 ± 0.556.7
Winogrande68.370.277.767.3 ± 2.571.2

整理自原論文附錄 Table 2,數值為準確率。

NLI 的進步最明顯。作者引用 GPT-3 論文的觀察:NLI 的題目很少自然出現在網路文字裡,要寫成句子接龍會很彆扭;FLAN 則能直接問「<前提> 是否代表 <假設>?」。閉卷問答(ARC)與閱讀理解(MultiRC、OBQA)也有大幅提升。

表格也看得出指令的敏感度。CB 的模板平均是 64.1,標準差高達 14.7,換一種問法,分數可能差十幾分;最佳模板則達到 83.9。

最後兩列是反例。HellaSwag 和 Winogrande 本身就是「把句子接完」的任務,和語言模型的預訓練目標幾乎一樣,指令是多餘的。FLAN 在這類常識推理與共指消解任務上,7 個裡只有 3 個勝過未微調的 LaMDA-PT。HellaSwag 上 GPT-3 的 78.9 遠高於 LaMDA-PT,這個差距來自基底模型,指令微調沒有幫上忙。

翻譯的情況介於兩者之間。FLAN 在全部 6 個翻譯方向都勝過 GPT-3 的零樣本,但多數輸給 GPT-3 的少樣本。翻成英文表現不錯,從英文翻出去則較弱,作者認為這和英文為主的 SentencePiece 詞表與預訓練資料有關。

消融:群組數、模型大小、指令本身

更多群組,表現更好。 作者固定留出 NLI、閉卷問答與常識推理三個群組,逐一加入其他群組來微調,從 1 個加到 7 個(11 到 39 個資料集)。三個留出群組的平均表現從 49.9 一路升到 63.5,唯一的例外是加入情感分析群組那一步幾乎沒有幫助。加到 7 個群組時曲線還沒有飽和。

原論文 Figure 7:13 個留出任務的平均零樣本準確率對模型大小(0.4B、2B、8B、68B、137B)。黑線為未微調模型,從約 44 緩升到約 54;藍線為指令微調模型,在 0.4B、2B、8B 都低於黑線,68B 與 137B 則跳升到約 66 與 68。
原論文 Figure 7(Wei 等人),取自 PDF 第 7 頁,arXiv 授權,學術引用。

小模型反而變差。 同樣的群組切分,作者對 4.22 億到 1,370 億參數的五個模型做指令微調。黑線是未微調的模型,藍線是微調後。68B 和 137B 的提升很大,137B 從約 54 升到約 68;但 8B 以下,指令微調後的成績反而低於未微調。

作者提出一個假說。對小模型來說,學會約 40 個微調任務就用光了模型容量,沒有餘力推廣到新任務;大模型學完這些任務後還有剩餘容量,順便學會了「照指令做事」。論文沒有進一步驗證這個解釋。

原論文 Figure 8:四個群組平均的零樣本表現。微調不給指令、評估給指令為 37.3;微調只給資料集名稱、評估給指令為 46.6;微調與評估都只給資料集名稱為 47.0;微調與評估都給指令(FLAN)為 55.2。
原論文 Figure 8(Wei 等人),取自 PDF 第 7 頁,arXiv 授權,學術引用。

指令本身是關鍵。 進步會不會只是多任務微調的效果,跟指令無關?作者做了兩種沒有指令的微調。一種只給輸入和輸出,例如翻譯就是輸入「The dog runs.」、輸出「Le chien court.」;另一種在輸入前加上任務與資料集名稱,例如「[Translation: WMT'14 to French] The dog runs.」。

只給輸入輸出的版本,評估時改用指令,平均只有 37.3。加上資料集名稱的版本,用指令或名稱評估分別是 46.6 和 47.0。用指令微調、用指令評估的 FLAN 是 55.2。多任務資料確實有幫助,但要推廣到沒見過的任務,訓練時就得用自然語言描述任務。

和其他方法疊加

指令微調也能和少樣本範例一起用。作者在推論時把最多 16 個範例套上同樣的指令格式,接在題目前面。每個群組的成績都進一步提升,翻譯、結構化資料轉文字、閉卷問答這類輸出格式比較複雜的任務提升最多;各模板之間的標準差也變小,對提示詞寫法比較不敏感。

另一個實驗是 prompt tuning,也就是凍結模型,只訓練接在輸入前面的一小段連續向量。在 SuperGLUE 上,從 FLAN 出發做 prompt tuning 一律比從 LaMDA-PT 出發好;作者提到,尤其是只有 32 筆訓練資料時,改進常超過 10%。

限制

作者自己列了幾項。任務分到哪個群組有一定的主觀性。指令都很短,通常只有一句,和群眾外包時給標註者的詳細說明差很多。測試題可能出現在預訓練的網頁資料中,附錄的事後分析沒發現資料重疊明顯影響結果。另外,1,370 億參數的模型部署成本很高。

後續怎麼回應這篇

同一時期,Hugging Face 主導的 BigScience 發表了 T0,用類似的方法在 110 億參數的 T5 上做提示式多任務訓練,也觀察到零樣本能力的提升。這和 FLAN「8B 以下會變差」的結果並不完全一致;兩者的基底模型、任務與模板的數量都不同。

一年後,Google 的 Chung 等人在 Scaling Instruction-Finetuned Language Models 把微調任務擴大到 1,836 個,並加入思維鏈資料。在 MMLU、BBH 等評測上,連 8,000 萬參數的 Flan-T5-Small 都比原始的 T5-Small 進步。這組評測和本文「留出整個題型」的設定不同,兩者的結論沒辦法直接對照;它說明的是,小模型能不能從指令微調受益,和任務的數量與多樣性關係很大。

OpenAI 在 InstructGPT 論文裡則從另一個角度檢驗。他們用 FLAN 和 T0 的資料微調 175B 的 GPT-3,再拿到真實的 API 使用者提示上比較。這兩個模型比原始 GPT-3 好,但輸給只用標註者示範做監督式微調的模型;InstructGPT 的輸出被偏好的比例,對 FLAN 版是 78%,對 T0 版是 79%。他們的解釋是,公開 NLP 資料集多半是容易自動評分的分類與問答,在實際使用中只占約 18%,開放式生成與腦力激盪則占約 57%。

結論

把 62 個現成的資料集改寫成指令,拿去微調 137B 的模型,它就能在從沒練過的題型上勝過 GPT-3 的零樣本。功夫都下在實驗設計上,整個題型留出來當考題,還特地證明了進步來自指令本身。

自己準備指令資料時,有兩件事可以直接照做。任務的種類越多越好;同一個任務也最好準備好幾種問法,換個說法,分數就可能差上十幾分。

現在講到指令微調,大家想到的是聊天機器人。它最早的樣子,是一疊改寫過的 NLP 考卷。