Improving Language Understanding by Generative Pre-Training
- 發表版本
- OpenAI 2018技術報告
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@techreport{transformersgpt12018,
title = {{Improving Language Understanding by Generative Pre-Training}},
author = {Alec Radford and Karthik Narasimhan and Tim Salimans and Ilya Sutskever},
year = {2018},
institution = {OpenAI},
url = {https://openai.com/index/language-unsupervised/}
}
原始的 Transformer 架構由兩個部分組成:一個編碼器(encoder)和一個解碼器(decoder)。
而 OpenAI 則是基於這個架構,選了不一樣的技術路線:全解碼器(decoder-only)。
定義問題
作者對於目前的 NLP 模型提出了幾個問題:
1. 缺乏標註資料
在 NLP 領域中,資料是不缺的,缺的是標註。
特別是當你想要做一些特定任務時,例如專門領域的問答(QA)或機器翻譯(MT)等,會因為缺乏對應的標註資料而難以進行。
為了解決這個問題,有許多方法都直接採用無監督學習(unsupervised learning)的方式,後來又被稱為自監督學習(self-supervised learning)。
最常見的方法就是讓模型去做「文字接龍」的任務,也就是:下一個字預測。
這樣你完全不需要任何標註資料,只需要持續地搜集大量的文本資料,就可以讓模型自己學習。
但這種方法也衍生出了另外下一個問題:任務不一致。
2. 任務不一致
在 NLP 模型中,通常會有兩個階段:預訓練(pre-training)和微調(fine-tuning)。
預訓練是指在大量的文本資料上,讓模型自己學習,而微調則是指在特定任務上,對模型進行進一步的訓練。但這兩個階段之間存在的不一致性,卻是個難以忽略的問題。
也就是說,當你在預訓練時,模型學習的是「下一個字是什麼」這樣的任務,但當你在微調時,模型學習的可能是「回答問題」或「翻譯句子」這樣的任務。
在過去的研究中,在微調模型去適應目標任務時,會引入大量的參數,以提高模型的性能。
不同的任務,就需要不同的參數,過程繁瑣且不好管理。
作者因此提出使用全解碼器的架構,希望能用最小的參數量來適應不同的任務。
解決問題
模型架構
這是作者提出的模型架構,總共有 12 層解碼器。
相關的配置如下:
- 共 12 層解碼器,每層解碼器都是 Transformer 的基本結構。
- 每層解碼器有 768 維特徵和 12 個注意力頭。
- 在 FFN 的隱藏層中,使用了 3072 個神經元。
- 每次取連續 512 個 token 作為訓練序列。
- Dropout 機率為 0.1。
- 採用修正過的 L2 正則化。
- 採用 Gelu 啟動函數。
- 位置編碼採用可學習式的位置嵌入。
- 使用 spaCy tokenizer 進行分詞,並以 BPE 建立詞彙表。
訓練方式上,作者使用:
- Adam 優化器。
- 最大學習率為 2.5e-4,在前 2000 步中線性增加,然後使用餘弦退火法直到 0。
預訓練策略
模型的訓練由兩個階段組成,第一階段是在大量的文本資料上進行自監督學習,第二階段是在目標任務上進行微調。
本文使用 BooksCorpus 進行預訓練,並以另一個規模相近的資料集作對照說明:
-
它包含 7,000 多本獨特的未出版書籍,涵蓋冒險、奇幻和浪漫等多種類型。它包含長段的連續文本,這使得生成模型能夠學習以遠端資訊為條件。
-
由類似的方法 ELMo 使用,規模大致相同,但在句子層級打亂,失去了長距離結構;本文沒有用它訓練模型。
微調策略
作者沒有特別想著要在微調上做什麼特別的事情,只是簡單地使用了一些標準的微調方法。
如圖 1 右側,作者把各任務的輸入轉成 token 序列:自然語言推理串接前提與假設,語意相似度分別處理句子的兩種順序,選擇題則對每個候選答案各自計分。模型最後加上一層線性分類器;微調時,除了任務目標,也保留下一個 token 預測作為輔助目標,權重為 0.5。
除非有特別說明,否則大多數情況下,作者都重複使用無監督預訓練中的超參數設定。在分類器上,使用 0.1 的 dropout 機率。對於大多數任務,使用 6.25e-5 的學習率和 32 的批量大小。
討論
整體而言,本文提出的方法在評估的 12 個資料集中的 9 個資料集中取得了 SOTA 的結果。
這表明了生成式預訓練加上微調,在這些 NLP 任務上的有效性。
作者針對 Zero-shot 的議題上,進行了更深入的探討。
為什麼 Transformer 有效?
在圖 2(左)中,作者探討隨著遷移的預訓練層數增加,MultiNLI 和 RACE 的開發集表現如何變化。
整體趨勢是遷移更多層時表現提升,支持預訓練各層有助於這兩個目標任務;圖中的曲線並非每一步都單調上升。
作者在圖 2(右)中,使用不經監督微調的啟發式方法,觀察模型在預訓練過程中的 zero-shot 表現;各任務分數以隨機猜測與當時單模型最佳結果正規化。
隨著預訓練進行,這些任務的 zero-shot 表現大致提升,表示語言模型也逐漸學到與任務相關的能力。
哪一個部分有效?
為了確認模型哪一個環節有最大的貢獻,作者進行了三種不同的消融實驗。
結果如論文內表 5 所示:
-
輔助語言模型目標的影響:
- 在微調階段取消輔助語言模型目標後,MNLI、QNLI、RTE 與 QQP 的分數下降;QQP 是問句配對的語意相似度任務,並非問答任務。
- 論文認為較大的資料集較可能從輔助目標獲益;但表 5 的八項平均分數,完整模型為 74.7,取消輔助目標反而是 75.0,不能說它提高了整體平均。
-
Transformer 與 LSTM 的比較:
- 將 Transformer 與單層 2048 單元的 LSTM 進行比較,結果顯示在相同框架下使用 LSTM 平均得分下降 5.6 分。
- LSTM 僅在 MRPC 資料集上優於 Transformer。
-
預訓練的重要性:
- 比較直接在目標任務上訓練的 Transformer 與預先訓練的 Transformer。
- 表 5 中所有任務的分數都下降;八項平均分數由 74.7 降至 59.9,相差 14.8 分。
結論
這是 OpenAI 提出的首個基於 Transformer 架構的大規模預訓練模型,標誌著自然語言處理領域的重要進步。它透過在大量未標記文字上進行預訓練,再在特定任務上進行微調,實現了顯著的效能提升。
GPT-1 的成功證明了預訓練-微調的半監督學習範式在多樣化的自然語言理解任務中具有潛力,開啟了將通用表示學習應用於廣泛 NLP 任務的新時代,為後續更大規模、更強性能的 GPT-2 和 GPT-3 等模型奠定了基礎。