返回論文筆記資料庫
OpenAI 2018語言模型與 Transformer論文筆記

GPT-1

十二層解碼器

原始論文

Improving Language Understanding by Generative Pre-Training

論文作者

Alec Radford · Karthik Narasimhan · Tim Salimans · Ilya Sutskever

發表版本
OpenAI 2018技術報告
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@techreport{transformersgpt12018,
  title = {{Improving Language Understanding by Generative Pre-Training}},
  author = {Alec Radford and Karthik Narasimhan and Tim Salimans and Ilya Sutskever},
  year = {2018},
  institution = {OpenAI},
  url = {https://openai.com/index/language-unsupervised/}
}
本頁內容

原始的 Transformer 架構由兩個部分組成:一個編碼器(encoder)和一個解碼器(decoder)。

而 OpenAI 則是基於這個架構,選了不一樣的技術路線:全解碼器(decoder-only)。

定義問題

作者對於目前的 NLP 模型提出了幾個問題:

1. 缺乏標註資料

在 NLP 領域中,資料是不缺的,缺的是標註。

特別是當你想要做一些特定任務時,例如專門領域的問答(QA)或機器翻譯(MT)等,會因為缺乏對應的標註資料而難以進行。

為了解決這個問題,有許多方法都直接採用無監督學習(unsupervised learning)的方式,後來又被稱為自監督學習(self-supervised learning)。

最常見的方法就是讓模型去做「文字接龍」的任務,也就是:下一個字預測。

這樣你完全不需要任何標註資料,只需要持續地搜集大量的文本資料,就可以讓模型自己學習。

但這種方法也衍生出了另外下一個問題:任務不一致。

2. 任務不一致

在 NLP 模型中,通常會有兩個階段:預訓練(pre-training)和微調(fine-tuning)。

預訓練是指在大量的文本資料上,讓模型自己學習,而微調則是指在特定任務上,對模型進行進一步的訓練。但這兩個階段之間存在的不一致性,卻是個難以忽略的問題。

也就是說,當你在預訓練時,模型學習的是「下一個字是什麼」這樣的任務,但當你在微調時,模型學習的可能是「回答問題」或「翻譯句子」這樣的任務。

在過去的研究中,在微調模型去適應目標任務時,會引入大量的參數,以提高模型的性能。

不同的任務,就需要不同的參數,過程繁瑣且不好管理。

作者因此提出使用全解碼器的架構,希望能用最小的參數量來適應不同的任務。

解決問題

模型架構

這是作者提出的模型架構,總共有 12 層解碼器。

相關的配置如下:

  • 共 12 層解碼器,每層解碼器都是 Transformer 的基本結構。
  • 每層解碼器有 768 維特徵和 12 個注意力頭。
  • 在 FFN 的隱藏層中,使用了 3072 個神經元。
  • 每次取連續 512 個 token 作為訓練序列。
  • Dropout 機率為 0.1。
  • 採用修正過的 L2 正則化。
  • 採用 Gelu 啟動函數。
  • 位置編碼採用可學習式的位置嵌入。
  • 使用 spaCy tokenizer 進行分詞,並以 BPE 建立詞彙表。

訓練方式上,作者使用:

  • Adam 優化器。
  • 最大學習率為 2.5e-4,在前 2000 步中線性增加,然後使用餘弦退火法直到 0。

預訓練策略

模型的訓練由兩個階段組成,第一階段是在大量的文本資料上進行自監督學習,第二階段是在目標任務上進行微調。

本文使用 BooksCorpus 進行預訓練,並以另一個規模相近的資料集作對照說明:

  1. BooksCorpus:

    它包含 7,000 多本獨特的未出版書籍,涵蓋冒險、奇幻和浪漫等多種類型。它包含長段的連續文本,這使得生成模型能夠學習以遠端資訊為條件。

  2. 1B Word Benchmark:

    由類似的方法 ELMo 使用,規模大致相同,但在句子層級打亂,失去了長距離結構;本文沒有用它訓練模型。

微調策略

作者沒有特別想著要在微調上做什麼特別的事情,只是簡單地使用了一些標準的微調方法。

如圖 1 右側,作者把各任務的輸入轉成 token 序列:自然語言推理串接前提與假設,語意相似度分別處理句子的兩種順序,選擇題則對每個候選答案各自計分。模型最後加上一層線性分類器;微調時,除了任務目標,也保留下一個 token 預測作為輔助目標,權重為 0.5。

除非有特別說明,否則大多數情況下,作者都重複使用無監督預訓練中的超參數設定。在分類器上,使用 0.1 的 dropout 機率。對於大多數任務,使用 6.25e-5 的學習率和 32 的批量大小。

討論

整體而言,本文提出的方法在評估的 12 個資料集中的 9 個資料集中取得了 SOTA 的結果。

這表明了生成式預訓練加上微調,在這些 NLP 任務上的有效性。

作者針對 Zero-shot 的議題上,進行了更深入的探討。

為什麼 Transformer 有效?

在圖 2(左)中,作者探討隨著遷移的預訓練層數增加,MultiNLI 和 RACE 的開發集表現如何變化。

整體趨勢是遷移更多層時表現提升,支持預訓練各層有助於這兩個目標任務;圖中的曲線並非每一步都單調上升。


作者在圖 2(右)中,使用不經監督微調的啟發式方法,觀察模型在預訓練過程中的 zero-shot 表現;各任務分數以隨機猜測與當時單模型最佳結果正規化。

隨著預訓練進行,這些任務的 zero-shot 表現大致提升,表示語言模型也逐漸學到與任務相關的能力。

哪一個部分有效?

為了確認模型哪一個環節有最大的貢獻,作者進行了三種不同的消融實驗。

結果如論文內表 5 所示:

  1. 輔助語言模型目標的影響:

    • 在微調階段取消輔助語言模型目標後,MNLI、QNLI、RTE 與 QQP 的分數下降;QQP 是問句配對的語意相似度任務,並非問答任務。
    • 論文認為較大的資料集較可能從輔助目標獲益;但表 5 的八項平均分數,完整模型為 74.7,取消輔助目標反而是 75.0,不能說它提高了整體平均。
  2. Transformer 與 LSTM 的比較:

    • 將 Transformer 與單層 2048 單元的 LSTM 進行比較,結果顯示在相同框架下使用 LSTM 平均得分下降 5.6 分。
    • LSTM 僅在 MRPC 資料集上優於 Transformer。
  3. 預訓練的重要性:

    • 比較直接在目標任務上訓練的 Transformer 與預先訓練的 Transformer。
    • 表 5 中所有任務的分數都下降;八項平均分數由 74.7 降至 59.9,相差 14.8 分。

結論

這是 OpenAI 提出的首個基於 Transformer 架構的大規模預訓練模型,標誌著自然語言處理領域的重要進步。它透過在大量未標記文字上進行預訓練,再在特定任務上進行微調,實現了顯著的效能提升。

GPT-1 的成功證明了預訓練-微調的半監督學習範式在多樣化的自然語言理解任務中具有潛力,開啟了將通用表示學習應用於廣泛 NLP 任務的新時代,為後續更大規模、更強性能的 GPT-2 和 GPT-3 等模型奠定了基礎。