XLNet: Generalized Autoregressive Pretraining for Language Understanding
- 發表版本
- NeurIPS 2019會議
- arXiv 首次提交
- arXiv:1906.08237
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{transformersxlnet2019,
title = {{XLNet: Generalized Autoregressive Pretraining for Language Understanding}},
author = {Zhilin Yang and Zihang Dai and Yiming Yang and Jaime Carbonell and Ruslan Salakhutdinov and Quoc V. Le},
year = {2019},
eprint = {1906.08237},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1906.08237}
}
BERT 的成功帶給後續研究人員大量的研究空間。
在早些時日,這篇論文的作者群已經發表了 Transformer-XL 這篇論文,提出了一種新的 Transformer 架構,能夠捕捉長距離依賴關係。
但顯然地,作者覺得這還不夠,因為 Transformer-XL 無法同時考慮到所有的上下文。
定義問題
在語言模型中有兩大主流方法:自回歸(autoregressive)和自編碼(autoencoding)。
自編碼的代表作就是 BERT,而自回歸的代表作則是 GPT,各有各的優缺點。
-
自回歸模型
自回歸的自監督的訓練方式就是預測序列中的下一個詞,也就是我們常講的文字接龍。
給定一個文字序列 ,自回歸語言模型透過前向自回歸分解來最大化似然函數:
其中, 是由神經網路生成的上下文表示,而 表示字詞的嵌入。
這樣的訓練方式有一個缺點:無法同時考慮到所有的上下文。如果遇到「語言理解」的任務,效果就會打折扣。因為在理解任務中,我們需要同時考慮到所有的上下文,才能做出正確的判斷。
-
自編碼模型
自編碼的自監督訓練方式則是遮蔽語言模型(Masked Language Model, MLM),這是 BERT 提出來的最著名的方法,在訓練中隨機使用
[MASK]標記來預測被遮蔽的詞彙。並根據這個被遮蔽的序列 來重建被遮蔽的文字 ,其目標函數為:其中, 表示 被遮蔽, 是 Transformer 網路產生的隱藏向量序列 。
這樣的訓練方式可以同時考慮到所有的上下文,但是會帶來一個問題:模型在預測時不存在
[MASK]標記,這樣的訓練方式會導致模型在訓練和預測時的不一致。不僅如此,也因為 BERT 的設計方式,模型無法像是 AR 模型這樣,使用乘積規則對聯合機率進行建模。
所以作者希望可以做一個「自回歸」的語言模型,但又要同時可以考慮到所有的上下文:
這個方法就是 XLNet!
解決問題
置換語言建模
置換語言建模,Permutation Language Modeling,是作者所提出的一種新的訓練目標。
目的是同時保留自回歸模型的優勢(依賴於序列上下文進行詞語預測),但又能像 BERT 那樣捕捉到雙向上下文(可以從任意方向理解文本)。
舉例來說,對於一個長度為 的序列(例如 "The cat sat on the mat" 有 6 個詞),有 種不同的索引順序可以進行自回歸分解。
排列1: [3, 5, 4, 6, 2, 1](依序預測 sat、the、on、mat、cat、The)
排列2: [4, 1, 6, 5, 2, 3](依序預測 on、The、mat、the、cat、sat)
排列3: ...
在這個過程中,我們為模型引入一個排列 ,這個排列代表模型在訓練時所選擇的分解順序;輸入句子的詞語位置不會真的重排。模型會在每次訓練中隨機選擇一個排列,然後依照這個排列預測詞語。
假設 是所有可能的長度為 的索引序列的置換集合,則置換語言建模目標可以表達為:
雙流自注意機制
為了有效實現置換語言建模,作者在論文特別指出,我們只排列「分解順序」而不是「句子中的詞語順序」。這意味著,在訓練過程中,句子的自然順序保持不變,而是通過「掩蔽機制」來重新排列這些詞語在訓練中出現的順序。
在模型訓練時,會隨機選擇一種分解的順序。例如,對於一個序列 ,可能選擇的順序是 。
模型會根據這個順序,逐步預測每個字詞的機率,並最大化該序列的似然函數。
要實現這種置換模型,需要用到「雙流自注意力(Two-Stream Self-Attention)」機制。
這裡的「雙流」指的是兩種不同的隱藏表示:
-
內容流(Content Stream)
內容流的表示 包含置換順序中已出現的上下文,以及當前位置的詞 ;它不會看到排列順序中尚未出現的詞。
每層的內容流表示更新方式與標準的 Transformer 自注意力機制相同,但遮罩限制了可讀取的位置:查詢 () 來自當前內容流,鍵 () 和值 () 只來自排列順序中先前的位置與自己。
如果我們要預測「A, B, C, D」中的「C」,內容流可讀取「C」自己與置換順序中先於「C」的詞;真正用來預測「C」的是不能讀取「C」內容的查詢流。
-
查詢流(Query Stream)
查詢流的主要目的是生成與目標位置相關的表示,但它不能直接看到目標位置的詞語內容。它保留目標位置資訊,並從排列順序中先前位置的內容流取得上下文,以免預測時偷看答案。
查詢流的表示 只考慮上下文 和目標位置 ,但不包括目標位置的詞語 。這樣,查詢流強調的是位置依賴的信息,並且需要依賴於上下文來推測出目標詞。
在實際訓練中,直接對每個排列進行完整的預測可能會導致模型收斂緩慢。因此,作者使用部分預測策略,讓模型不需要每次預測整個排列中的所有詞,而是只對部分詞進行預測,通常是排列中的「最後幾個詞」,這樣模型能夠利用最長的上下文信息來做預測;未選為目標的位置也不必計算查詢流。
模型也沿用 Transformer-XL 的相對位置編碼與跨片段記憶;前一片段快取的是內容流表示,讓下一片段能讀取更長的上下文。處理兩個輸入片段時,另用相對片段編碼區分兩個位置是否屬於同一片段。
再訪部分預測機制
部分預測是指模型在訓練時只預測句子中的一部分詞語,而不是對整個句子的每一個詞進行預測。
這對於 BERT 來說是必要的,因為如果句子中的所有詞語都被掩蔽,模型將沒有足夠的上下文來進行有意義的預測。而 XLNet 也使用了部分預測,主要是為了減少優化難度,即讓模型只預測那些有足夠上下文的詞語。
舉例來說,假設我們有一句話「New York is a city」,我們只選擇句子中的部分詞進行預測,如「New」和「York」。
-
BERT 的問題:獨立假設
BERT 在進行預測時基於「獨立假設」,即它預測每個目標詞語時,認為這些詞語之間是獨立的,沒有直接的依賴關係。
比如在這個例子中,BERT 會把「New」和「York」當作彼此獨立的詞來預測,其目標是:
這表示 BERT 預測「New」和「York」時,依賴的上下文僅僅是「is a city」,它沒有考慮「New」和「York」之間的依賴關係。
-
XLNet 的優勢:捕捉依賴關係
相比之下,XLNet 則能夠捕捉詞語之間的依賴關係。這是因為 XLNet 基於自回歸的方式進行排列順序的預測,並且能夠利用之前已經預測的詞作為上下文。
在這個例子中,XLNet 可能會選擇排列順序 「is → a → city → New → York」,這樣在預測 「York」 時,模型已經知道 「New」,因此它能夠考慮 「New」 和 「York」 之間的依賴關係。
XLNet 的目標可以表示為:
這表示 XLNet 在預測「York」時,不僅依賴於「is a city」,還依賴於已經預測的「New」。因此,XLNet 能夠學習到「New」和「York」之間的依賴關係,這是 BERT 所忽略的。
在同一組預測目標下,XLNet 能夠學到更多的詞之間的依賴關係,從而產生「更密集」的有效訓練信號。
換句話說,在相同的目標詞下,XLNet 可以進一步學到這些目標詞之間的依賴;BERT 的遮罩預測目標則把它們分開預測。
討論
和 BERT 的公平比較
在這裡,作者首先在公平的環境下比較 BERT 和 XLNet 的效能,以解耦使用更多數據與從 BERT 到 XLNet 改進所帶來的影響。
在上表中,比較了三個不同變體的 BERT 的最佳效能,以及使用相同數據和超參數訓練的 XLNet。在相同的數據和幾乎相同的訓練設定下,XLNet 在表列各項指標都高於 BERT;這裡沒有逐項顯著性檢定。
和 RoBERTa 比較
在這篇論文發表後,隨即有其他預訓練模型問世,如 RoBERTa 和 ALBERT。
為了與 RoBERTa 進行相對公平的比較,XLNet 使用較完整的預訓練語料,並參照 RoBERTa 的超參數設置;這仍不是完全控制資料與算力的比較。結果如上表,在閱讀理解與文件排序、問答系統、文本分類和自然語言理解的多數指標上,XLNet 優於表列對照;但 GLUE 開發集的 RTE、MRPC 低於 RoBERTa(85.9 對 86.6、90.8 對 90.9)。
GLUE 表的上半是單任務單模型開發集,下半是含多任務系集的測試集,兩半不能當成同設定的分數差距。
此外,作者還提出兩個有趣的觀察結果:
- 對於像 SQuAD 和 RACE 這樣需要進行明確推理且涉及較長上下文的任務,XLNet 的效能提升通常更大。這種在處理長上下文上的優勢可能來自於 XLNet 所使用的 Transformer-XL 架構。
- 對於已經擁有大量監督數據的分類任務,如 MNLI(超過 39 萬條樣本)、Yelp(超過 56 萬條樣本)和 Amazon(超過 300 萬條樣本),XLNet 仍然顯著提升了效能。
消融實驗
作者為了證明 XLNet 中每個設計選擇的重要性,並評估這些選擇如何影響模型的性能。
在上表中,總共比較了 6 個不同實現細節的 XLNet-Base 變體(第 3 到 8 行)、原始的 BERT-Base 模型(第 1 行),以及一個基於 Transformer-XL 的模型,該模型使用了 BERT 的去噪自編碼目標但採用了雙向輸入管道(第 2 行)。
為了公平比較,所有模型都基於相同的 12 層架構,並且使用與 BERT-Base 相同的超參數,只在 Wikipedia 和 BooksCorpus 上進行訓練,且所有結果都是 5 次運行的中位數。
-
置換語言建模和 Transformer-XL 的優勢(rows 1 to 4):
相較於 BERT-Base(第 1 行),第 2 行換成 Transformer-XL 與去噪目標,第 3、4 行再使用置換語言建模;這些設定在多數指標上逐步改善,但並非每一欄都單調提升,例如第 3 行的 SST-2 為 92.66,略低於 BERT 的 92.78。不能把第 1 行到第 4 行的差距全歸於單一設計。
-
記憶機制的重要性(row 5):
當移除記憶緩存機制(memory caching)時,與第 4 行相比,RACE 從 66.66 降到 65.55,SQuAD2.0 F1 從 80.98 降到 80.15;這支持記憶機制有助於處理較長上下文。
-
基於連續詞片段的預測和雙向輸入管道的作用(rows 6 and 7):
移除基於連續詞片段的預測和雙向輸入管道都會使模型性能下降,這表明這兩個設計對於 XLNet 的有效性有重要貢獻。
-
下句預測的影響(row 8):
出乎意料的是,BERT 中提出的下句預測目標(next-sentence prediction)在 XLNet 的設置中並未帶來顯著的性能提升。因此,作者在最終的 XLNet 設計中排除了這個目標。
結論
XLNet 延續 Transformer-XL 的優勢,並引入了置換語言建模目標,從而同時保留了自回歸模型和自編碼模型的優勢。在公平的設置下,XLNet 在各種自然語言處理任務上都超越了 BERT 和 RoBERTa,並且在一些需要長上下文的任務上表現更好。
XLNet 的創新使其在多個自然語言處理任務中成為一個強有力的選擇,並且為語言模型的發展提供了新的思路。
綜觀 2019 年,XLNet 可以說是地表最強的 LM 架構。