返回論文筆記資料庫
arXiv 2019NeurIPS 2019語言模型與 Transformer論文筆記

XLNet

雙流注意力機制

原始論文

XLNet: Generalized Autoregressive Pretraining for Language Understanding

論文作者

Zhilin Yang · Zihang Dai · Yiming Yang · Jaime Carbonell · Ruslan Salakhutdinov · Quoc V. Le

發表版本
NeurIPS 2019會議
arXiv 首次提交
arXiv:1906.08237
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{transformersxlnet2019,
  title = {{XLNet: Generalized Autoregressive Pretraining for Language Understanding}},
  author = {Zhilin Yang and Zihang Dai and Yiming Yang and Jaime Carbonell and Ruslan Salakhutdinov and Quoc V. Le},
  year = {2019},
  eprint = {1906.08237},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1906.08237}
}
本頁內容

BERT 的成功帶給後續研究人員大量的研究空間。

在早些時日,這篇論文的作者群已經發表了 Transformer-XL 這篇論文,提出了一種新的 Transformer 架構,能夠捕捉長距離依賴關係。

但顯然地,作者覺得這還不夠,因為 Transformer-XL 無法同時考慮到所有的上下文。

定義問題

在語言模型中有兩大主流方法:自回歸(autoregressive)和自編碼(autoencoding)。

自編碼的代表作就是 BERT,而自回歸的代表作則是 GPT,各有各的優缺點。

  • 自回歸模型

    自回歸的自監督的訓練方式就是預測序列中的下一個詞,也就是我們常講的文字接龍。

    給定一個文字序列 x=[x1,…,xT]x = [x_1, \dots, x_T],自回歸語言模型透過前向自回歸分解來最大化似然函數:

    max⁡θlog⁡pθ(x)=\max_{\theta} \log p_{\theta}(x) = ∑t=1Tlog⁡pθ(xt∣x<t)=\sum_{t=1}^{T} \log p_{\theta}(x_t | x_{<t}) = ∑t=1Tlog⁡exp⁡(hθ(x1:t−1)Te(xt))∑x′exp⁡(hθ(x1:t−1)Te(x′))\sum_{t=1}^{T} \log \frac{\exp(h_{\theta}(x_{1:t-1})^T e(x_t))}{\sum_{x'} \exp(h_{\theta}(x_{1:t-1})^T e(x'))}

    其中,hθ(x1:t−1)h_{\theta}(x_{1:t-1}) 是由神經網路生成的上下文表示,而 e(x)e(x) 表示字詞的嵌入。

    這樣的訓練方式有一個缺點:無法同時考慮到所有的上下文。如果遇到「語言理解」的任務,效果就會打折扣。因為在理解任務中,我們需要同時考慮到所有的上下文,才能做出正確的判斷。

  • 自編碼模型

    自編碼的自監督訓練方式則是遮蔽語言模型(Masked Language Model, MLM),這是 BERT 提出來的最著名的方法,在訓練中隨機使用 [MASK] 標記來預測被遮蔽的詞彙。並根據這個被遮蔽的序列 x^\hat{x} 來重建被遮蔽的文字 xˉ\bar{x},其目標函數為:

    max⁡θlog⁡pθ(xˉ∣x^)≈∑t=1Tmtlog⁡pθ(xt∣x^)=\max_{\theta} \log p_{\theta}(\bar{x}|\hat{x}) \approx \sum_{t=1}^{T} m_t \log p_{\theta}(x_t | \hat{x}) = ∑t=1Tmtlog⁡exp⁡(Hθ(x^)tTe(xt))∑x′exp⁡(Hθ(x^)tTe(x′))\sum_{t=1}^{T} m_t \log \frac{\exp(H_{\theta}(\hat{x})^T_t e(x_t))}{\sum_{x'} \exp(H_{\theta}(\hat{x})^T_t e(x'))}

    其中,mt=1m_t = 1 表示 xtx_t 被遮蔽,HθH_{\theta} 是 Transformer 網路產生的隱藏向量序列 Hθ(x)=[Hθ(x)1,Hθ(x)2,…,Hθ(x)T]H_{\theta}(x) = [H_{\theta}(x)_1, H_{\theta}(x)_2, \dots, H_{\theta}(x)_T]。

    這樣的訓練方式可以同時考慮到所有的上下文,但是會帶來一個問題:模型在預測時不存在 [MASK] 標記,這樣的訓練方式會導致模型在訓練和預測時的不一致。不僅如此,也因為 BERT 的設計方式,模型無法像是 AR 模型這樣,使用乘積規則對聯合機率進行建模。

所以作者希望可以做一個「自回歸」的語言模型,但又要同時可以考慮到所有的上下文:

這個方法就是 XLNet!

解決問題

置換語言建模

置換語言建模,Permutation Language Modeling,是作者所提出的一種新的訓練目標。

目的是同時保留自回歸模型的優勢(依賴於序列上下文進行詞語預測),但又能像 BERT 那樣捕捉到雙向上下文(可以從任意方向理解文本)。

舉例來說,對於一個長度為 TT 的序列(例如 "The cat sat on the mat" 有 6 個詞),有 T!T! 種不同的索引順序可以進行自回歸分解。

程式碼
排列1: [3, 5, 4, 6, 2, 1](依序預測 sat、the、on、mat、cat、The)
排列2: [4, 1, 6, 5, 2, 3](依序預測 on、The、mat、the、cat、sat)
排列3: ...

在這個過程中,我們為模型引入一個排列 zz,這個排列代表模型在訓練時所選擇的分解順序;輸入句子的詞語位置不會真的重排。模型會在每次訓練中隨機選擇一個排列,然後依照這個排列預測詞語。

假設 ZTZ_T 是所有可能的長度為 TT 的索引序列的置換集合,則置換語言建模目標可以表達為:

max⁡θEz∼ZT[∑t=1Tlog⁡pθ(xzt∣xz<t)]\max_{\theta} \mathbb{E}_{z \sim Z_T} \left[ \sum_{t=1}^{T} \log p_{\theta}(x_{z_t} | x_{z_{<t}}) \right]

雙流自注意機制

為了有效實現置換語言建模,作者在論文特別指出,我們只排列「分解順序」而不是「句子中的詞語順序」。這意味著,在訓練過程中,句子的自然順序保持不變,而是通過「掩蔽機制」來重新排列這些詞語在訓練中出現的順序。

在模型訓練時,會隨機選擇一種分解的順序。例如,對於一個序列 x=[x1,x2,x3,x4]x = [x_1, x_2, x_3, x_4],可能選擇的順序是 x3→x2→x4→x1x_3 → x_2 → x_4 → x_1。

模型會根據這個順序,逐步預測每個字詞的機率,並最大化該序列的似然函數。

要實現這種置換模型,需要用到「雙流自注意力(Two-Stream Self-Attention)」機制。

這裡的「雙流」指的是兩種不同的隱藏表示:

  • 內容流(Content Stream)

    內容流的表示 hθ(xz≤t)h_{\theta}(x_{z \leq t}) 包含置換順序中已出現的上下文,以及當前位置的詞 xztx_{z_t};它不會看到排列順序中尚未出現的詞。

    每層的內容流表示更新方式與標準的 Transformer 自注意力機制相同,但遮罩限制了可讀取的位置:查詢 (QQ) 來自當前內容流,鍵 (KK) 和值 (VV) 只來自排列順序中先前的位置與自己。

    如果我們要預測「A, B, C, D」中的「C」,內容流可讀取「C」自己與置換順序中先於「C」的詞;真正用來預測「C」的是不能讀取「C」內容的查詢流。

  • 查詢流(Query Stream)

    查詢流的主要目的是生成與目標位置相關的表示,但它不能直接看到目標位置的詞語內容。它保留目標位置資訊,並從排列順序中先前位置的內容流取得上下文,以免預測時偷看答案。

    查詢流的表示 gθ(xz<t,zt)g_{\theta}(x_{z < t}, z_t) 只考慮上下文 xz<tx_{z<t} 和目標位置 ztz_t,但不包括目標位置的詞語 xztx_{z_t}。這樣,查詢流強調的是位置依賴的信息,並且需要依賴於上下文來推測出目標詞。

在實際訓練中,直接對每個排列進行完整的預測可能會導致模型收斂緩慢。因此,作者使用部分預測策略,讓模型不需要每次預測整個排列中的所有詞,而是只對部分詞進行預測,通常是排列中的「最後幾個詞」,這樣模型能夠利用最長的上下文信息來做預測;未選為目標的位置也不必計算查詢流。

模型也沿用 Transformer-XL 的相對位置編碼與跨片段記憶;前一片段快取的是內容流表示,讓下一片段能讀取更長的上下文。處理兩個輸入片段時,另用相對片段編碼區分兩個位置是否屬於同一片段。

再訪部分預測機制

部分預測是指模型在訓練時只預測句子中的一部分詞語,而不是對整個句子的每一個詞進行預測。

這對於 BERT 來說是必要的,因為如果句子中的所有詞語都被掩蔽,模型將沒有足夠的上下文來進行有意義的預測。而 XLNet 也使用了部分預測,主要是為了減少優化難度,即讓模型只預測那些有足夠上下文的詞語。

舉例來說,假設我們有一句話「New York is a city」,我們只選擇句子中的部分詞進行預測,如「New」和「York」。

  • BERT 的問題:獨立假設

    BERT 在進行預測時基於「獨立假設」,即它預測每個目標詞語時,認為這些詞語之間是獨立的,沒有直接的依賴關係。

    比如在這個例子中,BERT 會把「New」和「York」當作彼此獨立的詞來預測,其目標是:

    JBERT=log⁡p(New∣is a city)+log⁡p(York∣is a city) \mathcal{J}_{\text{BERT}} = \log p(\text{New} | \text{is a city}) + \log p(\text{York} | \text{is a city})

    這表示 BERT 預測「New」和「York」時,依賴的上下文僅僅是「is a city」,它沒有考慮「New」和「York」之間的依賴關係。

  • XLNet 的優勢:捕捉依賴關係

    相比之下,XLNet 則能夠捕捉詞語之間的依賴關係。這是因為 XLNet 基於自回歸的方式進行排列順序的預測,並且能夠利用之前已經預測的詞作為上下文。

    在這個例子中,XLNet 可能會選擇排列順序 「is → a → city → New → York」,這樣在預測 「York」 時,模型已經知道 「New」,因此它能夠考慮 「New」 和 「York」 之間的依賴關係。

    XLNet 的目標可以表示為:

    JXLNet=log⁡p(New∣is a city)+log⁡p(York∣New, is a city)\mathcal{J}_{\text{XLNet}} = \log p(\text{New} | \text{is a city}) + \log p(\text{York} | \text{New, is a city})

    這表示 XLNet 在預測「York」時,不僅依賴於「is a city」,還依賴於已經預測的「New」。因此,XLNet 能夠學習到「New」和「York」之間的依賴關係,這是 BERT 所忽略的。

在同一組預測目標下,XLNet 能夠學到更多的詞之間的依賴關係,從而產生「更密集」的有效訓練信號。

換句話說,在相同的目標詞下,XLNet 可以進一步學到這些目標詞之間的依賴;BERT 的遮罩預測目標則把它們分開預測。

討論

和 BERT 的公平比較

在這裡,作者首先在公平的環境下比較 BERT 和 XLNet 的效能,以解耦使用更多數據與從 BERT 到 XLNet 改進所帶來的影響。

在上表中,比較了三個不同變體的 BERT 的最佳效能,以及使用相同數據和超參數訓練的 XLNet。在相同的數據和幾乎相同的訓練設定下,XLNet 在表列各項指標都高於 BERT;這裡沒有逐項顯著性檢定。

和 RoBERTa 比較

閱讀理解與文件排序
問答系統
文本分類測試集錯誤率,數值越低越好
自然語言理解

在這篇論文發表後,隨即有其他預訓練模型問世,如 RoBERTa 和 ALBERT。

為了與 RoBERTa 進行相對公平的比較,XLNet 使用較完整的預訓練語料,並參照 RoBERTa 的超參數設置;這仍不是完全控制資料與算力的比較。結果如上表,在閱讀理解與文件排序、問答系統、文本分類和自然語言理解的多數指標上,XLNet 優於表列對照;但 GLUE 開發集的 RTE、MRPC 低於 RoBERTa(85.9 對 86.6、90.8 對 90.9)。

GLUE 表的上半是單任務單模型開發集,下半是含多任務系集的測試集,兩半不能當成同設定的分數差距。

此外,作者還提出兩個有趣的觀察結果:

  1. 對於像 SQuAD 和 RACE 這樣需要進行明確推理且涉及較長上下文的任務,XLNet 的效能提升通常更大。這種在處理長上下文上的優勢可能來自於 XLNet 所使用的 Transformer-XL 架構。
  2. 對於已經擁有大量監督數據的分類任務,如 MNLI(超過 39 萬條樣本)、Yelp(超過 56 萬條樣本)和 Amazon(超過 300 萬條樣本),XLNet 仍然顯著提升了效能。

消融實驗

作者為了證明 XLNet 中每個設計選擇的重要性,並評估這些選擇如何影響模型的性能。

在上表中,總共比較了 6 個不同實現細節的 XLNet-Base 變體(第 3 到 8 行)、原始的 BERT-Base 模型(第 1 行),以及一個基於 Transformer-XL 的模型,該模型使用了 BERT 的去噪自編碼目標但採用了雙向輸入管道(第 2 行)。

為了公平比較,所有模型都基於相同的 12 層架構,並且使用與 BERT-Base 相同的超參數,只在 Wikipedia 和 BooksCorpus 上進行訓練,且所有結果都是 5 次運行的中位數。

  • 置換語言建模和 Transformer-XL 的優勢(rows 1 to 4):

    相較於 BERT-Base(第 1 行),第 2 行換成 Transformer-XL 與去噪目標,第 3、4 行再使用置換語言建模;這些設定在多數指標上逐步改善,但並非每一欄都單調提升,例如第 3 行的 SST-2 為 92.66,略低於 BERT 的 92.78。不能把第 1 行到第 4 行的差距全歸於單一設計。

  • 記憶機制的重要性(row 5):

    當移除記憶緩存機制(memory caching)時,與第 4 行相比,RACE 從 66.66 降到 65.55,SQuAD2.0 F1 從 80.98 降到 80.15;這支持記憶機制有助於處理較長上下文。

  • 基於連續詞片段的預測和雙向輸入管道的作用(rows 6 and 7):

    移除基於連續詞片段的預測和雙向輸入管道都會使模型性能下降,這表明這兩個設計對於 XLNet 的有效性有重要貢獻。

  • 下句預測的影響(row 8):

    出乎意料的是,BERT 中提出的下句預測目標(next-sentence prediction)在 XLNet 的設置中並未帶來顯著的性能提升。因此,作者在最終的 XLNet 設計中排除了這個目標。

結論

XLNet 延續 Transformer-XL 的優勢,並引入了置換語言建模目標,從而同時保留了自回歸模型和自編碼模型的優勢。在公平的設置下,XLNet 在各種自然語言處理任務上都超越了 BERT 和 RoBERTa,並且在一些需要長上下文的任務上表現更好。

XLNet 的創新使其在多個自然語言處理任務中成為一個強有力的選擇,並且為語言模型的發展提供了新的思路。

綜觀 2019 年,XLNet 可以說是地表最強的 LM 架構。