返回論文筆記資料庫
arXiv 2019ICLR 2020語言模型與 Transformer論文筆記

ALBERT

愛因斯 BERT

原始論文

ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

論文作者

Zhenzhong Lan · Mingda Chen · Sebastian Goodman · Kevin Gimpel · Piyush Sharma · Radu Soricut

發表版本
ICLR 2020會議
arXiv 首次提交
arXiv:1909.11942
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{transformersalbert2019,
  title = {{ALBERT: A Lite BERT for Self-supervised Learning of Language Representations}},
  author = {Zhenzhong Lan and Mingda Chen and Sebastian Goodman and Kevin Gimpel and Piyush Sharma and Radu Soricut},
  year = {2019},
  eprint = {1909.11942},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1909.11942}
}
本頁內容

BERT 之後,還是 BERT。

定義問題

一個 BERT 大概有 340M 個參數,很難 Train,要 Train 很久。有了 BERT 作為基礎比較對象,後續研究開始加大模型規模,模型參數愈來愈多。

0.1B ➔ 0.3B ➔ 0.5B ➔ 1.0B ➔ 1.5B ➔ ???

這篇論文的作者說:不行,不能再更大了,我們快要 Train 不起了!

  • 我們需要小的 BERT!

解決問題

ALBERT 的基礎架構與 BERT 一樣,但做了以下幾個改進:

分解的嵌入參數化

在 BERT 及其後續改進模型(這裡說的是 XLNet 和 RoBERTa)中,詞彙嵌入大小 EE 與隱藏層大小 HH 被綁定,即 E≡HE ≡ H;其中 RoBERTa 採用的是 byte-level BPE 詞彙。

這樣的設計在模型和實用性上有兩個缺點:

  • 模型角度:WordPiece 嵌入主要學習上下文無關的表示,而隱藏層嵌入則專注於上下文相關的表示。透過分離 EE 和 HH,模型可以更有效地根據需求分配參數,因為隱藏層應有較大的容量(即 H>EH > E)。

  • 實用角度:自然語言處理中,詞彙表大小 VV 通常很大。如果 E≡HE ≡ H,則增大 HH 會顯著增加嵌入矩陣的大小,該矩陣的尺寸為 V×EV \times E。這可能會導致模型的參數量達到數十億,且大多數參數在訓練中僅會稀疏更新。

因此,ALBERT 使用了嵌入參數的分解,將它們分成兩個較小的矩陣:

  • 首先將 one-hot 向量投影到較低維度的嵌入空間,大小為 EE
  • 然後再將其投影到隱藏層空間

此分解使嵌入參數的數量從 O(V×H)O(V \times H) 降低至 O(V×E+E×H)O(V \times E + E \times H)。

當 H>EH > E 時,參數量會顯著地減少!

跨層參數共享

過去有許多研究專注於提高模型的參數效率:

  • Dehghani 等人 (2018) 的 Universal Transformer (UT):

    他們提出了一種 Universal Transformer,並發現這種模型在性能上超越了標準的 Transformer。Universal Transformer 是一種改進版的 Transformer,它通過將多層 Transformer 的參數共享(類似 ALBERT 的做法),強化了模型的學習能力,特別是在處理不同層的時間步進時,有效提升了模型的表現。

  • Bai 等人 (2019) 的 Deep Equilibrium Models (DEQ):

    他們的研究發現,Deep Equilibrium Models (DEQ) 能夠達到一個「平衡點」,在該平衡點上,某一層的輸入和輸出嵌入變得相同,這意味著該層模型的表示不再發生變化。也就是說模型的表達能力在達到這個平衡點後,逐漸趨於穩定,不再有顯著的變動。

除了上述兩個研究,共享參數的概念實現的方式有很多種:

  • 只在層與層之間共享前饋網路 (FFN) 的參數
  • 只共享注意力機制的參數

ALBERT 的預設設計是跨編碼器層共享所有層參數,除非另有說明,所有實驗均基於此預設進行。如下圖,作者測量每層輸入與輸出表示之間的 L2 距離及餘弦角度;ALBERT 的層間變化較平滑,但兩項差異並未趨近於零,不像 DEQ 模型那樣收斂至平衡點。

這裡比較的是每層的輸入與輸出表示。

句序預測損失 Loss

句序預測損失,Sentence-Order Prediction, 簡稱 SOP。

BERT 除了 MLM 損失外,還使用了一種額外的損失函數 NSP(Next Sentence Prediction)。在許多後續研究發現 NSP 的效果不穩定,並選擇移除 NSP 損失。

作者推測 NSP 的低效原因是該任務相對於 MLM 來說過於簡單。NSP 將主題預測與一致性預測混為一體,而主題預測相對於一致性預測更容易學習,並且與 MLM 損失的學習重疊較大。

考慮到這些因素,作者認為跨句建模是語言理解中重要的一部分,為此提出了句序預測損失:

  • 正樣本與 BERT 相同,來自同一文檔中的兩個連續片段。
  • 負樣本則是相同兩個連續片段,但交換它們的順序。

模型必須判斷哪個片段是先出現的,這樣能強迫模型學習更細緻的一致性區別。

討論

BERT 與 ALBERT 的整體比較

ALBERT 的設計選擇主要體現在參數效率的提升。

如上表所示:在 BOOKCORPUS 和 Wikipedia 預訓練 125K 步的開發集比較中,ALBERT-xxlarge 使用 235M 參數,約為 BERT-large 334M 的 70%,且多個代表性下游任務分數較高:SQuAD v1.1 F1(+1.9 個百分點)、SQuAD v2.0 F1(+3.1 個百分點)、MNLI(+1.4 個百分點)、SST-2(+2.2 個百分點)、RACE(+8.4 個百分點)。

此外,在相同 TPU 數量下,以 BERT-large 的資料吞吐量為基準,ALBERT-large 約快 1.7 倍;ALBERT-xxlarge 雖然參數較少,卻因隱藏層更大而約慢三倍。

嵌入參數分解

上表展示了在 ALBERT-base 設定下,改變詞彙嵌入大小 EE 的效果。

對於非共享參數的情況下(BERT 風格),較大的嵌入尺寸帶來了些許性能提升,但在全參數共享(ALBERT 風格)下,嵌入大小 E=128E=128 表現最佳。

基於這些結果,作者決定在未來的設置中使用嵌入大小 E=128E=128 進行模型擴展。

跨層參數共享

上表展示了不同的跨層參數共享策略實驗結果:

  • 使用 ALBERT-base 配置(E=768E=768 和 E=128E=128)。

相較於不共享,全共享策略在兩種條件下都降低表中的 Avg 分數;E=128E=128 降 1.5 分,E=768E=768 降 2.5 分。

大部分分數下降出現在共享 FFN 參數的設定;只共享注意力參數時,E=128E=128 的 Avg 比不共享高 0.1 分,E=768E=768 則低 0.7 分。

雖然可以考慮將 L 層劃分為 N 個大小為 M 的組,每組內共享參數,但實驗表明,分組的大小愈小,性能愈好,但參數總數也隨之增加。

因此,作者最終選擇了全共享策略作為預設。

句序預測的有效性

作者比較了三種跨句損失條件:

  • 無(XLNet 和 RoBERTa 風格)
  • NSP(BERT 風格)
  • SOP(ALBERT 風格)。

結果顯示,使用 NSP 損失的模型在 SOP 任務上只有 52.0% 準確率,接近未加入跨句損失的 53.3%;這支持作者認為 NSP 主要學到主題轉換的解釋。使用 SOP 損失的模型在 NSP 任務上得到 78.9%,在 SOP 任務上得到 86.5%。

此外,與 NSP 列相比,SOP 列在多句輸入任務的開發集分數較高:SQuAD 1.1 F1 高 0.9 個百分點、SQuAD 2.0 F1 高 2.8 個百分點、RACE 準確率高 1.7 個百分點;SST-2 則由 91.1 降至 90.3。

NLU 任務的當前最先進水平

ALBERT 在 GLUE benchmark 上的表現


ALBERT 在 SQuAD and RACE benchmarks 上的表現


最後,作者在兩種微調設定下發表了 SOTA 結果:單模型 和 系集模型:

  • 單模型:
    • 開發集分數報告五次運行的中位數;GLUE 的這一組單模型開發集結果不能直接當作測試集成績。
    • 單模型的 ALBERT 配置使用了最佳表現的設置:ALBERT-xxlarge 配置,結合了 MLM 和 SOP 的損失函數,且不使用 dropout。
  • 系集模型:
    • 候選檢查點根據開發集表現選取,每個任務考慮的檢查點數量為 6 到 17 個。
    • 在 GLUE 和 RACE 基準測試中,系集模型的預測結果是對來自不同訓練步驟的 12 層和 24 層架構進行微調後的模型預測進行平均。
    • 在 SQuAD 中,則是對具有多個概率的 span 的預測分數進行平均,並對「無法回答」的決策分數進行平均。

表 9、10 的下列最佳成績來自測試集的系集模型,不能與上方的單模型開發集列混用:

  • GLUE:取得了 89.4 分
  • SQuAD 2.0:測試 F1 分數達到 92.2
  • RACE:測試準確率達到 89.4

RACE 測試的結果特別好,相較於其他模型的提升幅度巨大:

  • 比表中的 BERT-large 單模型高 17.4 個百分點。
  • 比 XLNet 單模型高 7.6 個百分點。
  • 比 RoBERTa 單模型高 6.2 個百分點。
  • 比 DCMN+ 系集模型高 5.3 個百分點。

這些列的單模型/系集設定不同;若只看 ALBERT 單模型,RACE 測試準確率是 86.5%。

結論

ALBERT 以創新的方式大幅提升了參數效率,並且引入了更具針對性的損失函數來提升跨句理解任務的表現。它的設計理念對於未來的大型語言模型具有深遠的影響。

如果你也是在資源有限的環境下開發語言模型,ALBERT 可能是一個不錯的選擇!