ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
- 發表版本
- ICLR 2020會議
- arXiv 首次提交
- arXiv:1909.11942
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{transformersalbert2019,
title = {{ALBERT: A Lite BERT for Self-supervised Learning of Language Representations}},
author = {Zhenzhong Lan and Mingda Chen and Sebastian Goodman and Kevin Gimpel and Piyush Sharma and Radu Soricut},
year = {2019},
eprint = {1909.11942},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1909.11942}
}
BERT 之後,還是 BERT。
定義問題
一個 BERT 大概有 340M 個參數,很難 Train,要 Train 很久。有了 BERT 作為基礎比較對象,後續研究開始加大模型規模,模型參數愈來愈多。
0.1B ➔ 0.3B ➔ 0.5B ➔ 1.0B ➔ 1.5B ➔ ???
這篇論文的作者說:不行,不能再更大了,我們快要 Train 不起了!
- 我們需要小的 BERT!
解決問題
ALBERT 的基礎架構與 BERT 一樣,但做了以下幾個改進:
分解的嵌入參數化
在 BERT 及其後續改進模型(這裡說的是 XLNet 和 RoBERTa)中,詞彙嵌入大小 與隱藏層大小 被綁定,即 ;其中 RoBERTa 採用的是 byte-level BPE 詞彙。
這樣的設計在模型和實用性上有兩個缺點:
-
模型角度:WordPiece 嵌入主要學習上下文無關的表示,而隱藏層嵌入則專注於上下文相關的表示。透過分離 和 ,模型可以更有效地根據需求分配參數,因為隱藏層應有較大的容量(即 )。
-
實用角度:自然語言處理中,詞彙表大小 通常很大。如果 ,則增大 會顯著增加嵌入矩陣的大小,該矩陣的尺寸為 。這可能會導致模型的參數量達到數十億,且大多數參數在訓練中僅會稀疏更新。
因此,ALBERT 使用了嵌入參數的分解,將它們分成兩個較小的矩陣:
- 首先將 one-hot 向量投影到較低維度的嵌入空間,大小為
- 然後再將其投影到隱藏層空間
此分解使嵌入參數的數量從 降低至 。
當 時,參數量會顯著地減少!
跨層參數共享
過去有許多研究專注於提高模型的參數效率:
-
Dehghani 等人 (2018) 的 Universal Transformer (UT):
他們提出了一種 Universal Transformer,並發現這種模型在性能上超越了標準的 Transformer。Universal Transformer 是一種改進版的 Transformer,它通過將多層 Transformer 的參數共享(類似 ALBERT 的做法),強化了模型的學習能力,特別是在處理不同層的時間步進時,有效提升了模型的表現。
-
Bai 等人 (2019) 的 Deep Equilibrium Models (DEQ):
他們的研究發現,Deep Equilibrium Models (DEQ) 能夠達到一個「平衡點」,在該平衡點上,某一層的輸入和輸出嵌入變得相同,這意味著該層模型的表示不再發生變化。也就是說模型的表達能力在達到這個平衡點後,逐漸趨於穩定,不再有顯著的變動。
除了上述兩個研究,共享參數的概念實現的方式有很多種:
- 只在層與層之間共享前饋網路 (FFN) 的參數
- 只共享注意力機制的參數
ALBERT 的預設設計是跨編碼器層共享所有層參數,除非另有說明,所有實驗均基於此預設進行。如下圖,作者測量每層輸入與輸出表示之間的 L2 距離及餘弦角度;ALBERT 的層間變化較平滑,但兩項差異並未趨近於零,不像 DEQ 模型那樣收斂至平衡點。
這裡比較的是每層的輸入與輸出表示。
句序預測損失 Loss
句序預測損失,Sentence-Order Prediction, 簡稱 SOP。
BERT 除了 MLM 損失外,還使用了一種額外的損失函數 NSP(Next Sentence Prediction)。在許多後續研究發現 NSP 的效果不穩定,並選擇移除 NSP 損失。
作者推測 NSP 的低效原因是該任務相對於 MLM 來說過於簡單。NSP 將主題預測與一致性預測混為一體,而主題預測相對於一致性預測更容易學習,並且與 MLM 損失的學習重疊較大。
考慮到這些因素,作者認為跨句建模是語言理解中重要的一部分,為此提出了句序預測損失:
- 正樣本與 BERT 相同,來自同一文檔中的兩個連續片段。
- 負樣本則是相同兩個連續片段,但交換它們的順序。
模型必須判斷哪個片段是先出現的,這樣能強迫模型學習更細緻的一致性區別。
討論
BERT 與 ALBERT 的整體比較
ALBERT 的設計選擇主要體現在參數效率的提升。
如上表所示:在 BOOKCORPUS 和 Wikipedia 預訓練 125K 步的開發集比較中,ALBERT-xxlarge 使用 235M 參數,約為 BERT-large 334M 的 70%,且多個代表性下游任務分數較高:SQuAD v1.1 F1(+1.9 個百分點)、SQuAD v2.0 F1(+3.1 個百分點)、MNLI(+1.4 個百分點)、SST-2(+2.2 個百分點)、RACE(+8.4 個百分點)。
此外,在相同 TPU 數量下,以 BERT-large 的資料吞吐量為基準,ALBERT-large 約快 1.7 倍;ALBERT-xxlarge 雖然參數較少,卻因隱藏層更大而約慢三倍。
嵌入參數分解
上表展示了在 ALBERT-base 設定下,改變詞彙嵌入大小 的效果。
對於非共享參數的情況下(BERT 風格),較大的嵌入尺寸帶來了些許性能提升,但在全參數共享(ALBERT 風格)下,嵌入大小 表現最佳。
基於這些結果,作者決定在未來的設置中使用嵌入大小 進行模型擴展。
跨層參數共享
上表展示了不同的跨層參數共享策略實驗結果:
- 使用 ALBERT-base 配置( 和 )。
相較於不共享,全共享策略在兩種條件下都降低表中的 Avg 分數; 降 1.5 分, 降 2.5 分。
大部分分數下降出現在共享 FFN 參數的設定;只共享注意力參數時, 的 Avg 比不共享高 0.1 分, 則低 0.7 分。
雖然可以考慮將 L 層劃分為 N 個大小為 M 的組,每組內共享參數,但實驗表明,分組的大小愈小,性能愈好,但參數總數也隨之增加。
因此,作者最終選擇了全共享策略作為預設。
句序預測的有效性
作者比較了三種跨句損失條件:
- 無(XLNet 和 RoBERTa 風格)
- NSP(BERT 風格)
- SOP(ALBERT 風格)。
結果顯示,使用 NSP 損失的模型在 SOP 任務上只有 52.0% 準確率,接近未加入跨句損失的 53.3%;這支持作者認為 NSP 主要學到主題轉換的解釋。使用 SOP 損失的模型在 NSP 任務上得到 78.9%,在 SOP 任務上得到 86.5%。
此外,與 NSP 列相比,SOP 列在多句輸入任務的開發集分數較高:SQuAD 1.1 F1 高 0.9 個百分點、SQuAD 2.0 F1 高 2.8 個百分點、RACE 準確率高 1.7 個百分點;SST-2 則由 91.1 降至 90.3。
NLU 任務的當前最先進水平
ALBERT 在 GLUE benchmark 上的表現
ALBERT 在 SQuAD and RACE benchmarks 上的表現
最後,作者在兩種微調設定下發表了 SOTA 結果:單模型 和 系集模型:
- 單模型:
- 開發集分數報告五次運行的中位數;GLUE 的這一組單模型開發集結果不能直接當作測試集成績。
- 單模型的 ALBERT 配置使用了最佳表現的設置:ALBERT-xxlarge 配置,結合了 MLM 和 SOP 的損失函數,且不使用 dropout。
- 系集模型:
- 候選檢查點根據開發集表現選取,每個任務考慮的檢查點數量為 6 到 17 個。
- 在 GLUE 和 RACE 基準測試中,系集模型的預測結果是對來自不同訓練步驟的 12 層和 24 層架構進行微調後的模型預測進行平均。
- 在 SQuAD 中,則是對具有多個概率的 span 的預測分數進行平均,並對「無法回答」的決策分數進行平均。
表 9、10 的下列最佳成績來自測試集的系集模型,不能與上方的單模型開發集列混用:
- GLUE:取得了 89.4 分
- SQuAD 2.0:測試 F1 分數達到 92.2
- RACE:測試準確率達到 89.4
RACE 測試的結果特別好,相較於其他模型的提升幅度巨大:
- 比表中的 BERT-large 單模型高 17.4 個百分點。
- 比 XLNet 單模型高 7.6 個百分點。
- 比 RoBERTa 單模型高 6.2 個百分點。
- 比 DCMN+ 系集模型高 5.3 個百分點。
這些列的單模型/系集設定不同;若只看 ALBERT 單模型,RACE 測試準確率是 86.5%。
結論
ALBERT 以創新的方式大幅提升了參數效率,並且引入了更具針對性的損失函數來提升跨句理解任務的表現。它的設計理念對於未來的大型語言模型具有深遠的影響。
如果你也是在資源有限的環境下開發語言模型,ALBERT 可能是一個不錯的選擇!