論文ノートライブラリに戻る
arXiv 2019ICLR 2020言語モデルと Transformer論文ノート

ALBERT

アインシュタイン

原論文

ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

論文の著者

Zhenzhong Lan · Mingda Chen · Sebastian Goodman · Kevin Gimpel · Piyush Sharma · Radu Soricut

発表先
ICLR 2020国際会議
arXiv への初回投稿
arXiv:1909.11942
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{transformersalbert2019,
  title = {{ALBERT: A Lite BERT for Self-supervised Learning of Language Representations}},
  author = {Zhenzhong Lan and Mingda Chen and Sebastian Goodman and Kevin Gimpel and Piyush Sharma and Radu Soricut},
  year = {2019},
  eprint = {1909.11942},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1909.11942}
}
このページの内容

BERT の後、やっぱり BERT です。

問題の定義

BERT-Large は約 340M のパラメータを持ち、訓練するのは大変で時間もかかります。BERT を比較の基準にした後続研究はモデルをさらに大きくし、パラメータ数もどんどん増えていきました。

0.1B ➔ 0.3B ➔ 0.5B ➔ 1.0B ➔ 1.5B ➔ ???

この論文の著者は言います:もう無理だ、これ以上大きくできない、トレーニングができなくなってきた!

  • 私たちは小さな BERT が必要です!

解決問題

ALBERT の基盤は BERT と同じですが、以下のいくつかの改良が行われています:

分解された埋め込みパラメータ化

BERT やその後のモデル(ここでは XLNet や RoBERTa)では、語彙の埋め込み次元 EE と隠れ層の次元 HH が結び付いており、E≡HE ≡ H です。ただし RoBERTa の語彙は byte-level BPEです。

この設計にはモデルと実用性の観点で二つの欠点があります:

  • モデルの観点から:WordPiece 埋め込みは主に文脈に依存しない表現を学習し、隠れ層の埋め込みは文脈に依存する表現に焦点を当てています。EE と HH を分離することで、モデルは必要に応じてパラメータをより効率的に割り当てることができ、隠れ層はより大きな容量を持つべきです(つまり、H>EH > E)。

  • 実用的な観点から:自然言語処理では、語彙のサイズ VV は通常非常に大きいです。E≡HE ≡ H の場合、HH を増やすと埋め込み行列のサイズが大きくなり、そのサイズは V×EV \times E となります。これにより、モデルのパラメータ数は数十億に達し、ほとんどのパラメータは訓練中にわずかな更新しかされません。

そのため、ALBERT は埋め込みパラメータを分解し、二つの小さな行列に分けました:

  • まず one-hot ベクトルを低次元の埋め込み空間に投影し、そのサイズは EE です。
  • 次にそれを隠れ層空間に投影します。

この分解により、埋め込みパラメータの数は O(V×H)O(V \times H) から O(V×E+E×H)O(V \times E + E \times H) に減少します。

H>EH > E の場合、パラメータ数は大幅に削減されます!

層間パラメータ共有

これまで多くの研究は、モデルのパラメータ効率を向上させることに焦点を当ててきました:

  • Dehghani ら(2018)の Universal Transformer (UT):

    彼らは Universal Transformer を提案し、このモデルが標準的な Transformer よりも性能で優れていることを発見しました。Universal Transformer は Transformer の改良版で、複数層の Transformer のパラメータを共有することにより(ALBERT の方法に似ています)、モデルの学習能力を強化し、特に異なる層での時間ステップに対する処理能力が向上し、性能を改善しました。

  • Bai ら(2019)の Deep Equilibrium Models (DEQ):

    このモデルは変換を繰り返したときの「平衡点」を扱い、平衡状態では入力と出力の表現が一致します。これはパラメータを共有する別の方法です。ALBERT との比較では、平衡点を求める計算を区別します。

これら二つの研究を除き、パラメータを共有する概念には多くの実現方法があります:

  • 層間でフィードフォワードネットワーク(FFN)のパラメータのみを共有
  • 注意機構のパラメータのみを共有

ALBERT の標準設計ではエンコーダー層のパラメータをすべての層で共有します。特に断りがなければ実験もこの設定です。下図で著者が測っているのは、各層の入力と出力の表現の L2 距離とコサイン角度。ALBERT の層間変化は比較的滑らかですが、どちらもゼロへは近づかず、DEQ のような平衡点には収束しません。

ここで比較しているのは各層の入力と出力の表現であり、共有パラメータそのものが層間で振動しているとは読めません。この図だけで、その違いが性能向上の理由だとも判断できません。

文章順序予測損失(SOP)

文章順序予測損失、Sentence-Order Prediction (SOP)。

BERT は MLM 損失の他に、追加の損失関数 NSP(Next Sentence Prediction)を使用しています。多くの後続研究では NSP の効果が不安定であることが分かり、NSP 損失を削除することを選択しました。

著者は、NSP の低効率の原因を、タスクが MLM に対して過度に単純であるためだと推測しています。NSP はトピック予測と一貫性予測を混同しており、トピック予測は一貫性予測よりも学習が容易であり、MLM 損失の学習と重複する部分が多いです。

これらの理由を踏まえ、著者は文章間のモデリングが言語理解の重要な部分であると考え、文章順序予測損失(SOP)を提案しました:

  • 正例は BERT と同様に、同一文書内の二つの連続したセグメントからなります。
  • 負例は同じ二つのセグメントですが、その順序を入れ替えます。

モデルはどちらのセグメントが先に来るかを判別する必要があり、これによりモデルは一貫性の違いをより細かく学習することが強制されます。

討論

BERT と ALBERT の全体比較

ALBERT の設計選択は主にパラメータ効率の向上に反映されています。

上の表は BOOKCORPUS と Wikipedia で 125K ステップ事前学習したモデルの開発セット比較です。ALBERT-xxlarge は 235M パラメータと、BERT-large の 334M の約 70% でありながら、複数の下流タスクで高い値を示します。SQuAD v1.1 F1 は +1.9 ポイント、v2.0 F1 は +3.1 ポイント、MNLI は +1.4 ポイント、SST-2 は +2.2 ポイント、RACE は +8.4 ポイントです。

さらに、同じ数の TPU での学習データ処理量を比べると、ALBERT-large は BERT-large の約 1.7 倍の速さです。一方、ALBERT-xxlarge はパラメータが少なくても隠れ層が大きいため、処理量は約 0.3 倍、同じ量を処理するには約 3 倍の時間がかかります。

埋め込みパラメータの分解

上の表は、ALBERT-base 設定で語彙埋め込みサイズ EE を変更した結果を示しています。

パラメータを共有しない BERT 型の設定では、埋め込みサイズを大きくすると成績が少し上がります。一方、すべての層パラメータを共有する ALBERT 型の設定では、E=128E=128 の方が E=768E=768 より高い Avg を示しました。

これらの結果を基に、著者は今後の設定で埋め込みサイズ E=128E=128 を使用してモデルを拡張することを決定しました。

層間パラメータ共有

上の表は、異なる層間パラメータ共有戦略の実験結果を示しています:

  • ALBERT-base 設定で E=768E=768 と E=128E=128 を比較しています。共有しない場合と比べ、すべてを共有すると、表の Avg は E=128E=128 で 1.5 ポイント、E=768E=768 で 2.5 ポイント下がります。

この表では、FFN パラメータを共有する設定での低下が大きく見えます。注意機構だけを共有したときの Avg は、E=128E=128 では非共有より 0.1 ポイント高く、E=768E=768 では 0.7 ポイント低くなります。

層を N 個の M サイズのグループに分けて、各グループ内でパラメータを共有するという選択肢もありますが、実験結果では、グループサイズが小さいほど性能が向上しますが、パラメータの総数も増加します。

そのため、著者は最終的に全共有戦略をデフォルトとして選びました。

文章順序予測の有効性

著者は、以下の 3 つの跨文損失条件を比較しました:

  • なし(XLNet と RoBERTa スタイル)
  • NSP(BERT スタイル)
  • SOP(ALBERT スタイル)

NSP 損失で学習したモデルの SOP タスク正確度は 52.0% で、文間損失を加えないモデルの 53.3% に近い値です。これは NSP が主に話題の違いを学ぶという著者の見方を支持します。一方、SOP 損失で学習したモデルは NSP タスクで 78.9%、SOP タスクで 86.5% でした。

さらに NSP の行と比べると、SOP の行では複数文を使うタスクの開発セット成績が上がりました。SQuAD 1.1 F1 は +0.9 ポイント、SQuAD 2.0 F1 は +2.8 ポイント、RACE 正確度は +1.7 ポイントです。ただし SST-2 は 91.1% から 90.3% に下がります。

NLU タスクにおける現在の最先端レベル

ALBERT の GLUE ベンチマークでのパフォーマンス


ALBERT の SQuAD と RACE ベンチマークでのパフォーマンス


最後に、著者は 2 つの微調整設定で最先端の結果を発表しました:単一モデル と アンサンブルモデル:

  • 単一モデル:
    • 開発セットでは 5 回の実行結果の中央値を報告します。GLUE の単一モデル開発セットの値を、そのままテストセットの値として扱うことはできません。
    • 単一モデルの ALBERT 設定は、最良のパフォーマンス設定を使用しています:ALBERT-xxlarge 設定で、MLM と SOP の損失関数を組み合わせ、ドロップアウトは使用しません。
  • アンサンブルモデル:
    • アンサンブルモデルのチェックポイントは、開発セットのパフォーマンスに基づいて選択され、タスクに応じてチェックポイントの数は 6 から 17 の範囲で異なります。
    • GLUE と RACE のベンチマークでは、アンサンブルモデルの予測結果は、異なる訓練ステップで得られた 12 層および 24 層アーキテクチャで微調整されたモデルの予測を平均化したものです。
    • SQuAD では、複数の確率を持つスパンの予測スコアを平均化し、「回答不能」の判断スコアも平均化しました。

次の Table 9、10 の最良値はアンサンブルモデルのテストセット結果で、上の単一モデル開発セットとは分けて読む必要があります:

  • GLUE:89.4 点を達成
  • SQuAD 2.0:テスト F1 スコアは 92.2
  • RACE:テスト精度は 89.4

特に RACE テストでは、他のモデルに比べて大きな向上が見られました:

  • 表の BERT-large 単一モデルより 17.4 ポイント高い。
  • XLNet 単一モデルより 7.6 ポイント高い。
  • RoBERTa 単一モデルより 6.2 ポイント高い。
  • DCMN+ アンサンブルモデルより 5.3 ポイント高い。

比較する列の単一モデル/アンサンブル条件は異なります。ALBERT 単一モデルだけを見ると、RACE テスト正確度は 86.5% です。

結論

ALBERT は新しい方法でパラメータ効率を大幅に高め、文と文の関係を理解するタスクに向けた損失関数も導入しました。その設計思想は、今後の大規模言語モデルにも大きな影響を与えるでしょう。

もしリソースが限られた環境で言語モデルを開発しているなら、ALBERT は非常に良い選択肢となるかもしれません!