論文ノートライブラリに戻る
arXiv 2018NAACL-HLT 2019言語モデルと Transformer論文ノート

BERT

十二層エンコーダ

原論文

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

論文の著者

Jacob Devlin · Ming-Wei Chang · Kenton Lee · Kristina Toutanova

発表先
NAACL-HLT 2019国際会議
arXiv への初回投稿
arXiv:1810.04805
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{transformersbert2018,
  title = {{BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding}},
  author = {Jacob Devlin and Ming-Wei Chang and Kenton Lee and Kristina Toutanova},
  year = {2018},
  eprint = {1810.04805},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1810.04805}
}
このページの内容

Transformer が提案された後、多くの研究者がこのアーキテクチャをどのようにより良く活用できるかを探求し始めました。

以前の GPT-1 は完全デコーダ(decoder-only)のアーキテクチャを選択しましたが、BERT はその正反対の完全エンコーダ(encoder-only)のアーキテクチャを選びました。

問題の定義

事前学習した言語モデルを下流タスクに適用する際、通常は 2 つの戦略があります:

  • 1. 特徴ベースのアプローチ

    この方法は、例えば ELMo(Peters et al., 2018a)のように、タスク特有のアーキテクチャを使用し、事前学習された表現を追加の特徴として使用します。

  • 2. 微調整アプローチ

    この方法は、例えば生成的事前学習を行った OpenAI GPT のように、最小限のタスク特有のパラメータを導入し、事前学習されたすべてのパラメータを微調整することによって下流タスクを訓練します。


これら 2 つのアプローチは、事前学習の間に同じ目的関数を共有し、単一の言語モデルを使用して汎用的な言語表現を学習します。

著者は「一方向性」の問題が特に深刻であると考えています。

一方向性

前回述べた OpenAI GPT では、左から右へのアーキテクチャを使用しており、各トークンは Transformer の自己注意層で前のトークンにのみ集中することができます。

この制限は、文レベルのタスクでは最適ではなく、token 単位の出力が必要なタスク(例えば、質問応答)に微調整アプローチを適用するときには特に不利となる可能性があります。左右両方の文脈を使うことが重要だからです。

問題の解決

モデルアーキテクチャ

この図は BERT の入力表現です。各位置で token、文セグメント、位置の埋め込みを足してからエンコーダに渡します。BERT-Base は 12 層、BERT-Large は 24 層です。

関連する設定は以下の通りです:

  • BERT-Base

    • 合計 12 層のエンコーダで、各エンコーダは Transformer の基本構造。
    • 各エンコーダには 768 次元の特徴と 12 個の注意ヘッド。
    • 合計パラメータ数は 110M。
  • BERT-Large

    • 合計 24 層のエンコーダで、各エンコーダは Transformer の基本構造。
    • 各エンコーダには 1024 次元の特徴と 16 個の注意ヘッド。
    • 合計パラメータ数は 340M。

入力データに関して、BERT は以下の戦略を採用しています:

  1. 入力シーケンスの柔軟な定義:BERT のコンテキストでは、「文」という概念は実際の言語学的な文に限らず、任意の連続したテキストの範囲を指します。「シーケンス」とは、BERT が処理する入力トークンシーケンスであり、1 文または 2 文を含むことができます。

  2. WordPiece 埋め込み:30,000 のトークンを含む WordPiece 辞書を使用して埋め込みを行い(Wu et al., 2016)、これにより未知語や希少語を効率的に処理できます。

  3. 特殊トークンの使用:

    • [CLS] トークン:各シーケンスの最初のトークン。このトークンの最終的な隠れ状態は、分類タスクのためのシーケンス表現として使用されます。
    • [SEP] トークン:文対を区切るために使用され、BERT が異なる文からの情報を識別し処理できるようにします。
    • [MASK] トークン:事前学習中に一部のトークンをランダムにマスクし、モデルがこれらのマスクされたトークンを予測できるようにします。
  4. 文分割の特徴標記:BERT は各 token に学習可能な文セグメント埋め込みを足し、その token が文 A と B のどちらに属するかを示します。図の位置埋め込みも合わせて足します。

事前学習戦略

上の図のように、左側は BERT の事前学習戦略、右側は微調整戦略です。

BERT の事前学習戦略は非常に有名で、後の多くのモデル設計に影響を与えました。事前学習には BooksCorpus と英語版 Wikipedia を使い、次の二つの目標を同時に学習します。

  • Masked Language Model(MLM)

    BERT はマスク言語モデル(穴埋め課題)を使って、深い双方向の表現を学習します。入力系列から一部の token を予測対象に選び、前後の文脈から元の token を当てます。

    • ランダムマスク戦略:BERT では、入力系列の WordPiece token の約 15% を予測対象として選びます。そのうち 80% を [MASK] に、10% をランダムな token に置き換え、残りの 10% は元のままにします。

    • マスクされたトークンの予測:マスクされた各トークンに対して、BERT は最終的な隠れベクトルを使用し、ソフトマックス層を通じて元のトークンを予測します。このプロセスは従来の言語モデルと似ています。

    • 微調整段階での潜在的不一致問題:事前学習中に [MASK] token が使われますが、通常の微調整入力には出現しません。BERT は選んだ token を常に [MASK] に置き換えるのではなく、上記の 80/10/10 の方法で、このずれを緩和します。

  • Next Sentence Prediction(NSP)

    文間の関係を理解し、捉えるために、BERT は次文予測という事前学習タスクを導入しました。

    事前学習中、文 A と文 B が入力ペアとして選ばれる際、B が A の実際の後続文である確率は 50%(IsNext)、残りの 50% はコーパスからランダムに選んだ文(NotNext)です。[CLS] の表現で、B が A に続くかを判定します。このラベルは、コーパス上の文の接続関係を記録します。

    NSP によって BERT は事前学習段階から文のペアを扱いますが、下流タスクへの効果は後述の消融結果で確かめます。

微調整戦略

微調整段階では、タスクごとの出力層を加え、BERT の事前学習済みパラメータも一緒に更新します。分類では [CLS] を、質問応答では各 token の表現を使います。

  • 質問応答タスク(SQuAD):

    質問応答タスクでは、BERT は質問と回答を含む段落を一つの系列として処理し、セグメント埋め込みで両者を区別します。微調整では開始位置と終了位置を採点するベクトルを学習し、段落中の答えの範囲を予測します。

  • 自然言語推論(NLI):

    NLI タスクでは、前提と仮説を [SEP] で区切って一つの系列に入れ、エンコーダ内で互いに注意を向けられるようにします。[CLS] の表現から文の関係を分類します。

論文によると、同じ事前学習済み重みから始める下流タスクの微調整は、単一の Cloud TPU で最大約 1 時間、GPU で数時間程度でした。これは微調整だけの時間で、事前学習の計算費用は含みません。

討論

GLUE のテストセットの表では、WNLI を除く平均が BERT-Large 82.1、OpenAI GPT 75.1 で、MNLI-m はそれぞれ 86.7% と 82.1% です。論文本文で別に挙げる公式 GLUE ランキングの総合スコア 80.5/72.8 は、MNLI の値ではありません。表では BERT-Large が BERT-Base を各タスクで上回りますが、著者は小さなデータセットでの微調整が不安定な場合に複数のランダムな再開を試し、開発セットで選んでいます。

さらに、BERT は合計 11 の自然言語処理タスクで新たな最良結果を達成し、BERT の汎用性と効果性を示しています。

消融実験

著者は BERT の異なる部分が性能に与える影響を調べるために一連の消融実験を行いました。図の表 5 は BERT-Base 設定の開発セットで、SQuAD は F1、ほかの四項目は正解率です。

  1. NSP なし

    • Masked LM(MLM)で訓練した双方向モデルから、次文予測(NSP)を外します。完全な BERT-Base と比べ、QNLI は 88.4→84.9、MNLI-m は 84.4→83.9、SQuAD 1.1 F1 は 88.5→87.9 で、低下幅は同じではありません。
  2. LTR および NSP なし

    • 左から右(LTR)の言語モデルのみで事前学習し、MLM と NSP は使いません。微調整時にも左側の文脈しか見られない制約を残します。表中のすべてのタスクで双方向 MLM モデルより低く、特に MRPC と SQuAD で下がります。
  3. BiLSTM の追加

    • LTR システムの微調整時に、ランダム初期化した BiLSTM を上に追加します。SQuAD F1 は 77.8→84.9 に上がりますが、双方向モデルの 87.9 には及びません。表の四つの GLUE タスクは LTR より改善していません。
  4. ELMo の戦略との比較

    • 著者は、ELMo のように独立した LTR と RTL のモデルを訓練し、出力を連結する案にも触れています。この方法には二つの単方向モデルが必要ですが、図の表 5 で実測した構成ではありません。

結論

BERT の知名度はその高性能に起因しています。

その当時、BERT のような成績を収めるモデルは珍しく、BERT の登場は大きな注目を集めました。大げさに言えば、学術界で LSTM の立つ場所がなくなったかのように、Transformer が主役になっていきました。

BERT の成功は、「事前学習-微調整モデル」が多様な自然言語理解タスクにおいて潜在的な能力を持っていることを証明し、その後のより大規模で高性能なモデルの基盤を築きました。