論文ノートライブラリに戻る
OpenAI 2019言語モデルと Transformer論文ノート

GPT-2

48 層デコーダ

原論文

Language models are unsupervised multitask learners

論文の著者

Alec Radford · Jeffrey Wu · Rewon Child · David Luan · Dario Amodei · Ilya Sutskever

発表先
OpenAI 2019技術報告
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@techreport{transformersgpt22019,
  title = {{Language models are unsupervised multitask learners}},
  author = {Alec Radford and Jeffrey Wu and Rewon Child and David Luan and Dario Amodei and Ilya Sutskever},
  year = {2019},
  institution = {OpenAI},
  url = {https://openai.com/index/better-language-models/}
}
このページの内容

初代 GPT は 12 層の Transformer デコーダを積み重ねていました。

OpenAI はこれでは不十分だと考え、最大モデルでは 48 層の Transformer デコーダを積み重ねました。これが GPT-2 です。

問題の定義

著者は、既存の機械学習システムが優れているように見えるが、実際には多くの問題を抱えていると考えています。

この記事では、いくつかの方向性について簡潔に説明しています:

脆弱性

  • 機械学習システムは、データ分布やタスク仕様のわずかな変化に対して脆弱な性質を示します。
  • これらのシステムは、異なる入力に対する多様性と変化に対して安定性を欠いており、不安定な動作を引き起こします。

狭隘な専門家の限界

  • 現在の機械学習システムは、汎用システムではなく、むしろ狭隘な専門家のようなものであり、適用範囲が制限されています。
  • これらのシステムは、各特定タスクのために手動でトレーニングデータセットを構築・ラベル付けすることに依存しており、手間がかかり、汎用性に欠けています。

一般化能力の不足

  • 単一のドメインデータセットでの単一タスクトレーニングが一般的であり、これがシステムの一般化能力を欠如させています。
  • 強靭なシステムを実現するためには、より広範なドメインやマルチタスクでのトレーニングとパフォーマンス測定が必要になる可能性があります。

解決問題

この論文では GPT-1 のデコーダ専用アーキテクチャを引き継ぎ、モデル規模を拡大するとともに、正規化、初期化、トークン化の方法を変更しました。

モデル設計

まず、LayerNorm を各サブブロックの入力に移動しました。これは、事前活性化型の残差ネットワークに似ています。さらに、著者は最後の自己注意ブロック(self-attention block)の後に追加の層正規化を加えました。

著者は、モデルの深さが増加した際の残差パスでの累積を考慮して、修正された初期化方法を使用しました。初期化時に残差層の重みを 1/√N の係数でスケーリングします。ここで、N は残差層の数です。

モデルの能力を強化するために、著者は語彙を 50,257 に拡張しました。コンテキストのサイズも 512 から 1024 トークンに増加し、より大きなバッチサイズとして 512 を使用しました。

マルチタスク学習

汎用システムは、多くの異なるタスクを実行できるべきです。これは、システムが単一のタスクの条件付き分布 P(出力|入力)だけでなく、P(出力|入力, タスク)をモデル化する必要があることを意味します。

ここで、著者が提案する実装方法は、入力と出力をすべてシンボル列として指定し、言語モデリングを使用してモデルをトレーニングすることです。例えば、翻訳トレーニング例は(フランス語に翻訳する、英語のテキスト、フランス語のテキスト)として表現され、読解トレーニング例は(質問に答える、文書、質問、答え)として表現されます。

要するに、異なるタスクを区別するために文字で説明を行うことです。これらの形式は論文中で考え方を説明するための例であり、GPT-2 の実際の学習は WebText 上での次トークン予測です。

多様なデータ

以前のほとんどの言語モデルのトレーニングは、単一のテキストドメインに集中していました。例えば、ニュース記事、Wikipedia、または小説書籍などです。著者の提案する方法は、できるだけ大きく多様なデータセットを構築し、より多くの分野と文脈における自然言語の例をカバーすることを奨励します。

そのため、著者はウェブスクレイピングを選び、Common Crawl の利用も検討しました。

しかし、予備的な実験で Common Crawl には深刻なデータ品質の問題があることがわかりました...

  • 解決策

    • 新しいウェブスクレイピング:データ品質を向上させるため、著者は Reddit で少なくとも 3 karma を得たアウトバウンドリンクを収集しました。これは、そのリンクに価値がありそうだという選別の手掛かりです。
    • データセット WebText:生成された WebText データセットは、これらの 4500 万のリンクから抽出したテキストで構成されます。論文で使われた初期バージョンには 2017 年 12 月以降に作成されたリンクが含まれず、重複除去とヒューリスティックなクリーニングを経て、800 万件を少し超える文書、合計 40GB のテキストが残りました。
    • Wikipedia の文書除外:一般的な評価データとの重複を減らし分析しやすくするため、WebText から Wikipedia 文書を除外しました。

BPE エンコーディングの最適化

バイト単位の BPE の利点は、その柔軟性と汎用性にあります。なぜなら、任意の文字をバイト列に分解できるからです。しかし、BPE をバイト列に直接適用すると、BPE が貪欲な頻度アルゴリズムを使用して語彙を構築するため、最適でない統合結果を招く可能性があります。

この問題を解決するために、著者は改善された方法を提案しました。バイト列内で異なる文字カテゴリーをまたぐ結合を防ぎ、空白だけは例外として扱います。この例外で圧縮効率を大きく改善しつつ、複数のトークンにまたがる単語の分断は最小限に抑えます。

討論

モデルのサイズ

本論文では 4 つのモデルパラメータ設計が提案され、トレーニングとベンチマークテストが行われました。

図の 4 列はそれぞれ 117M/12 層、345M/24 層、762M/36 層、1542M/48 層です。以下で GPT-2 と呼ぶのは、最大の 1542M モデルです。

Zero-shot

著者はまず、モデルのゼロショット性能を評価しました。対象データセットで追加学習やファインチューニングをせず、タスクに応じてテキストで指示するか、言語モデルのスコアを計算します。

彼らは、GPT-2 がドメインやデータセットをまたぐ転移でも高い性能を示すことを発見しました。表の 8 つのデータセットのうち 7 つで当時の最高値を更新し、例外は One Billion Word Benchmark です。Penn Treebank や WikiText-2 は元の学習用データが約 100 万から 200 万トークンしかない小規模なデータセットですが、GPT-2 はその学習用データを使わずに評価されています。

長期的な依存性を測定するデータセット(LAMBADA や子供の本テストなど)でも大きな進展がありました。

指標意味解釈方法
PPL困惑度:モデルがテスト文に与える平均負対数確率から計算する。同じデータと前処理の条件では、低いほどよい。
ACC正確度:モデルの予測が正しかった割合。高いほど正しく予測できている。
BPBビットパー・バイト:モデルの負対数確率を 1 バイト当たりの bit 数で表す。同じデータ条件では低いほどよい。バイト自体の固定長ではない。
BPCビットパー・キャラクター:同じモデルのスコアを 1 文字当たりで表す。同じデータ条件では低いほどよい。

各種実験

著者は、言語モデリング、機械翻訳、質問応答、テキスト要約、テキスト生成など、さまざまなタスクにおいて実験を行いました。

以下は、GPT-2 が各タスクでどのようにパフォーマンスを発揮したかを簡単にまとめた表です:

テスト名目的テスト方法結果
子供の本テスト(CBT)異なるカテゴリーの単語を補う能力を確認。WebText との顕著な重複がない検証セットで、10 候補から空欄の単語を選ぶ。普通名詞の正確度は 93.3%、固有名詞は 89.1%。
LAMBADA長距離依存関係をモデル化する能力をテスト。テキストの最後の単語を予測。困惑度は従来の 99.8 から 8.6 に低下。フィルターなしの正確度は 52.66%、ストップワードのフィルターを加えると 63.24%。
Winograd Schema チャレンジ文章中の指示対象の曖昧さを解く能力を測定。二つの指示対象について言語モデルのスコアを比較。273 例の小さなデータセットで、正確度 70.70%。
読解理解(CoQA)会話履歴に依存した質問へ答える能力をテスト。文書と会話履歴に A: を加えて回答を生成。開発セットで 55 F1。教師あり学習を行った 4 つの基準システムのうち、3 つと同等かそれ以上。
要約記事を要約する能力をテスト。記事の末尾に TL;DR: を加え、top-k(k=2)で生成した最初の 3 文を使う。ROUGE の平均は 21.40。ランダムに 3 文を選ぶ方法の 20.98 をわずかに上回るが、細部を取り違えることもある。
翻訳翻訳能力をテスト。英仏の文対を手掛かりに別言語の文を生成。WMT-14 の英→仏は 5 BLEU、仏→英は 11.5 BLEU。後者は当時の最高の教師なし手法の 33.5 BLEU に及ばない。
質問応答事実質問に正解する頻度をテスト。質問と回答の例をプロンプトに入れ、Natural Questions で完全一致を評価。正答率は 4.1% で、最小モデルの 5.3 倍。最も自信の高い 1% の質問では 63.1%。

結論

本研究は、自然言語処理(NLP)における教師なしタスク学習の可能性を探り、とくに GPT-2 が教師ありの追加学習やモデル変更をせず、多様な NLP タスクを直接実行できるかを評価しました。

GPT-2 は、十分に大きく多様なデータセットでトレーニングされると、多くの分野とデータセットで優れたパフォーマンスを示し、各タスクに対する明示的な教師あり学習なしでも多くのタスクを実行できることを示しています。

これらの発見は、今後の NLP タスクにおける教師なし学習とモデル改良の新たな視点と可能性を提供します。