論文ノートライブラリに戻る
arXiv 2020NeurIPS 2020言語モデルと Transformer論文ノート

GPT-3

96 層デコーダ

原論文

Language Models are Few-Shot Learners

論文の著者

Tom B. Brown · Benjamin Mann · Nick Ryder …

著者全 31 名を表示

Tom B. Brown · Benjamin Mann · Nick Ryder · Melanie Subbiah · Jared Kaplan · Prafulla Dhariwal · Arvind Neelakantan · Pranav Shyam · Girish Sastry · Amanda Askell · Sandhini Agarwal · Ariel Herbert-Voss · Gretchen Krueger · Tom Henighan · Rewon Child · Aditya Ramesh · Daniel M. Ziegler · Jeffrey Wu · Clemens Winter · Christopher Hesse · Mark Chen · Eric Sigler · Mateusz Litwin · Scott Gray · Benjamin Chess · Jack Clark · Christopher Berner · Sam McCandlish · Alec Radford · Ilya Sutskever · Dario Amodei

発表先
NeurIPS 2020国際会議
arXiv への初回投稿
arXiv:2005.14165
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{transformersgpt32020,
  title = {{Language Models are Few-Shot Learners}},
  author = {Tom B. Brown and Benjamin Mann and Nick Ryder and Melanie Subbiah and Jared Kaplan and Prafulla Dhariwal and Arvind Neelakantan and Pranav Shyam and Girish Sastry and Amanda Askell and Sandhini Agarwal and Ariel Herbert-Voss and Gretchen Krueger and Tom Henighan and Rewon Child and Aditya Ramesh and Daniel M. Ziegler and Jeffrey Wu and Clemens Winter and Christopher Hesse and Mark Chen and Eric Sigler and Mateusz Litwin and Scott Gray and Benjamin Chess and Jack Clark and Christopher Berner and Sam McCandlish and Alec Radford and Ilya Sutskever and Dario Amodei},
  year = {2020},
  eprint = {2005.14165},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2005.14165}
}
このページの内容

第二世代の GPT は、48 層の Transformer デコーダを重ねました。

OpenAI はこれでもまだ足りないと思ったようで、最大版では 96 層の Transformer デコーダを積み、前例のない 175B パラメータに達しました。これが GPT-3 です。96 層は追加した層数ではなく、モデル全体の層数です。

問題の定義

最近の研究は、大量のテキストで事前学習を行い、その後特定のタスクに微調整を加えることで、多くの NLP タスクとベンチマークテストで大きな成果を上げていることを示しています。理想的な NLP 技術は、人間のように少量の指示や例で迅速に適応し、さまざまな言語タスクを処理できることを目指していますが、現段階の研究にはいくつかの問題があり、理想とはまだ大きな差があります。

多様な言語タスクの要求

現在の言語モデルは、文法修正から抽象的な概念生成に至るまで、広範で多様な言語タスクに適応する必要があります。各新しいタスクには通常、大量の特定データセットが必要で、これがモデルの普遍的な適用性を制限しています。

大規模な教師ありデータセットへの依存

多くの言語タスクにおいて、大規模なデータセットを収集しラベル付けすることは高額で時間がかかります。新しいタスクごとにこのデータ収集のプロセスを繰り返す必要があり、これが開発コストを増加させ、導入までの時間を長引かせます。

モデルの過度な専門化と一般化の問題

現在のモデルは、特定のタスクで微調整を行うことで過度に専門化される可能性があり、その結果、訓練分布外のデータに対する一般化能力が低くなります。訓練中の虚偽の関連性は、モデルを誤った方向に導き、長期的および広範な適用に影響を与えることがあります。

人間の学習効率とモデルの比較

少量の例や直接的な指示で新しいタスクに迅速に適応できる人間の能力に比べ、現在のモデルは大量のラベル付きデータに依存しており、その効率は低くなっています。

解決問題

GPT-3 では、基本的な事前学習方法は GPT-2 で説明されたプロセスと似ており、モデルサイズ、データセットサイズ、多様性、訓練時間を単純に拡大したものです。コンテキスト学習の使用も GPT-2 と同様ですが、この作業では著者たちがコンテキスト学習のさまざまな設定を体系的に探求しました。主な違いは次の通りです:

  1. ファインチューニング

    • これは最も一般的な方法で、所望のタスクに特化した教師ありデータセットで事前学習済みモデルの重みを更新するものです。通常、数千から数十万のラベル付きサンプルを使用します。ファインチューニングの主な利点は、多くのベンチマークテストで優れたパフォーマンスを示すことです。
    • 主な欠点は、各タスクに新しい大規模なデータセットが必要で、分布外での一般化能力が低く、訓練データに基づいた虚偽の特徴が利用される可能性があることです。これにより、人間のパフォーマンスとの不公平な比較が生じることがあります。
    • この作業では、GPT-3 にファインチューニングは行っていません。彼らの焦点はタスクに依存しないパフォーマンスにありましたが、GPT-3 は原則としてファインチューニングが可能であり、これは今後の研究の有望な方向性です。
  1. Few-shot

    • Few-shot は、推論時にモデルにいくつかのタスクの例を条件として与えますが、重みの更新は行いません。
  • 主な利点は、特定のタスクデータの必要性を大幅に減少させ、狭いデータセットから学ぶリスクを減らすことです。
  • 主な欠点は、当時の多くのタスクでは最先端のファインチューニング済みモデルにまだ及ばなかったことです。少量とはいえタスク用の例も必要になります。
  1. One-shot

    • One-shot は Few-shot と似ていますが、モデルに 1 回の例示しか許可しません。加えて、タスクの自然言語による記述が必要です。この方法は、いくつかのタスクで人間とモデルがコミュニケーションを取る最も近い方法を提供します。たとえば、人間がタスクを生成するために(例えば、Mechanical Turk で)資料を作成する場合、通常はタスクの例を与えます。これに対して、例を与えないと、タスクの内容や形式を伝えることが難しい場合があります。
  2. Zero-shot

    • One-shot と同じく自然言語でタスクを説明しますが、例示は与えません。準備の手軽さや頑健性に期待できる一方、最も難しい設定でもあります。例がないと、人間でさえ求められる形式を理解しにくいことがあります。

モデルアーキテクチャ

本論文では、著者は GPT-2 と同じモデルとアーキテクチャを使用しており、これには修正された初期化、Pre-LN、可逆的トークナイゼーションが含まれます。

異なるのは、Transformer の層ごとに密な注意と局所的な帯状の疎な注意を交互に使う点です。この技術の背景は、別の記事も参照してください:

モデルサイズがパフォーマンスに与える影響を研究するために、著者は 8 つの異なるサイズのモデルを訓練しました。パラメータ数は 1.25 億から 1750 億までの 3 つのオーダーにわたります。最後のモデルが彼らが GPT-3 と呼んでいるものです。

上表からわかるように、すべてのモデルは 2048 のトークンのコンテキストウィンドウを使用しています。著者たちは、深さと幅の次元に沿って GPU 間でモデルを分割し、ノード間のデータ転送を最小限に抑えるようにしました。各モデルの正確なアーキテクチャのパラメータは、計算効率と GPU 間のモデルレイアウトの負荷分散に基づいて選択されました。

データセット設定

著者は選別した Common Crawl を主要なデータ源とし、WebText2、Books1、Books2、Wikipedia などの語料も混ぜて事前学習しました。

さらに、著者はフィルタリングされていない、または軽度にフィルタリングされた Common Crawl データの品質が、精緻に準備されたデータセットには劣ることを発見しました。

データセットの平均品質を向上させるために、著者は以下の 3 つの手順を取りました:

  1. データフィルタリングと品質管理:Common Crawl のデータをフィルタリングし、高品質のリファレンスコーパスとの類似性が高いデータを選択しました。
  2. 重複排除:ファイルレベルでの曖昧な重複データを削除し、データセット内およびデータセット間で行い、冗長性を防ぎ、検証セットの完全性を保ちました。
  3. データ多様性の強化:訓練データセットに既知の高品質のリファレンスコーパスを追加し、Common Crawl データの多様性を高めました。

この方法により、著者は 2016 年から 2019 年までの 41 個の Common Crawl 月次データを集めました。フィルタリング前は 45TB の圧縮テキスト、フィルタリング後は 570GB で、およそ 4000 億のバイト対符号化(BPE)トークンに相当します。

訓練中はデータ量だけで抽出比率を決めず、品質の高い語料を相対的に多く使いました。Common Crawl と Books2 は 1 epoch 未満、ほかの語料は約 2〜3 epoch に相当します。少量の過学習と引き換えに、品質の高いデータを増やす考え方です。

討論

著者は GPT-3 が言語モデリングと関連するタスクでどのように機能するかをテストしました。これには、単語の予測や文や段落の補完が含まれます。

LAMBADA

LAMBADA データセットでは、モデルが文の最後の単語を予測するタスクが要求され、全体の文脈を読解する必要があります。このベンチマークテストは、モデルの遠距離依存関係を捉える能力を特に試すものです。

  • 最近の研究では、LAMBADA でモデル規模を拡大しても利益が小さくなっていると指摘されていました。従来の先進的な二つの結果では、モデルの大きさを 2 倍にしても正確度は 1.5 ポイントほどしか上がらず、さらにハードウェアやデータを拡大する道に疑問が投げかけられていました。
  • しかし OpenAI の結果を見ると、「まだ規模が足りなかったのか」と感じます。GPT-3 の zero-shot 正確度は 76.2% で、従来の最高値より 8.2 ポイント高くなりました(図の青線)。
  • Few-shot では 86.4% となり、従来の最高値を 18.4 ポイント上回りました(図のオレンジ線)。

とくに図の最小モデルでは Few-shot が Zero-shot を 20 ポイント近く下回りますが、2.7B モデルでは Few-shot の成績がはっきり上がります。これは LAMBADA とこの提示形式での結果です。この課題では One-shot も Zero-shot を下回ります。

Closed Book Question Answering

このタスクは、GPT-3 が広範な事実に基づく質問に対してどれだけ答えられるかを測るものです。これらの質問は通常、情報検索システムを使用して関連するテキストを検索し、回答を生成します。このタスクは「オープンブック」設定と呼ばれ、システムが検索して関連するテキストを利用して回答を行います。もう一つの設定は「クローズドブック」(closed-book)で、システムは外部の情報に依存せず、直接的に回答します。

この研究は Natural Questions、WebQuestions、TriviaQA の三つで closed-book の性能を調べました。上の図は TriviaQA です。Zero-shot が 64.3%、One-shot が 68.0%、Few-shot が 71.2% で、三つのデータセットの平均ではありません。Zero-shot は微調整済み T5-11B を 14.2 ポイント、QA に合わせた span 予測を使う T5-11B+SSM を 3.8 ポイント上回ります。One-shot は検索を使う RAG の基準値 68.0% に並び、Few-shot はさらに 3.2 ポイント高い値です。

三つの QA データセットでは、著者はモデルを大きくすると成績が比較的滑らかに変わることを見いだしました。モデルの容量が大きいほど、パラメータにより多くの「知識」が取り込まれるのかもしれない、という考えにつながります。

結論

この論文は 75 ページもあり、ここで紹介したもの以外にも図表がたくさんあります。読んでいて強く感じるのは、大きな言語モデルは Few-shot の例を与えることで能力を引き出せる、ということです。どのような例や指示を入力すればよいかを探す「プロンプトエンジニアリング」へ、この問いがつながっていきます。

GPT-3 はテキスト生成や自然言語処理タスクにおいて前世代のモデルに比べて顕著な進歩を遂げましたが、依然として語義の重複、連続性の喪失、論理的誤りなどの問題があります。常識的な物理問題やコンテキスト学習行動に関しては、GPT-3 には特定の弱点が見られ、これはモデルが特定の言語タスクにおいて制限を持っていることを反映しています。

さらに、偏見と公平性に関する問題もあります。GPT-3 や類似の大規模言語モデルは、訓練過程で大量のインターネットデータを使用しており、そのためモデルは訓練データに含まれる偏見を吸収し反映することになります。主な問題点は以下の通りです:

1. 性別偏見

GPT-3 は性別に関連する内容を処理する際に明らかな偏見を示します。

例えば、職業に関する生成テキストでは、男性がテクノロジーや工学といった職業に関連付けられ、女性が看護や教育といった職業に関連付けられる傾向があります。

このような偏見は、社会における性別役割の固定観念を強化する可能性があります。

2. 人種偏見

人種に関しても、言語モデルは特定の人種に関連する特徴を含むテキストを生成することがあり、これが特定の人種に対するネガティブな描写を引き起こす可能性があります。

例えば、モデルが特定の人種について議論するように導かれると、その生成テキストは不均衡に負の特性やステレオタイプを反映することがあります。

3. 宗教偏見

GPT-3 は宗教に関連するクエリを処理する際にも偏見を示すことがあります。例えば、異なる宗教の信者の特徴を描写する際に、過度に一般化されたり偏った記述が使用されることがあります。


これらの課題と解決策は、大規模言語モデルの開発において技術の進歩と倫理的責任のバランスを取る重要性を浮き彫りにし、AI システムが引き起こす可能性のある不公正を減らすための継続的な研究と改善の必要性を強調しています。

GPT-3 および類似の言語モデルは、テキスト生成と自然言語処理能力の向上において顕著な潜力を持っていますが、多くの課題にも直面しています。今後の研究は、技術的進歩と倫理、公平性、効率のバランスを取ることが求められ、これらの先進技術が人類に役立つと同時に、より公平で持続可能な技術の発展を促進できることを目指さなければなりません。