論文ノートライブラリに戻る
arXiv 2022NeurIPS 2022言語モデルと Transformer論文ノート

Chinchilla

チンチラの瞳

原論文

Training Compute-Optimal Large Language Models

論文の著者

Jordan Hoffmann · Sebastian Borgeaud · Arthur Mensch …

著者全 22 名を表示

Jordan Hoffmann · Sebastian Borgeaud · Arthur Mensch · Elena Buchatskaya · Trevor Cai · Eliza Rutherford · Diego de Las Casas · Lisa Anne Hendricks · Johannes Welbl · Aidan Clark · Tom Hennigan · Eric Noland · Katie Millican · George van den Driessche · Bogdan Damoc · Aurelia Guy · Simon Osindero · Karen Simonyan · Erich Elsen · Jack W. Rae · Oriol Vinyals · Laurent Sifre

発表先
NeurIPS 2022国際会議
arXiv への初回投稿
arXiv:2203.15556
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{transformerschinchilla2022,
  title = {{Training Compute-Optimal Large Language Models}},
  author = {Jordan Hoffmann and Sebastian Borgeaud and Arthur Mensch and Elena Buchatskaya and Trevor Cai and Eliza Rutherford and Diego de Las Casas and Lisa Anne Hendricks and Johannes Welbl and Aidan Clark and Tom Hennigan and Eric Noland and Katie Millican and George van den Driessche and Bogdan Damoc and Aurelia Guy and Simon Osindero and Karen Simonyan and Erich Elsen and Jack W. Rae and Oriol Vinyals and Laurent Sifre},
  year = {2022},
  eprint = {2203.15556},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2203.15556}
}
このページの内容

著者たちのユニークなモデル名には、もうツッコミのネタが尽きました。

この論文は、進化版の Scaling Laws であり、著者は過去のいくつかの見解を覆し、新たな訓練戦略を提案しています。

問題の定義

論文が発表された 2022 年、言語モデルのパラメータ数は急速に増えていました。密な Transformer も MoE もその流れにありますが、総パラメータ数と各計算で使うパラメータ数は区別する必要があります。

このような拡張は、訓練コストや推論コストの急増、またこれらのモデルに与えるために必要となる、より大きく、より高品質なデータセットの必要性といった一連の問題を引き起こします。いくらモデルが大きくても、満足のいく結果を得ることができません。

この論文の著者が解決しようとしている問題は次の通りです:

  • 与えられた計算(FLOPs)予算の下で、「モデルサイズ」と「データ量」の最適な組み合わせを選択し、言語モデルの最終的な事前訓練損失を最小化する方法。

Kaplan らの Scaling Laws も、計算量が一定の場合の配分を調べています。Chinchilla が問題にしたのは、固定した訓練期間と学習率スケジュールから途中の損失を推定する方法です。短い訓練に合わせて減衰期間を短くしなければ、その損失を過大評価する可能性があります。

  • Scaling Laws の分析は、「モデルを大きくすればよいが、データ量はあまり増やさなくてもよい」という提案に偏りがちです。

訓練期間ごとに学習率スケジュールを合わせた結果、モデルサイズと訓練トークン数をほぼ同じ割合で増やすべきだという結論になりました。

より正式な記述として、著者は最適解を次のように定義しています:

Nopt(C),Dopt(C)  =  arg⁡min⁡N,D    s.t.    FLOPs(N,D)=C L(N,D),N_{\text{opt}}(C), D_{\text{opt}}(C) \;=\; \arg\min_{N,D \;\;s.t.\;\; \text{FLOPs}(N,D)=C}\, L(N,D),

ここで:

  • NN はモデルのパラメータ数、
  • DD は訓練トークンの数(訓練データの量を示す)、
  • CC は固定された計算予算(つまり、与えられた計算リソースと時間内で、訓練に使える総 FLOPs の量)、
  • L(N,D)L(N, D) は、パラメータ数がNN、訓練トークン数がDDでの事前訓練損失です。

この論文の目的は、固定された計算予算CCのもとで、「モデルのサイズ(N)」と「訓練トークンの数(D)」を同時に最適化することです。

解決問題

以下の文章の読解を容易にするため、次の専門用語に対応する用語を覚えておいてください:

  • CC:固定された計算リソース(FLOPs)予算
  • NN:モデルサイズ(パラメータ数)
  • DD:訓練データ量(訓練トークン数)

著者はこの論文の中で、CCに対する「最適なNNとDDのスケーリング関係」を推定するための 3 つの異なる方法を提案しています。

方法 1:固定されたモデルサイズ(NN)

この方法では、まず「モデルサイズのセット」を固定し、各モデルサイズについて異なる訓練データ量を試すというアプローチを取ります。

モデルサイズは約 70M パラメータから 10B パラメータを超えるまでで、各サイズについて 4 回の独立した訓練を行い、各訓練で使用するデータ量の差は最大で 16 倍にもなります。訓練中、学習率はスケジュールに従って減衰し、各設定でスムージングと補間を行い、連続的な損失曲線を得ます。

この実験設計により、「特定の FLOPs 予算CCのもとで、どの(N,D)(N, D)の組み合わせが最も低い損失L(N,D)L(N,D)を達成できるか?」という問題に直感的に答えることができます。

数学的に言えば、著者は次の最適化問題を解こうとしています:

Nopt(C),Dopt(C)=arg⁡min⁡N,D  s.t.  FLOPs(N,D)=CL(N,D).N_{\text{opt}}(C), D_{\text{opt}}(C) = \arg\min_{N, D \; s.t. \; \text{FLOPs}(N,D)=C} L(N,D).

この過程で、著者は対数スケール(log scale)で分布する 1500 個の異なるCC値(すなわち異なる FLOPs 予算)を選択し、対応するNopt(C)N_{\text{opt}}(C)とDopt(C)D_{\text{opt}}(C)を観察しました。

フィッティングを通じて、最適なパラメータ設定はおおよそ次のように一致することがわかりました:

a=0.50,b=0.50a = 0.50, \quad b = 0.50

つまり、使用可能な計算リソースCCが増加するにつれて、最適な戦略はモデルパラメータ数NNと訓練トークン数DDをほぼC0.5C^{0.5}の比率で同時に増加させることです。この結果は、過去の文献での提案と大きく異なり、従来はモデルサイズが訓練データ量よりも速く増加すべきだと考えられていました。

実験結果は以下の図に示されています:

図の左側では、各曲線が異なるモデルサイズNNと訓練データ量DDに対応しています。横軸は訓練に使用された FLOPs の量、縦軸は訓練中のモデルの損失LLです。

著者らは実測と補間から得た訓練曲線を描き、その下側の包絡線を取ります。ここでの Lmin⁡(C)L_{\min}(C) は、この曲線群の中で予算 CC に対して観察・推定される最小損失です。

包絡線を通じて、固定された計算予算の下で、最適な(N,D)(N, D)の組み合わせがないか、より良い結果を得るためにモデルサイズと訓練トークン数の比率を調整するべきかを判断できます。

次に、図の中央では、異なる FLOPsCCの下で包絡線から推定される「最適なモデルパラメータ数Nopt(C)N_{\text{opt}}(C)」を示しています。簡単に言うと、特定の FLOPs の下で最適なモデルサイズはどれかを示しています。

右側の図では、FLOPs が変化する中で「最適な訓練トークン数Dopt(C)D_{\text{opt}}(C)」を示しています。これらの点を抽出した後、著者は冪律(パワーロウ)関係を使ってフィッティングし、Nopt(C)∝CaN_{\text{opt}}(C) \propto C^aおよびDopt(C)∝CbD_{\text{opt}}(C) \propto C^bのようなスケーリング関係を見つけました。

図中の緑の点線は、Gopher モデルで使用された FLOPs(約5.76×10235.76 \times 10^{23})との比較を示しています。

Gopher と同じ予算に冪律を外挿すると、最適な NoptN_{\text{opt}} と DoptD_{\text{opt}} は元の Gopher の構成と大きく異なります。これは曲線からの予測であり、その予算で全候補を実際に訓練して比べた結果ではありません。

方法 2:計算予算(CC)を固定する

この方法では、まず 9 組の FLOPs 予算を固定します。各予算 CC のもとでモデルサイズ NN を変え、それに合わせて訓練トークン数 DD を調整し、訓練に使う FLOPs を同じにします。

簡単に言うと、「FLOPs 消費を一定に保ち」、この「等 FLOPs 線」に沿って、異なるモデルサイズが最終的にどのような損失LLを得るかを確認します。

理論的に、この図は通常「U 字型曲線」(またはやや放物線の谷間)を描くことになります。これは、最適なモデルサイズNopt(C)N_{\text{opt}}(C)が、固定された計算リソースの下で最小の損失を達成することを示しています。著者はこの曲線を放物線関数でフィッティングし、最小値の位置を求めました。

このフィッティングを通じて、著者は次のような冪律に基づくデータ点を得ました:

Nopt∝CaとDopt∝Cb.N_{\text{opt}} \propto C^a \quad \text{と} \quad D_{\text{opt}} \propto C^b.

実験結果は以下の図に示されています:

計算したところ、a≈0.49a \approx 0.49、b≈0.51b \approx 0.51となりました。

同様に、これも計算予算CCが増加するとき、最適な戦略はモデルサイズNNと訓練トークン数DDをほぼC\sqrt{C}の割合で一緒に成長させることです(0.50.5次乗が平方根になるため)。

最後に、この結果を Gopher 訓練に使用された FLOPs 予算に適用して予測を行いました(図中の緑色マーカー)。

結論は前の方法と似ており、現在の大きなモデルはおそらくサイズが大きすぎて、訓練トークン数は相対的に少なすぎるということです。この結果に基づけば、同じ計算リソースの下でモデルを小さくし、訓練トークン数を増やすことで、理論的にはより良い最終的な損失を達成できると考えられます。

方法 3:整合的パラメータ化モデル

「方法 1」と「方法 2」で得られた多くの実験データ(N,D,L)(N, D, L)があるので、適切な数学モデルを用いて、最終損失データを同時にフィッティングし、そこから導き出される最適なスケーリングルールを求めてみましょう。

仮定するパラメータ化された関数形式は以下のようになります:

L^(N,D)=E+ANα+BDβ.\hat{L}(N,D) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta}.

このモデルにおいて:

  • EE はフィットするモデルの不可約な損失項です。データ分布のエントロピーで説明されますが、推定値を自然言語のエントロピーの厳密な測定値と見なすことはできません。
  • ANα\frac{A}{N^\alpha} は、モデルを極限まで訓練しても、有限のモデルサイズでは依然として存在するバイアス(偏り)を表します。NN が増加するにつれて、モデルは理想的な生成プロセスにより近づきますが、完全にはその差を埋めることはありません。
  • BDβ\frac{B}{D^\beta} は、訓練トークン数が不十分で、訓練ステップ数が足りないために生じる「未訓練」エラーを表します。DD が増加すると、このエラーは減少します。

著者は次に、L-BFGS オプティマイザーを使用して Huber 損失を最小化し、L^(N,D)\hat{L}(N,D)が実際に観察された実験損失LLと対数スケール(log⁡L\log L)でできるだけ一致するようにしました。

ここでの目的関数は次のように定義されます:

min⁡A,B,E,α,β∑iHuberδ(log⁡L^(Ni,Di)−log⁡Li),\min_{A,B,E,\alpha,\beta} \sum_{i} \text{Huber}_\delta\bigl(\log \hat{L}(N_i,D_i) - \log L_i\bigr),

このパラメータ化されたモデルを得た後、著者は固定された FLOPs 予算CCの下で最適化問題を解き、Nopt(C)N_{\text{opt}}(C)とDopt(C)D_{\text{opt}}(C)を求めます。

ここで扱う密な Transformer の訓練計算量を FLOPs(N,D)≈6ND\text{FLOPs}(N,D) \approx 6ND と近似し、この制約を代入すると、次の関係が得られます:

Nopt(C)∝Ca,Dopt(C)∝Cb,N_{\text{opt}}(C) \propto C^a, \quad D_{\text{opt}}(C) \propto C^b,

ここで、

a=βα+β,b=αα+β.a = \frac{\beta}{\alpha+\beta}, \quad b = \frac{\alpha}{\alpha+\beta}.

推定値は約 a=0.46a = 0.46、b=0.54b = 0.54 です。ほぼ同じ比率で増やすという傾向です。

最後に、著者はこのパラメータ化されたモデルを使用して、さまざまな等損失曲線(isoLoss contours)や等 FLOPs スライス(isoFLOP slices)を描き、青色の「効率的フロンティア」(efficient frontier)を使って、同じ計算リソースの下で最低損失を達成する(N,D)(N,D)の組み合わせを示しました。以下の図の通りです:

Gopher で使用されている計算リソース予算に適用したところ、最適なモデルサイズは約 40B パラメータであると予測され、元々の Gopher の 280B よりもかなり小さくなり、その分、より多くの訓練トークンが必要であることがわかりました。

討論

前三つの方法の実装詳細と分析方法は異なりますが、それらが示す提案は非常に似通っています:

  • 計算リソース(FLOPs)が増加する際、最適な方法はモデルパラメータ数NNと訓練データ量(トークン数)DDをほぼ「等比例」に拡張することです。

つまり、もし計算リソースCCが増加すれば、最適な戦略はNopt(C)∝CaN_{\text{opt}}(C) \propto C^aおよびDopt(C)∝CbD_{\text{opt}}(C) \propto C^bであり、aaとbbはどちらも約 0.5 です。

これに対して、Scaling Laws の結論(上表参照)では、NNはより速く成長すべき(a≈0.73a \approx 0.73)とし、DDはより遅く成長するべき(b≈0.27b \approx 0.27)としています。著者の分析結果は、これまでの考え方が訓練トークン数の増加の効果を過小評価していた、すなわち「データ量」の重要性が無視されていたことを示唆しています。

その後、著者は次の表に、理想的な状態で「計算リソース最適化フロンティア」に位置するさまざまなモデルサイズに対して必要な FLOPs と対応する訓練トークン数を示しました:

ここでの「計算量最適」は、一定の訓練予算で損失を最小にする構成を意味します。追加訓練による改善や、運用期間全体の推論費用は別途評価します。

Table 3 の方法 1 の外挿では、GPT-3 と同じ 175B パラメータのモデルを計算量最適に訓練するには、約 3.85×10243.85\times10^{24} FLOPs と 3.7 兆トークンが必要です。これは GPT-3 が実際に使ったトークン数を大きく上回ります。

Gopher の訓練予算、約 5.76×10235.76\times10^{23} FLOPs では、方法 1 は約 67B パラメータと 1.5 兆トークンを予測します。実際の Gopher は 280B パラメータ、300B トークンなので、モデルは約 4 分の 1、トークンは約 5 倍です。方法 3 の約 40B という別の推定値とは区別してください。

Chinchilla のパフォーマンス

著者らは実際に 70B パラメータ、1.4 兆トークンの Chinchilla を訓練し、Gopher や MMLU などのベンチマークと比較しました。上の図は The Pile の各サブセットの言語モデリング評価です。

図にある全サブセットで、Chinchilla の bits-per-byte(bpb)は Gopher より低く、1 バイト当たりの予測損失が小さい結果です。Jurassic-1 との比較はこの図ではなく付録 Table A5 で、Chinchilla が下回るのは dm_mathematics と ubuntu_irc の 2 サブセットです。著者らも、Chinchilla は Gopher より多くのデータで訓練されたため、訓練・テスト間の重複が言語モデル評価を押し上げる可能性に注意を促しています。

結論

スケーリング則の推定には 400 回以上の比較的小規模な訓練を使っています。ただし大規模側での直接検証は Chinchilla と Gopher の比較に限られ、追加の中間規模での検証はありません。

冪則の外挿にも限界があります。高計算量側の曲率は、最適なモデルサイズをまだ過大評価している可能性を示します。スケーリング分析の訓練は 1 エポック未満なので、大量にデータを反復する場合へ直接は一般化できません。一方、最終の Chinchilla は重み付きでサンプリングし、MassiveWeb と Wikipedia は実効的に 1 エポックを超えています。研究全体でデータを必ず一度しか見ない、という説明は不正確です。

それでも、Chinchilla は Gopher に対する結果として、理論を良く証明しています:同じ訓練コストの下で、より小さくても訓練データをより多く使用したモデルが、単に大規模なモデルを積み上げるだけのモデルよりも優れることが示されました。研究者はモデルのサイズだけでなく、データセットの拡張と品質にもっと重点を置くべきであることを示唆しています。

最後に、著者は「モデルサイズ vs. 訓練データ量」の最適化関係は言語モデルに限らず、他の分野のモデル訓練にも適用可能であると予測しています。大型モデルを訓練する際には、最適なモデルサイズと訓練スケジュールを予測することで、多くのリソースの無駄を避けることができると期待されます。