論文ノートライブラリに戻る
arXiv 2024言語モデルと Transformer論文ノート

Gemma 2

名師のもとに高弟あり

原論文

Gemma 2: Improving Open Language Models at a Practical Size

論文の著者

Gemma Team · Morgane Riviere · Shreya Pathak …

著者全 198 名を表示

Gemma Team · Morgane Riviere · Shreya Pathak · Pier Giuseppe Sessa · Cassidy Hardin · Surya Bhupatiraju · Léonard Hussenot · Thomas Mesnard · Bobak Shahriari · Alexandre Ramé · Johan Ferret · Peter Liu · Pouya Tafti · Abe Friesen · Michelle Casbon · Sabela Ramos · Ravin Kumar · Charline Le Lan · Sammy Jerome · Anton Tsitsulin · Nino Vieillard · Piotr Stanczyk · Sertan Girgin · Nikola Momchev · Matt Hoffman · Shantanu Thakoor · Jean-Bastien Grill · Behnam Neyshabur · Olivier Bachem · Alanna Walton · Aliaksei Severyn · Alicia Parrish · Aliya Ahmad · Allen Hutchison · Alvin Abdagic · Amanda Carl · Amy Shen · Andy Brock · Andy Coenen · Anthony Laforge · Antonia Paterson · Ben Bastian · Bilal Piot · Bo Wu · Brandon Royal · Charlie Chen · Chintu Kumar · Chris Perry · Chris Welty · Christopher A. Choquette-Choo · Danila Sinopalnikov · David Weinberger · Dimple Vijaykumar · Dominika Rogozińska · Dustin Herbison · Elisa Bandy · Emma Wang · Eric Noland · Erica Moreira · Evan Senter · Evgenii Eltyshev · Francesco Visin · Gabriel Rasskin · Gary Wei · Glenn Cameron · Gus Martins · Hadi Hashemi · Hanna Klimczak-Plucińska · Harleen Batra · Harsh Dhand · Ivan Nardini · Jacinda Mein · Jack Zhou · James Svensson · Jeff Stanway · Jetha Chan · Jin Peng Zhou · Joana Carrasqueira · Joana Iljazi · Jocelyn Becker · Joe Fernandez · Joost van Amersfoort · Josh Gordon · Josh Lipschultz · Josh Newlan · Ju-yeong Ji · Kareem Mohamed · Kartikeya Badola · Kat Black · Katie Millican · Keelin McDonell · Kelvin Nguyen · Kiranbir Sodhia · Kish Greene · Lars Lowe Sjoesund · Lauren Usui · Laurent Sifre · Lena Heuermann · Leticia Lago · Lilly McNealus · Livio Baldini Soares · Logan Kilpatrick · Lucas Dixon · Luciano Martins · Machel Reid · Manvinder Singh · Mark Iverson · Martin Görner · Mat Velloso · Mateo Wirth · Matt Davidow · Matt Miller · Matthew Rahtz · Matthew Watson · Meg Risdal · Mehran Kazemi · Michael Moynihan · Ming Zhang · Minsuk Kahng · Minwoo Park · Mofi Rahman · Mohit Khatwani · Natalie Dao · Nenshad Bardoliwalla · Nesh Devanathan · Neta Dumai · Nilay Chauhan · Oscar Wahltinez · Pankil Botarda · Parker Barnes · Paul Barham · Paul Michel · Pengchong Jin · Petko Georgiev · Phil Culliton · Pradeep Kuppala · Ramona Comanescu · Ramona Merhej · Reena Jana · Reza Ardeshir Rokni · Rishabh Agarwal · Ryan Mullins · Samaneh Saadat · Sara Mc Carthy · Sarah Cogan · Sarah Perrin · Sébastien M. R. Arnold · Sebastian Krause · Shengyang Dai · Shruti Garg · Shruti Sheth · Sue Ronstrom · Susan Chan · Timothy Jordan · Ting Yu · Tom Eccles · Tom Hennigan · Tomas Kocisky · Tulsee Doshi · Vihan Jain · Vikas Yadav · Vilobh Meshram · Vishal Dharmadhikari · Warren Barkley · Wei Wei · Wenming Ye · Woohyun Han · Woosuk Kwon · Xiang Xu · Zhe Shen · Zhitao Gong · Zichuan Wei · Victor Cotruta · Phoebe Kirk · Anand Rao · Minh Giang · Ludovic Peran · Tris Warkentin · Eli Collins · Joelle Barral · Zoubin Ghahramani · Raia Hadsell · D. Sculley · Jeanine Banks · Anca Dragan · Slav Petrov · Oriol Vinyals · Jeff Dean · Demis Hassabis · Koray Kavukcuoglu · Clement Farabet · Elena Buchatskaya · Sebastian Borgeaud · Noah Fiedel · Armand Joulin · Kathleen Kenealy · Robert Dadashi · Alek Andreev

発表先
正式な発表先は未確認
arXiv への初回投稿
arXiv:2408.00118
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{transformersgemma22024,
  title = {{Gemma 2: Improving Open Language Models at a Practical Size}},
  author = {Gemma Team and Morgane Riviere and Shreya Pathak and Pier Giuseppe Sessa and Cassidy Hardin and Surya Bhupatiraju and Léonard Hussenot and Thomas Mesnard and Bobak Shahriari and Alexandre Ramé and Johan Ferret and Peter Liu and Pouya Tafti and Abe Friesen and Michelle Casbon and Sabela Ramos and Ravin Kumar and Charline Le Lan and Sammy Jerome and Anton Tsitsulin and Nino Vieillard and Piotr Stanczyk and Sertan Girgin and Nikola Momchev and Matt Hoffman and Shantanu Thakoor and Jean-Bastien Grill and Behnam Neyshabur and Olivier Bachem and Alanna Walton and Aliaksei Severyn and Alicia Parrish and Aliya Ahmad and Allen Hutchison and Alvin Abdagic and Amanda Carl and Amy Shen and Andy Brock and Andy Coenen and Anthony Laforge and Antonia Paterson and Ben Bastian and Bilal Piot and Bo Wu and Brandon Royal and Charlie Chen and Chintu Kumar and Chris Perry and Chris Welty and Christopher A. Choquette-Choo and Danila Sinopalnikov and David Weinberger and Dimple Vijaykumar and Dominika Rogozińska and Dustin Herbison and Elisa Bandy and Emma Wang and Eric Noland and Erica Moreira and Evan Senter and Evgenii Eltyshev and Francesco Visin and Gabriel Rasskin and Gary Wei and Glenn Cameron and Gus Martins and Hadi Hashemi and Hanna Klimczak-Plucińska and Harleen Batra and Harsh Dhand and Ivan Nardini and Jacinda Mein and Jack Zhou and James Svensson and Jeff Stanway and Jetha Chan and Jin Peng Zhou and Joana Carrasqueira and Joana Iljazi and Jocelyn Becker and Joe Fernandez and Joost van Amersfoort and Josh Gordon and Josh Lipschultz and Josh Newlan and Ju-yeong Ji and Kareem Mohamed and Kartikeya Badola and Kat Black and Katie Millican and Keelin McDonell and Kelvin Nguyen and Kiranbir Sodhia and Kish Greene and Lars Lowe Sjoesund and Lauren Usui and Laurent Sifre and Lena Heuermann and Leticia Lago and Lilly McNealus and Livio Baldini Soares and Logan Kilpatrick and Lucas Dixon and Luciano Martins and Machel Reid and Manvinder Singh and Mark Iverson and Martin Görner and Mat Velloso and Mateo Wirth and Matt Davidow and Matt Miller and Matthew Rahtz and Matthew Watson and Meg Risdal and Mehran Kazemi and Michael Moynihan and Ming Zhang and Minsuk Kahng and Minwoo Park and Mofi Rahman and Mohit Khatwani and Natalie Dao and Nenshad Bardoliwalla and Nesh Devanathan and Neta Dumai and Nilay Chauhan and Oscar Wahltinez and Pankil Botarda and Parker Barnes and Paul Barham and Paul Michel and Pengchong Jin and Petko Georgiev and Phil Culliton and Pradeep Kuppala and Ramona Comanescu and Ramona Merhej and Reena Jana and Reza Ardeshir Rokni and Rishabh Agarwal and Ryan Mullins and Samaneh Saadat and Sara Mc Carthy and Sarah Cogan and Sarah Perrin and Sébastien M. R. Arnold and Sebastian Krause and Shengyang Dai and Shruti Garg and Shruti Sheth and Sue Ronstrom and Susan Chan and Timothy Jordan and Ting Yu and Tom Eccles and Tom Hennigan and Tomas Kocisky and Tulsee Doshi and Vihan Jain and Vikas Yadav and Vilobh Meshram and Vishal Dharmadhikari and Warren Barkley and Wei Wei and Wenming Ye and Woohyun Han and Woosuk Kwon and Xiang Xu and Zhe Shen and Zhitao Gong and Zichuan Wei and Victor Cotruta and Phoebe Kirk and Anand Rao and Minh Giang and Ludovic Peran and Tris Warkentin and Eli Collins and Joelle Barral and Zoubin Ghahramani and Raia Hadsell and D. Sculley and Jeanine Banks and Anca Dragan and Slav Petrov and Oriol Vinyals and Jeff Dean and Demis Hassabis and Koray Kavukcuoglu and Clement Farabet and Elena Buchatskaya and Sebastian Borgeaud and Noah Fiedel and Armand Joulin and Kathleen Kenealy and Robert Dadashi and Alek Andreev},
  year = {2024},
  eprint = {2408.00118},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2408.00118}
}
このページの内容

小さいモデルを強くする最もありふれた方法は、データをたくさん与えることだ。

Llama 3 の 8B モデルは 15T token を見ており、スケーリング則が勧める量をはるかに超えている。この手は効くが、効き目はどんどん薄れていく。報告は冒頭で、Chinchilla のスケーリング則に従えば、性能はおおむねデータ量の対数でしか伸びないと指摘する。最新の小さいモデルは大量のデータを追加しても、多くのベンチマークで 1~2 ポイントしか得ていない。

これは、小さいモデルがまだ訓練し足りないことも示している。問題は、データはいつか尽きることと、データを倍にするたびに訓練コストも倍になることだ。

Google DeepMind の Gemma チームは 2024 年 6 月に Gemma 2 を公開し、方向を変えた。小さいモデルにより多くの token を見せるのではなく、一つひとつの token からより多くを学ばせる。方法は知識蒸留で、大きいモデルの予測分布を本来の正解ラベルの代わりに使う。

Gemma 2 には 2B、9B、27B の三サイズがある。2B と 9B は蒸留で訓練し、27B はゼロから訓練した。

問題の定義

通常の言語モデルの訓練では、各位置でモデルに教えるのは、次の token が何かという一つのことだけだ。

例を挙げよう。「今日は__が飲みたい」で、訓練データの次の語が「コーヒー」なら、目標は「コーヒー」だけが 1、他がすべて 0 の one-hot ベクトルになる。しかし「お茶」や「水」も十分ありうるのに、one-hot の目標はそれらにまったく触れない。

すでに訓練済みの大きいモデルがあれば、「コーヒー 0.6、お茶 0.3、水 0.1」と言うかもしれない。この分布全体を目標にすれば、小さいモデルは同じ位置で「お茶でも通じる」ことまで学べる。著者らは蒸留の目的をはっきり書いており、蒸留で「利用可能な token 数を超える訓練をシミュレートする」のだという。

蒸留の損失関数は、教師分布 PTP_T と生徒分布 PSP_S の交差エントロピーだ。

min⁡PS ∑x−PT(x∣xc) log⁡PS(x∣xc)\min_{P_S}\ \sum_{x} -P_T(x\mid x_c)\,\log P_S(x\mid x_c)

xcx_c は文脈で、和は語彙全体にわたる。教師分布を one-hot に置き換えると、この式は通常の次 token 予測に戻る。

このアイデア自体は新しくなく、Gemini 1.5 も蒸留を使っている。この報告が答えようとするのは、蒸留を大規模な事前訓練に使い、小さいモデルに最適量をはるかに超える token を見せたら、どれほど効くのかという問いだ。

問題を解く

アーキテクチャ

Gemma 2 は第一世代と同じくデコーダのみの Transformer で、コンテキスト長は 8,192、RoPE と近似版の GeGLU を使う。新しい設計は四つある。

  1. 局所注意と大域注意の交互配置。一層ごとに切り替え、局所層は 4,096 token のスライディングウィンドウを使い、大域層は 8,192 token 全体を見る。
  2. Logit soft-capping。注意層と最後の出力層では、logit がすべて soft_cap⋅tanh⁡(logits/soft_cap)\text{soft\_cap}\cdot\tanh(\text{logits}/\text{soft\_cap}) を通る。上限は注意層で 50、出力層で 30 とする。
  3. 前後の両方で正規化。各サブレイヤーの入力と出力の両方に RMSNorm を使い、訓練を安定させる。
  4. グループ化クエリ注意(GQA)、グループ数は 2。
本稿で整理した説明図:左の二枚は 12 token の注意マスクで、青は注意できる位置を表す。局所層は説明用のスライディングウィンドウ W=4 で、各 token は自分と直前の 3 token だけを見られ、見えるマスは計 42。大域層は完全な因果マスクで、見えるマスは計 78。右図は soft-capping 関数で、横軸は元の logit、−150 から 150。灰色の破線は上限なしの対角線、青線は上限 50 の tanh 曲線、赤線は上限 30 の曲線で、どちらも 0 付近ではほぼ対角線と重なり、0 から離れるとそれぞれ ±50 と ±30 に近づく。
本稿で整理。スライディングウィンドウのマスクは W=4、12 token で示しており、Gemma 2 の実際のウィンドウは 4,096。soft-capping の曲線には論文設定の上限 50 と 30 を使う。

左の二枚のマスクは、局所層が何を節約するのかを示している。大域層の各 token はそれより前のすべての token を見られ、計算量は長さの二乗で増える。局所層の各 token はウィンドウ内の token しか見ず、量は一定だ。交互に使えば、半分の層で計算を節約しつつ、一層おきに全体を見る能力を保てる。

右図が soft-capping だ。logit が小さいときはほとんど影響を受けず、tanh は 0 付近で直線に近い。logit がとても大きいと上限付近に抑えられ、ある値が大きくなりすぎて softmax がほぼ一か所しか見なくなるのを防ぐ。この設計は訓練の安定性に役立つが、後で見るように、推論側でちょっとした面倒も引き起こした。

三つのモデルの構成は次のとおりだ(報告の Table 1 より)。

2B9B27B
隠れ次元2,3043,5844,608
層数264246
フィードフォワード層の次元18,43228,67273,728
注意ヘッド / KV ヘッド8 / 416 / 832 / 16
語彙256,128256,128256,128

語彙は Gemini の 256K token を引き継いでいる。もともと多数の言語に対応するための設計なので、埋め込み層のパラメータが多い。2B モデルでは約 5.9 億のパラメータが埋め込み層にあり、埋め込み以外のパラメータは約 20 億だ。

事前訓練データとハードウェア

27B は 13T token、9B は 8T、2B は 2T で訓練した。データは英語中心で、ウェブ、コード、科学論文を含む。Gemma 2 はマルチモーダルモデルではなく、多言語能力に向けた特別な訓練もしていない。

2B と 9B のデータ量は、どちらもスケーリング則が勧める量をはるかに超えている。よく使われる「1 パラメータあたり約 20 token」で粗く見積もると、2B の最適量は約 40B token で、実際には 2T を使っており、50 倍になる。9B は約 180B token で、実際には 8T を使っており、こちらも四十数倍だ。

訓練には Google 自社の TPU を使った。2B は 512 個の TPUv5e、9B は 4,096 個の TPUv4、27B は 6,144 個の TPUv5p。報告は、Gemma 2 の事前訓練全体の炭素排出量を CO2 換算で約 1,248 トンと見積もっている。

後訓練:最後の一歩は平均

後訓練は三段階に分かれる。

  1. SFT:合成と実際のプロンプトを使い、回答は主により大きな教師モデルが生成する。加えて、生徒自身の出力分布の上でも蒸留を行う。
  2. RLHF:報酬モデルは方策モデルより一桁大きく、多ターン対話をより重視する。プロンプトの一部に LMSYS-Chat-1M を使うが、プロンプトだけを取り、そこに含まれる回答は使わない。
  3. モデルマージ:異なるハイパーパラメータで全工程を通して得たモデルを平均する。

三段階目が引用しているのは、同じチームの Ramé らによる WARP だ。報告は一文で触れるだけで、マージ前後の比較は示していない。

議論

蒸留はどれほど役に立つのか

報告のアブレーションは多くないが、どれも一つの設計判断に狙いを定めている。最も重要なのは蒸留だ。

2B モデル、500B token で訓練ゼロから訓練7B 教師から蒸留
三ベンチマークの平均60.367.7

500B token はすでに 2B モデルの最適量の 10 倍だが、それでも蒸留は 7.4 ポイント上回る。ここで 7B を教師にしたのは、「27B が 9B を教える」サイズ比をシミュレートするためだ。

蒸留の利点は、モデルが大きくなると消えてしまうのだろうか。著者らは 7B の教師を固定し、200M、400M、1B の三種類の生徒を訓練した。

検証パープレキシティ200M400M1B
ゼロから訓練231917
蒸留211715

三サイズとも安定して 2 低く、差は縮まらなかった。

本番モデルの比較でも同じだ。Gemma 2 の 2B は 2T token、第一世代の 2B は 3T token を使った。データは少ないのに、新しいモデルは各ベンチマークで明らかによい。9B は一部のベンチマークで第一世代の 7B より約 10% 高い。著者らはこれを蒸留の功績とする。

ただし、第一世代と第二世代の間では、蒸留以外にもアーキテクチャ、データ、後訓練が変わっており、この比較だけで功績を蒸留に帰すことはできない。本当にきれいな証拠は上の二つのアブレーション表で、しかもどちらも本番モデルよりずっと小さい設定で行われている。

その他のアーキテクチャのアブレーション

  1. GQA とマルチヘッド注意:9B モデルの四ベンチマーク平均は、マルチヘッド注意が 50.3、GQA が 50.8 で、差は小さい。著者らが GQA を選んだのは、パラメータが少なく推論が速いからだ。
  2. 深さと幅:同じパラメータ数の 9B で、深い版は平均 52.0、広い版は 50.8。差は小さいが一貫しており、そのため Gemma 2 は第一世代より深い。
  3. 推論時にスライディングウィンドウを縮める:9B モデルのウィンドウを 4,096 から 2,048、1,024 に縮めても、パープレキシティは 1.63 から 1.63、1.64 に変わるだけだ。必要なら、ウィンドウを縮めて推論速度を少し稼げる。
  4. 書式に対する安定性:12 通りのプロンプトと評価書式の組合せで、MMLU スコアの標準偏差は Gemma 2 の 9B が 0.9、27B が 1.0 で、Mistral 7B は 6.9 だった。

成績

事前訓練版の 27B を Hugging Face の評価セットで Llama 3 70B と比べると、MMLU 75.2 対 79.2、GSM8K 74.0 対 76.9、HellaSwag 86.4 対 88.0 だった。モデルは 2.5 倍小さく、訓練データの 13T token も Llama 3 の 15T より少ないのに、数ポイント遅れるだけだ。ゼロから訓練したモデルの性能はおおむねサイズの対数でしか伸びず、27B は Llama 3 と同じパレート曲線上にあるのかもしれない、と著者らは率直に述べている。

後訓練版で最も注目されたのは、LMSYS Chatbot Arena での成績だ。27B の Elo は 1218 で、Llama 3 70B の 1206 より高い。9B は 1187 で、GPT-4-0314 の 1186 と同等。2B(厳密には 2.6B)は 1126 で、GPT-3.5-Turbo-0613 の 1116 より高い。

これらの比較はすべて総パラメータ数で計算している。一般的な機器でオープンモデルを使うとき、制約になるのはたいてい活性化パラメータではなくメモリの総使用量だからだ、と著者らはわざわざ説明している。

人手評価と記憶

Arena とは別に、著者らは人手評価を二組行った。単一ターンのプロンプトでは、安全性と指示追従を GPT-4o と比較した。多ターンでは、評価者が 500 の多ターン対話シナリオで、全体の満足度と目標の達成度に 1~5 点を付けた。第一世代の Gemma 1.1 7B と比べ、Gemma 2 の三サイズはどちらの指標でもよく、たとえば 27B ではユーザー満足度が 3.32 から 4.20 に上がった。

報告は、モデルが訓練データをどれだけ逐語的に記憶しているかも測った。訓練データのある一節から先頭 50 token を与え、続く 50 token をそのまま吐き出すかを見る。Gemma 2 の逐語的な記憶率は 0.1% 未満で、同クラスの他のモデルより明らかに低い。編集距離 10% をしきい値とする近似的な記憶率はそれより高いが、それでも第一世代 Gemma の逐語的な記憶率より低い。データの出所別に見ると、コード、Wikipedia、科学論文がより多く記憶されていた。

Soft-capping の実際のコスト

Soft-capping は論文では二行しか占めていないが、コミュニティでは少なからぬ面倒を引き起こした。

Gemma 2 の公開時、主流の FlashAttention 実装はどれも注意スコアへの soft-capping に対応していなかった。Hugging Face はリリースノートで、FlashAttention による高速化をあきらめるか、性能を犠牲にするかのどちらかになると注意を促した。llama.cpp は soft-capping を加える修正で、Gemma 2 を読み込むと FlashAttention をそのままオフにするようにし、変換済みの GGUF ファイルも作り直す必要があった。公開初期には Hugging Face 上でも、27B の出力に誤字や幻覚が出るという報告があり、議論スレッドが指していた修正は、推論側にこの一段を補うことだった。

一見無害な安定化の工夫一つのために、推論のエコシステム全体が追いつくまで数週間かかった。

この報告が語らないこと

報告は事前訓練データの具体的な構成を説明しておらず、2B と 9B の教師がそれぞれどのモデルなのかも書いていない。アブレーションの書きぶりから、著者らが「27B が 9B を教える」を目標の比率にしていたことはうかがえるが、本番の教師が何かは明記されていない。後訓練のデータ、ハイパーパラメータ、モデルマージの詳細も、数文しかない。

結論

Gemma 2 の言いたいことは複雑ではない。小さいモデルはデータを多く見るより、一つひとつの token により多くの情報を持たせたほうがよい。大きいモデルの確率分布を訓練目標にし、2B と 9B を最適量をはるかに超えるデータで蒸留して、同クラス最高の成績を得た。

アーキテクチャの変更、つまり局所と大域の交互配置、soft-capping、前後の正規化は、どれも新発明ではないが、組み合わせると実に実用的だ。

Gemma 2 をデプロイする前に、推論フレームワークが soft-capping を実装しているか確かめておこう。tanh が一つ欠けるだけで、モデルは誤字を書き始める。