Gemma 2: Improving Open Language Models at a Practical Size
- 發表版本
- 正式發表資訊尚未核實
- arXiv 首次提交
- arXiv:2408.00118
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{transformersgemma22024,
title = {{Gemma 2: Improving Open Language Models at a Practical Size}},
author = {Gemma Team and Morgane Riviere and Shreya Pathak and Pier Giuseppe Sessa and Cassidy Hardin and Surya Bhupatiraju and Léonard Hussenot and Thomas Mesnard and Bobak Shahriari and Alexandre Ramé and Johan Ferret and Peter Liu and Pouya Tafti and Abe Friesen and Michelle Casbon and Sabela Ramos and Ravin Kumar and Charline Le Lan and Sammy Jerome and Anton Tsitsulin and Nino Vieillard and Piotr Stanczyk and Sertan Girgin and Nikola Momchev and Matt Hoffman and Shantanu Thakoor and Jean-Bastien Grill and Behnam Neyshabur and Olivier Bachem and Alanna Walton and Aliaksei Severyn and Alicia Parrish and Aliya Ahmad and Allen Hutchison and Alvin Abdagic and Amanda Carl and Amy Shen and Andy Brock and Andy Coenen and Anthony Laforge and Antonia Paterson and Ben Bastian and Bilal Piot and Bo Wu and Brandon Royal and Charlie Chen and Chintu Kumar and Chris Perry and Chris Welty and Christopher A. Choquette-Choo and Danila Sinopalnikov and David Weinberger and Dimple Vijaykumar and Dominika Rogozińska and Dustin Herbison and Elisa Bandy and Emma Wang and Eric Noland and Erica Moreira and Evan Senter and Evgenii Eltyshev and Francesco Visin and Gabriel Rasskin and Gary Wei and Glenn Cameron and Gus Martins and Hadi Hashemi and Hanna Klimczak-Plucińska and Harleen Batra and Harsh Dhand and Ivan Nardini and Jacinda Mein and Jack Zhou and James Svensson and Jeff Stanway and Jetha Chan and Jin Peng Zhou and Joana Carrasqueira and Joana Iljazi and Jocelyn Becker and Joe Fernandez and Joost van Amersfoort and Josh Gordon and Josh Lipschultz and Josh Newlan and Ju-yeong Ji and Kareem Mohamed and Kartikeya Badola and Kat Black and Katie Millican and Keelin McDonell and Kelvin Nguyen and Kiranbir Sodhia and Kish Greene and Lars Lowe Sjoesund and Lauren Usui and Laurent Sifre and Lena Heuermann and Leticia Lago and Lilly McNealus and Livio Baldini Soares and Logan Kilpatrick and Lucas Dixon and Luciano Martins and Machel Reid and Manvinder Singh and Mark Iverson and Martin Görner and Mat Velloso and Mateo Wirth and Matt Davidow and Matt Miller and Matthew Rahtz and Matthew Watson and Meg Risdal and Mehran Kazemi and Michael Moynihan and Ming Zhang and Minsuk Kahng and Minwoo Park and Mofi Rahman and Mohit Khatwani and Natalie Dao and Nenshad Bardoliwalla and Nesh Devanathan and Neta Dumai and Nilay Chauhan and Oscar Wahltinez and Pankil Botarda and Parker Barnes and Paul Barham and Paul Michel and Pengchong Jin and Petko Georgiev and Phil Culliton and Pradeep Kuppala and Ramona Comanescu and Ramona Merhej and Reena Jana and Reza Ardeshir Rokni and Rishabh Agarwal and Ryan Mullins and Samaneh Saadat and Sara Mc Carthy and Sarah Cogan and Sarah Perrin and Sébastien M. R. Arnold and Sebastian Krause and Shengyang Dai and Shruti Garg and Shruti Sheth and Sue Ronstrom and Susan Chan and Timothy Jordan and Ting Yu and Tom Eccles and Tom Hennigan and Tomas Kocisky and Tulsee Doshi and Vihan Jain and Vikas Yadav and Vilobh Meshram and Vishal Dharmadhikari and Warren Barkley and Wei Wei and Wenming Ye and Woohyun Han and Woosuk Kwon and Xiang Xu and Zhe Shen and Zhitao Gong and Zichuan Wei and Victor Cotruta and Phoebe Kirk and Anand Rao and Minh Giang and Ludovic Peran and Tris Warkentin and Eli Collins and Joelle Barral and Zoubin Ghahramani and Raia Hadsell and D. Sculley and Jeanine Banks and Anca Dragan and Slav Petrov and Oriol Vinyals and Jeff Dean and Demis Hassabis and Koray Kavukcuoglu and Clement Farabet and Elena Buchatskaya and Sebastian Borgeaud and Noah Fiedel and Armand Joulin and Kathleen Kenealy and Robert Dadashi and Alek Andreev},
year = {2024},
eprint = {2408.00118},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2408.00118}
}
小模型要變強,最常見的做法是多餵資料。
Llama 3 的 8B 模型看了 15T 個 token,遠遠超過縮放律建議的量。這招有效,但效益越來越差。報告開頭就點出,依照 Chinchilla 的縮放律,表現大致只隨資料量的對數成長;最新的小模型多花了大把資料,在多數基準上只換到 1 到 2 個百分點。
這也說明小模型還沒訓練夠。問題是資料總有用完的一天,而且每多一倍資料,訓練成本也多一倍。
Google DeepMind 的 Gemma 團隊在 2024 年 6 月發布 Gemma 2,換了一個方向。與其讓小模型看更多 token,不如讓它在每個 token 上學到更多東西。做法是知識蒸餾,用大模型的預測分布取代原本的標準答案。
Gemma 2 有 2B、9B、27B 三種大小。2B 和 9B 用蒸餾訓練,27B 從頭訓練。
定義問題
一般的語言模型訓練,每個位置只告訴模型一件事:下一個 token 是什麼。
舉個例子。「我今天想喝__」,訓練資料裡下一個字是「咖啡」,目標就是一個只有「咖啡」為 1、其他全為 0 的 one-hot 向量。但「茶」和「水」其實也很合理,one-hot 目標完全沒有提到它們。
如果有一個已經訓練好的大模型,它可能會說「咖啡 0.6、茶 0.3、水 0.1」。把這整個分布當作目標,小模型在同一個位置上就多學到「茶也說得通」這件事。作者把蒸餾的目的說得很明白,用蒸餾來「模擬超過可用 token 數量的訓練」。
蒸餾的損失函數是老師分布 與學生分布 之間的交叉熵:
是上下文,加總遍及整個詞彙。老師分布換成 one-hot,這個式子就退回一般的下一個 token 預測。
這個想法並不新,Gemini 1.5 也用過蒸餾。這篇報告要回答的是,把蒸餾用在大規模預訓練、讓小模型看遠超過最佳量的 token,效果如何?
解決問題
架構
Gemma 2 和第一代一樣是純解碼器的 Transformer,上下文長度 8,192,使用 RoPE 與近似的 GeGLU。新的設計有四個:
- 局部與全域注意力交替。每隔一層換一次,局部層用 4,096 個 token 的滑動視窗,全域層看完整的 8,192 個 token。
- Logit soft-capping。注意力層與最後的輸出層,logit 都要經過 ,注意力層的上限設為 50,輸出層設為 30。
- 前後都做正規化。每個子層的輸入和輸出都用 RMSNorm,目的是讓訓練更穩定。
- 分組查詢注意力(GQA),分組數為 2。

左邊兩張遮罩說明局部層省了什麼。全域層的每個 token 能看到前面所有 token,計算量隨長度平方成長;局部層每個 token 最多只看視窗內的 token,量級固定。交替使用,就讓一半的層省下計算,又保留每隔一層看一次全局的能力。
右圖是 soft-capping。logit 小的時候幾乎不受影響,tanh 在 0 附近接近直線;logit 很大的時候會被壓在上限附近,避免某個值大到讓 softmax 變成幾乎只看一個位置。這個設計對訓練穩定性有幫助,但後面會看到,它也在推論端惹了一點麻煩。
三種模型的配置如下(取自報告 Table 1):
| 2B | 9B | 27B | |
|---|---|---|---|
| 隱藏維度 | 2,304 | 3,584 | 4,608 |
| 層數 | 26 | 42 | 46 |
| 前饋層維度 | 18,432 | 28,672 | 73,728 |
| 注意力頭 / KV 頭 | 8 / 4 | 16 / 8 | 32 / 16 |
| 詞彙表 | 256,128 | 256,128 | 256,128 |
詞彙表沿用 Gemini 的 256K 個 token,原本是為了支援大量語言設計的,所以嵌入層的參數很多。2B 模型約有 5.9 億個參數在嵌入層,非嵌入參數約 20 億。
預訓練資料與硬體
27B 用 13T 個 token 訓練,9B 用 8T,2B 用 2T,資料以英文為主,包含網頁、程式與科學文章。Gemma 2 不是多模態模型,也沒有特別針對多語能力訓練。
2B 和 9B 的資料量都遠超過縮放律建議的量。以常見的「每個參數約 20 個 token」粗估,2B 的最佳量約 40B token,實際用了 2T,是 50 倍;9B 約 180B token,實際用了 8T,也有四十多倍。
訓練用的是 Google 自家的 TPU:2B 用 512 顆 TPUv5e,9B 用 4,096 顆 TPUv4,27B 用 6,144 顆 TPUv5p。報告估計整個 Gemma 2 預訓練的碳排放約 1,248 噸二氧化碳當量。
後訓練:最後一步是平均
後訓練分成三步:
- SFT:用合成與真實的提示詞,回答主要由更大的老師模型生成;另外也在學生自己的輸出分布上做蒸餾。
- RLHF:獎勵模型比策略模型大一個數量級,而且更偏重多輪對話。提示詞部分使用了 LMSYS-Chat-1M,但只取提示詞,不取裡面的回答。
- 模型合併:把用不同超參數跑完整個流程得到的模型平均起來。
第三步引用的是同團隊 Ramé 等人的 WARP。報告只用了一句話帶過,沒有給出合併前後的比較。
討論
蒸餾到底有多大幫助
報告的消融不多,但每一個都對準一個設計決定。最重要的是蒸餾:
| 2B 模型,訓練 500B token | 從頭訓練 | 從 7B 老師蒸餾 |
|---|---|---|
| 三個基準平均 | 60.3 | 67.7 |
500B token 已經是 2B 模型最佳量的 10 倍,蒸餾仍然高出 7.4 分。這裡用 7B 當老師,是為了模擬「27B 教 9B」的大小比例。
蒸餾的好處會不會隨模型變大而消失?作者固定 7B 老師,訓練 200M、400M、1B 三種學生:
| 驗證集困惑度 | 200M | 400M | 1B |
|---|---|---|---|
| 從頭訓練 | 23 | 19 | 17 |
| 蒸餾 | 21 | 17 | 15 |
三種大小都穩定低了 2,差距沒有縮小。
正式模型的比較也一樣。Gemma 2 的 2B 用 2T token,第一代 2B 用 3T token,資料更少,但新模型在各基準上明顯更好;9B 在部分基準上比第一代的 7B 高了約 10%。作者把這歸功於蒸餾。
不過要注意,第一代與第二代之間除了蒸餾,架構、資料與後訓練也都變了,這個比較無法把功勞單獨歸給蒸餾。真正乾淨的證據是上面兩張消融表,而它們都是在比正式模型小得多的設定下做的。
其他架構消融
- GQA 與多頭注意力:9B 模型在四個基準的平均,多頭注意力是 50.3,GQA 是 50.8,差異很小。作者選 GQA,是因為參數更少、推論更快。
- 深與寬:參數量相同的 9B,較深的版本平均 52.0,較寬的 50.8。差距小但一致,因此 Gemma 2 比第一代更深。
- 推論時縮小滑動視窗:9B 模型的視窗從 4,096 縮到 2,048、1,024,困惑度只從 1.63 變成 1.63、1.64。需要的話,可以用縮小視窗換一點推論速度。
- 格式穩定性:12 種提示與評估格式的組合下,MMLU 分數的標準差,Gemma 2 的 9B 是 0.9、27B 是 1.0;Mistral 7B 是 6.9。
成績
預訓練版本的 27B,在 Hugging Face 的評測組合上和 Llama 3 70B 相比:MMLU 75.2 對 79.2、GSM8K 74.0 對 76.9、HellaSwag 86.4 對 88.0。模型小 2.5 倍,訓練資料 13T 個 token 也比 Llama 3 的 15T 少,只落後幾分。作者也坦白說,從頭訓練的模型表現大致只隨大小對數成長,27B 可能就落在 Llama 3 的同一條帕雷托曲線上。
後訓練版本在 LMSYS Chatbot Arena 上的成績最受注意。27B 的 Elo 是 1218,高於 Llama 3 70B 的 1206;9B 是 1187,和 GPT-4-0314 的 1186 相當;2B(嚴格說是 2.6B)是 1126,高於 GPT-3.5-Turbo-0613 的 1116。
這些比較都以總參數量計算。作者特別說明,這是因為在一般裝置上使用開源模型時,限制通常是總記憶體用量,而不是啟動參數。
人工評測與記憶
除了 Arena,作者另外做了兩組人工評測。單輪提示詞上,和 GPT-4o 比較安全與指令遵循;多輪方面,評審在 500 個多輪對話情境中,對整體滿意度與目標達成度打 1 到 5 分。和第一代 Gemma 1.1 7B 相比,Gemma 2 的三個大小在兩個指標上都更好,例如 27B 的使用者滿意度從 3.32 升到 4.20。
報告也量了模型對訓練資料的逐字記憶。給模型一段訓練資料的前 50 個 token,看它會不會逐字吐出後 50 個 token。Gemma 2 的逐字記憶率低於 0.1%,明顯低於同級的其他模型;以 10% 編輯距離為門檻的近似記憶率雖然較高,仍比第一代 Gemma 的逐字記憶還低。分資料來源來看,程式、維基百科與科學文章被記住得比較多。
Soft-capping 的實際代價
Soft-capping 在論文裡只佔兩行,在社群裡卻引起不少麻煩。
Gemma 2 發布時,主流的 FlashAttention 實作都不支援在注意力分數上做 soft-capping。Hugging Face 在發布說明中提醒,要嘛放棄 FlashAttention 的加速,要嘛犧牲表現。llama.cpp 在加入 soft-capping 的修正時,載入 Gemma 2 會直接關掉 FlashAttention,已經轉好的 GGUF 檔也得重新產生。發布初期,Hugging Face 上也有使用者回報 27B 的輸出出現錯字與幻覺,討論串裡指向的修正,就是在推論端補上這一步。
一個看起來無害的穩定性技巧,讓整個推論生態系花了幾個星期才跟上。
這份報告沒說的事
報告沒有交代預訓練資料的具體組成,也沒有說明 2B 與 9B 各自的老師是哪一個模型;從消融的說法看,作者以「27B 教 9B」為目標比例,但正式的老師身分沒有寫出來。後訓練的資料、超參數與模型合併的細節同樣只有幾句話。
結論
Gemma 2 想說的事情不複雜。小模型與其多看資料,不如讓每個 token 帶有更多資訊。用大模型的機率分布當訓練目標,2B 和 9B 用遠超最佳量的資料蒸餾,換來同級最好的成績。
架構上的幾個改動,局部全域交替、soft-capping、前後正規化,都不是新發明,卻組合得很實用。
部署 Gemma 2 之前,記得先確認推論框架有沒有實作 soft-capping。少了那一個 tanh,模型就會開始寫錯字。