The Llama 3 Herd of Models
- 发表版本
- 正式发表信息尚未核实
- arXiv 首次提交
- arXiv:2407.21783
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{transformersllama32024,
title = {{The Llama 3 Herd of Models}},
author = {Aaron Grattafiori and Abhimanyu Dubey and Abhinav Jauhri and Abhinav Pandey and Abhishek Kadian and Ahmad Al-Dahle and Aiesha Letman and Akhil Mathur and Alan Schelten and Alex Vaughan and Amy Yang and Angela Fan and Anirudh Goyal and Anthony Hartshorn and Aobo Yang and Archi Mitra and Archie Sravankumar and Artem Korenev and Arthur Hinsvark and Arun Rao and Aston Zhang and Aurelien Rodriguez and Austen Gregerson and Ava Spataru and Baptiste Roziere and Bethany Biron and Binh Tang and Bobbie Chern and Charlotte Caucheteux and Chaya Nayak and Chloe Bi and Chris Marra and Chris McConnell and Christian Keller and Christophe Touret and Chunyang Wu and Corinne Wong and Cristian Canton Ferrer and Cyrus Nikolaidis and Damien Allonsius and Daniel Song and Danielle Pintz and Danny Livshits and Danny Wyatt and David Esiobu and Dhruv Choudhary and Dhruv Mahajan and Diego Garcia-Olano and Diego Perino and Dieuwke Hupkes and Egor Lakomkin and Ehab AlBadawy and Elina Lobanova and Emily Dinan and Eric Michael Smith and Filip Radenovic and Francisco Guzmán and Frank Zhang and Gabriel Synnaeve and Gabrielle Lee and Georgia Lewis Anderson and Govind Thattai and Graeme Nail and Gregoire Mialon and Guan Pang and Guillem Cucurell and Hailey Nguyen and Hannah Korevaar and Hu Xu and Hugo Touvron and Iliyan Zarov and Imanol Arrieta Ibarra and Isabel Kloumann and Ishan Misra and Ivan Evtimov and Jack Zhang and Jade Copet and Jaewon Lee and Jan Geffert and Jana Vranes and Jason Park and Jay Mahadeokar and Jeet Shah and Jelmer van der Linde and Jennifer Billock and Jenny Hong and Jenya Lee and Jeremy Fu and Jianfeng Chi and Jianyu Huang and Jiawen Liu and Jie Wang and Jiecao Yu and Joanna Bitton and Joe Spisak and Jongsoo Park and Joseph Rocca and Joshua Johnstun and Joshua Saxe and Junteng Jia and Kalyan Vasuden Alwala and Karthik Prasad and Kartikeya Upasani and Kate Plawiak and Ke Li and Kenneth Heafield and Kevin Stone and Khalid El-Arini and Krithika Iyer and Kshitiz Malik and Kuenley Chiu and Kunal Bhalla and Kushal Lakhotia and Lauren Rantala-Yeary and Laurens van der Maaten and Lawrence Chen and Liang Tan and Liz Jenkins and Louis Martin and Lovish Madaan and Lubo Malo and Lukas Blecher and Lukas Landzaat and Luke de Oliveira and Madeline Muzzi and Mahesh Pasupuleti and Mannat Singh and Manohar Paluri and Marcin Kardas and Maria Tsimpoukelli and Mathew Oldham and Mathieu Rita and Maya Pavlova and Melanie Kambadur and Mike Lewis and Min Si and Mitesh Kumar Singh and Mona Hassan and Naman Goyal and Narjes Torabi and Nikolay Bashlykov and Nikolay Bogoychev and Niladri Chatterji and Ning Zhang and Olivier Duchenne and Onur Çelebi and Patrick Alrassy and Pengchuan Zhang and Pengwei Li and Petar Vasic and Peter Weng and Prajjwal Bhargava and Pratik Dubal and Praveen Krishnan and Punit Singh Koura and Puxin Xu and Qing He and Qingxiao Dong and Ragavan Srinivasan and Raj Ganapathy and Ramon Calderer and Ricardo Silveira Cabral and Robert Stojnic and Roberta Raileanu and Rohan Maheswari and Rohit Girdhar and Rohit Patel and Romain Sauvestre and Ronnie Polidoro and Roshan Sumbaly and Ross Taylor and Ruan Silva and Rui Hou and Rui Wang and Saghar Hosseini and Sahana Chennabasappa and Sanjay Singh and Sean Bell and Seohyun Sonia Kim and Sergey Edunov and Shaoliang Nie and Sharan Narang and Sharath Raparthy and Sheng Shen and Shengye Wan and Shruti Bhosale and Shun Zhang and Simon Vandenhende and Soumya Batra and Spencer Whitman and Sten Sootla and Stephane Collot and Suchin Gururangan and Sydney Borodinsky and Tamar Herman and Tara Fowler and Tarek Sheasha and Thomas Georgiou and Thomas Scialom and Tobias Speckbacher and Todor Mihaylov and Tong Xiao and Ujjwal Karn and Vedanuj Goswami and Vibhor Gupta and Vignesh Ramanathan and Viktor Kerkez and Vincent Gonguet and Virginie Do and Vish Vogeti and Vítor Albiero and Vladan Petrovic and Weiwei Chu and Wenhan Xiong and Wenyin Fu and Whitney Meers and Xavier Martinet and Xiaodong Wang and Xiaofang Wang and Xiaoqing Ellen Tan and Xide Xia and Xinfeng Xie and Xuchao Jia and Xuewei Wang and Yaelle Goldschlag and Yashesh Gaur and Yasmine Babaei and Yi Wen and Yiwen Song and Yuchen Zhang and Yue Li and Yuning Mao and Zacharie Delpierre Coudert and Zheng Yan and Zhengxing Chen and Zoe Papakipos and Aaditya Singh and Aayushi Srivastava and Abha Jain and Adam Kelsey and Adam Shajnfeld and Adithya Gangidi and Adolfo Victoria and Ahuva Goldstand and Ajay Menon and Ajay Sharma and Alex Boesenberg and Alexei Baevski and Allie Feinstein and Amanda Kallet and Amit Sangani and Amos Teo and Anam Yunus and Andrei Lupu and Andres Alvarado and Andrew Caples and Andrew Gu and Andrew Ho and Andrew Poulton and Andrew Ryan and Ankit Ramchandani and Annie Dong and Annie Franco and Anuj Goyal and Aparajita Saraf and Arkabandhu Chowdhury and Ashley Gabriel and Ashwin Bharambe and Assaf Eisenman and Azadeh Yazdan and Beau James and Ben Maurer and Benjamin Leonhardi and Bernie Huang and Beth Loyd and Beto De Paola and Bhargavi Paranjape and Bing Liu and Bo Wu and Boyu Ni and Braden Hancock and Bram Wasti and Brandon Spence and Brani Stojkovic and Brian Gamido and Britt Montalvo and Carl Parker and Carly Burton and Catalina Mejia and Ce Liu and Changhan Wang and Changkyu Kim and Chao Zhou and Chester Hu and Ching-Hsiang Chu and Chris Cai and Chris Tindal and Christoph Feichtenhofer and Cynthia Gao and Damon Civin and Dana Beaty and Daniel Kreymer and Daniel Li and David Adkins and David Xu and Davide Testuggine and Delia David and Devi Parikh and Diana Liskovich and Didem Foss and Dingkang Wang and Duc Le and Dustin Holland and Edward Dowling and Eissa Jamil and Elaine Montgomery and Eleonora Presani and Emily Hahn and Emily Wood and Eric-Tuan Le and Erik Brinkman and Esteban Arcaute and Evan Dunbar and Evan Smothers and Fei Sun and Felix Kreuk and Feng Tian and Filippos Kokkinos and Firat Ozgenel and Francesco Caggioni and Frank Kanayet and Frank Seide and Gabriela Medina Florez and Gabriella Schwarz and Gada Badeer and Georgia Swee and Gil Halpern and Grant Herman and Grigory Sizov and Guangyi and Zhang and Guna Lakshminarayanan and Hakan Inan and Hamid Shojanazeri and Han Zou and Hannah Wang and Hanwen Zha and Haroun Habeeb and Harrison Rudolph and Helen Suk and Henry Aspegren and Hunter Goldman and Hongyuan Zhan and Ibrahim Damlaj and Igor Molybog and Igor Tufanov and Ilias Leontiadis and Irina-Elena Veliche and Itai Gat and Jake Weissman and James Geboski and James Kohli and Janice Lam and Japhet Asher and Jean-Baptiste Gaya and Jeff Marcus and Jeff Tang and Jennifer Chan and Jenny Zhen and Jeremy Reizenstein and Jeremy Teboul and Jessica Zhong and Jian Jin and Jingyi Yang and Joe Cummings and Jon Carvill and Jon Shepard and Jonathan McPhie and Jonathan Torres and Josh Ginsburg and Junjie Wang and Kai Wu and Kam Hou U and Karan Saxena and Kartikay Khandelwal and Katayoun Zand and Kathy Matosich and Kaushik Veeraraghavan and Kelly Michelena and Keqian Li and Kiran Jagadeesh and Kun Huang and Kunal Chawla and Kyle Huang and Lailin Chen and Lakshya Garg and Lavender A and Leandro Silva and Lee Bell and Lei Zhang and Liangpeng Guo and Licheng Yu and Liron Moshkovich and Luca Wehrstedt and Madian Khabsa and Manav Avalani and Manish Bhatt and Martynas Mankus and Matan Hasson and Matthew Lennie and Matthias Reso and Maxim Groshev and Maxim Naumov and Maya Lathi and Meghan Keneally and Miao Liu and Michael L. Seltzer and Michal Valko and Michelle Restrepo and Mihir Patel and Mik Vyatskov and Mikayel Samvelyan and Mike Clark and Mike Macey and Mike Wang and Miquel Jubert Hermoso and Mo Metanat and Mohammad Rastegari and Munish Bansal and Nandhini Santhanam and Natascha Parks and Natasha White and Navyata Bawa and Nayan Singhal and Nick Egebo and Nicolas Usunier and Nikhil Mehta and Nikolay Pavlovich Laptev and Ning Dong and Norman Cheng and Oleg Chernoguz and Olivia Hart and Omkar Salpekar and Ozlem Kalinli and Parkin Kent and Parth Parekh and Paul Saab and Pavan Balaji and Pedro Rittner and Philip Bontrager and Pierre Roux and Piotr Dollar and Polina Zvyagina and Prashant Ratanchandani and Pritish Yuvraj and Qian Liang and Rachad Alao and Rachel Rodriguez and Rafi Ayub and Raghotham Murthy and Raghu Nayani and Rahul Mitra and Rangaprabhu Parthasarathy and Raymond Li and Rebekkah Hogan and Robin Battey and Rocky Wang and Russ Howes and Ruty Rinott and Sachin Mehta and Sachin Siby and Sai Jayesh Bondu and Samyak Datta and Sara Chugh and Sara Hunt and Sargun Dhillon and Sasha Sidorov and Satadru Pan and Saurabh Mahajan and Saurabh Verma and Seiji Yamamoto and Sharadh Ramaswamy and Shaun Lindsay and Shaun Lindsay and Sheng Feng and Shenghao Lin and Shengxin Cindy Zha and Shishir Patil and Shiva Shankar and Shuqiang Zhang and Shuqiang Zhang and Sinong Wang and Sneha Agarwal and Soji Sajuyigbe and Soumith Chintala and Stephanie Max and Stephen Chen and Steve Kehoe and Steve Satterfield and Sudarshan Govindaprasad and Sumit Gupta and Summer Deng and Sungmin Cho and Sunny Virk and Suraj Subramanian and Sy Choudhury and Sydney Goldman and Tal Remez and Tamar Glaser and Tamara Best and Thilo Koehler and Thomas Robinson and Tianhe Li and Tianjun Zhang and Tim Matthews and Timothy Chou and Tzook Shaked and Varun Vontimitta and Victoria Ajayi and Victoria Montanez and Vijai Mohan and Vinay Satish Kumar and Vishal Mangla and Vlad Ionescu and Vlad Poenaru and Vlad Tiberiu Mihailescu and Vladimir Ivanov and Wei Li and Wenchen Wang and Wenwen Jiang and Wes Bouaziz and Will Constable and Xiaocheng Tang and Xiaojian Wu and Xiaolan Wang and Xilun Wu and Xinbo Gao and Yaniv Kleinman and Yanjun Chen and Ye Hu and Ye Jia and Ye Qi and Yenda Li and Yilin Zhang and Ying Zhang and Yossi Adi and Youngjin Nam and Yu and Wang and Yu Zhao and Yuchen Hao and Yundi Qian and Yunlu Li and Yuzi He and Zach Rait and Zachary DeVito and Zef Rosnbrick and Zhaoduo Wen and Zhenyu Yang and Zhiwei Zhao and Zhiyu Ma},
year = {2024},
eprint = {2407.21783},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2407.21783}
}
2024 年 7 月,Meta 公开了 Llama 3.1 系列的权重,最大的一个有 4,050 亿个参数。
在那之前,能和 GPT-4 正面比较的模型都只能通过 API 使用。这次是第一次,一个在多数基准上和 GPT-4 打成平手的模型,权重可以直接下载。
随着权重一起公开的,是一份九十多页的技术报告。标题叫「Llama 3 模型群」(Herd of Models),涵盖 8B、70B、405B 三种大小,从数据清洗、缩放律、训练基础设施、后训练到推理都写了,最后还附上图像、视频、语音的扩展实验。
这么长的报告,很容易读成一份清单。这篇笔记换一种读法,跟着报告自己强调的一个原则走:让开发流程保持简单。Meta 为了这个原则放弃了一些更新潮的选择,也在几个关键位置用了一招很朴素的技巧,把好几个模型平均起来。
定义问题
作者认为开发高质量的基础模型有三个杠杆:数据、规模,以及管理复杂度。
前两个很直观。数据上,Llama 3 用了约 15T 个多语言 token 预训练,Llama 2 只有 1.8T。规模上,405B 的旗舰模型用了 FLOPs,大约是 Llama 2 最大版本的 50 倍。
第三个杠杆值得多看两眼。作者在架构上选了标准的稠密 Transformer,没有用混合专家(MoE);后训练选了监督微调(SFT)、拒绝采样(rejection sampling)与 DPO 的组合,没有用 PPO 这类强化学习。理由都一样,训练稳定、容易扩大规模。
我们先验算一下规模。训练一个稠密 Transformer 的计算量常用 估计, 是参数量, 是训练 token 数:
和报告写的 一致。如果全程都用 16,384 张 H100、每张实际跑到 400 TFLOPs,纯计算时间大约是 秒,也就是 67 天左右。这只是粗估,实际训练前期用的 GPU 比较少,还有各种中断。
要在一万多张 GPU 上连续稳定地跑两个多月,每一个「多一点复杂度」的选择,都可能变成一次训练中断。这就是整份报告的背景。
解决问题
数据:清洗比数量更花功夫
预训练数据的知识截止在 2023 年底,大部分来自网页。清洗流程包括以下几步:
- 自己写 HTML 解析器。数学与代码内容会保留结构,数学公式常以图片呈现、公式写在 alt 属性里,所以 alt 文本也保留。另外,作者发现对以网页数据为主的模型,Markdown 标记反而有害,因此全部移除。
- 三层去重。URL 级保留最新版本;文档级用 MinHash 去除近似重复;行级则很激进,在每 3,000 万份文档里出现超过 6 次的行全部删除。作者坦言这也删掉了一些高质量的常见文本,但评测上明显有帮助。
- 模型做质量过滤。用 fastText 判断一段文本「会不会被维基百科引用」,再用 Llama 2 标注的数据训练 DistilRoberta 打质量分;代码与数学另有专门的分类器与抽取流程。多语言数据先用语言识别分成 176 种语言,再各自去重、过滤。
最后的数据配比大约是通用知识 50%、数学与推理 25%、代码 17%、多语言 8%。
配比是用缩放律实验决定的,先在小模型上试不同配比,再预测大模型的表现。对于小型的领域数据集,作者用一个更便宜的方法评估价值。拿一个训练到一半的 8B 模型,用 40B token 把学习率线性退火到 0,退火数据里新数据集占 30%,看分数变化。这比每个小数据集都跑一次缩放律实验划算得多。
规模:缩放律要能预测考试分数
一般的缩放律预测的是下一个 token 的损失,但大家真正关心的是基准分数。作者用了两步:
- 先拟合「计算量」与「下游任务正确答案的负对数似然(NLL)」之间的关系,用的是计算量在 到 FLOPs 之间、40M 到 16B 参数的小模型。
- 再拟合「NLL」与「准确率」之间的 S 形关系。这一步加入了 Llama 2 系列模型,因为它们用的计算量比小模型大得多。

左图每条曲线是一个固定的计算预算。同样的预算,模型小一点就能看更多 token,模型大一点就只能看少一点;曲线的最低点就是那个预算下最好的分配。右图把各个最低点连起来,最优训练 token 数 和计算量 呈幂次关系:
报告外推到 FLOPs,得到「402B 参数、16.55T token」的建议。这里有个小细节值得自己算一次。用图上的 、 代入,得到约 16.3T token,和报告的数字接近;但正文把参数写成只取两位小数的 ,代入会得到约 10.5T。指数只差 0.007,外推四个数量级之后就差了五成,缩放律的外推就是这么敏感。
作者也观察到,计算预算越大,IsoFLOPs 曲线的底部越平坦,模型大小稍微偏离最优值影响不大,所以最后选了 405B。下游预测的效果也不错,在 ARC Challenge 上,这个两步骤的方法外推了四个数量级,只略微低估了最终成绩。
架构:几乎没变
Llama 3 的架构和 Llama 2 差不多,作者明说表现的进步主要来自数据与规模。改动只有四处:
- 分组查询注意力(GQA):8 个 key-value 头,减少推理时的 KV 缓存。
- 文档掩码:同一个序列里拼接了不同文档时,禁止它们互相注意。一般预训练影响不大,但在很长的序列上继续预训练时很重要。
- 128K 词汇表:tiktoken 的 100K token 加上 28K 个非英语 token。英文的压缩率从每个 token 3.17 个字符提升到 3.94,同样的计算量可以「读」更多文本。
- RoPE 基频提高到 500,000:支持更长的上下文。
405B 的配置是 126 层、隐藏维度 16,384、128 个注意力头。
基础设施:一万六千张 GPU 的日常
405B 最多同时用了 16K 张 H100。模型用 4D 并行切分:张量并行、流水线并行、上下文并行与数据并行(FSDP)。在 8K 张 GPU、序列长度 8K 时,BF16 的模型 FLOPs 利用率(MFU)约 43%;扩到 16K 张是 41%;长上下文阶段的 131K 序列长度下是 38%。
报告最有现场感的是一份故障统计。在 54 天的观察期间,训练一共中断了 466 次,其中 47 次是计划内的维护,419 次是非预期的;非预期中断里约 78% 确认或疑似是硬件问题,最常见的是 GPU 本身与 HBM3 内存。即使如此,有效训练时间仍超过 90%。
这解释了为什么作者那么在意稳定性。同步训练下,一张 GPU 出事就可能让整个任务重来。
预训练配方:三个阶段
- 初始预训练:AdamW,峰值学习率 ,预热 8,000 步,cosine 衰减到 。batch 一开始较小以求稳定,4M token、序列长度 4,096;训练到 252M token 时加倍到 8M token、序列长度 8,192;到 2.87T token 时再加倍到 16M。作者说这个配方很稳定,几乎没有出现损失尖峰。过程中也调整过数据配比,例如增加非英语数据、上采样数学数据、加入较新的网页数据。
- 长上下文预训练:上下文从 8K 分六个阶段逐步拉到 128K,总共约 800B token。每个阶段都要确认短上下文的表现完全恢复,且「大海捞针」测试在该长度下全对,才进入下一阶段。
- 退火:最后 4,000 万个 token 把学习率线性降到 0,同时上采样高质量数据,并把退火期间的 checkpoint 取平均,作为最终的预训练模型。
第三点就是本笔记在意的第一个「平均」。报告只写了一句,引用的是 Polyak 平均,没有交代取了几个 checkpoint、带来多少提升。
后训练:六轮的 SFT 加 DPO

这张图要从左往右看,再沿着上方的箭头绕回来。
先用人工标注的偏好数据训练奖励模型。标注者除了选出比较好的回答,有时还会再把它改得更好,所以一条数据可能有「修改后 > 选中 > 未选中」三个等级。接着对每个提示词,从上一轮最好的模型采样 10 到 30 个回答,由奖励模型挑出最好的一个,这就是拒绝采样,挑出来的回答成为 SFT 的训练数据。
SFT 的学习率是 ,训练 8,500 到 9,000 步。之后做 DPO,学习率 、,并做了两个修改:
- 不计算格式 token 的损失。对话的起始与结束标记在好、坏两个回答里都会出现,DPO 同时要提高与降低它们的概率,作者发现这会造成重复输出或突然结束。
- 加上 NLL 正则项,系数 0.2,避免被选中回答的概率一路下降。
作者也试过 PPO,但 DPO 在大模型上更省计算,在 IFEval 这类指令遵循的评测上表现也更好。
整个流程重复六轮,每一轮都用新收集的标注,以及最新模型生成的合成数据。
然后是第二个「平均」。在奖励模型、SFT、DPO 每一个阶段,作者都把用不同数据版本或超参数训练出来的模型平均起来,引用的正是 SWA 与 Model Soups。同样,报告没有给出消融结果。
能力:专家分支与执行反馈
后训练数据大部分是模型生成的,质量控制也就成了重点。作者用 Llama 3 8B 做主题分类,用奖励模型分数与 Llama 自评两种信号估质量,再估难度,最后在语义聚类中去重,优先保留质量高、难度高的样本。
各项能力还有专门的做法,两个最有代表性:
编程。作者从预训练主线分出一条支线,用超过 85% 是代码的 1T token 继续预训练,得到一个编程专家,专门用来生成代码相关的高质量数据。合成数据总共超过 270 万条。
最有意思的发现是,8B 和 70B 用 405B 生成的数据训练有明显进步,但 405B 用自己生成的数据训练没有帮助,甚至会变差。作者的解法是引入执行反馈:生成的代码要通过语法检查、静态分析与模型自己写的单元测试,失败就把错误信息丢回去要求修正,只有全部通过的对话才进入训练数据。大约 20% 的解答一开始是错的,后来自行修正成功。
长上下文。只用短数据做 SFT,预训练学到的长上下文能力会明显退化。但人工标注长文档几乎不可行,所以改用合成数据,包括长文档问答、分层摘要、找出被删掉的代码文件。消融发现,只要把 0.1% 的长上下文合成数据混进 SFT 就够了。
讨论
成绩
后训练后的 405B,在报告的 Table 2 里大致和当时最强的闭源模型同级:
| 基准 | Llama 3 405B | GPT-4o | Claude 3.5 Sonnet |
|---|---|---|---|
| MMLU(5-shot) | 87.3 | 89.1 | 89.9 |
| MMLU-Pro(5-shot,CoT) | 73.3 | 74.0 | 77.0 |
| HumanEval(0-shot) | 89.0 | 90.2 | 92.0 |
| GSM8K(8-shot,CoT) | 96.8 | 96.1 | 96.4 |
| MATH(0-shot,CoT) | 73.8 | 76.6 | 71.1 |
| GPQA(0-shot,CoT) | 51.1 | 53.6 | 59.4 |
多数项目差距在几分之内,GSM8K 与 IFEval 略胜,GPQA 明显落后。
人工评测的结论也类似。和 GPT-4(0125 版)大致打平;对 GPT-4o 与 Claude 3.5 Sonnet 则有输有赢,编程与推理落后 Claude 3.5 Sonnet。作者也提醒,人工评测很受语气、结构、长度这些细节影响。
推理:一台机器装不下
405B 以 BF16 存放,一台 8 张 H100 的机器装不下,只能跨两台做流水线并行。作者因此做了 FP8 量化。被量化的是前馈网络里大部分的权重与激活值,这部分约占推理计算时间的一半;注意力层不量化,第一层与最后一层 Transformer 也不量化。
这部分有一个很实用的观察。标准评测显示 FP8 和 BF16 差不多,但作者发现,如果不限制动态缩放因子的上限,模型偶尔会产生乱码回答,评测却看不出来。他们改用 10 万个回答的奖励模型分数分布来比较两者,并把缩放因子上限设为 1200、改成逐行量化。FP8 在预填充阶段的吞吐量最多提升 50%。
多模态只是实验
图像、视频与语音的能力,是在冻结的语言模型旁接上编码器与适配器:图像通过交叉注意力层接进来,语音则转成 token 表示直接输入。报告写的时候这些模型还在开发中,没有随 3.1 版发布。
视觉部分的后训练,又出现了第三个「平均」,而且这次报告写得比较具体。图像 SFT 的做法仿照 Model Soups:先用不同的数据子集、学习率、权重衰减做一轮超参数搜索,依表现排序,再把前 名的权重平均; 本身也靠评估平均后的模型来决定。作者说,平均后的模型一致地比网格搜索找到的最优单一模型好,对超参数也比较不敏感。视觉的 DPO 则不再固定参考模型,而是每隔 步用指数移动平均更新它,人工评测的表现更好。
报告里少见的一段
结论里有一段在技术报告中很少见。作者说,除了技术问题,组织上的决定也很关键。例如预训练数据由另一个团队负责获取与处理,这个团队被明确要求避免数据受到基准测试污染;人工评测也只开放给少数不参与模型开发的研究者执行与查看。
读这份报告要记得的事
这份报告写了大量「我们做了什么」,但很多决定没有附上消融。为什么不用 MoE、checkpoint 平均与模型平均各带来多少提升,报告都只给了结论或一句话。预训练数据的来源与内容也没有公开,第三方无法复现。
从模型合并的角度看,这份报告的意义在于它说明了「平均」已经是大型实验室的标准工序,预训练退火时平均 checkpoint,后训练每个阶段平均不同设置的模型,视觉适配器的 SFT 也平均前几名的模型。只是怎么平均、平均了多少,留给了后来的论文去回答。
结论
Llama 3 走的是更多、更干净的数据,更大的规模,以及刻意保持简单的架构与后训练。它证明了一个不用 MoE、不用 PPO 的模型,只要数据与规模到位,也能和当时最好的闭源模型并肩。
报告里也留下不少实用的细节。用退火评估小数据集、405B 不能只吃自己生成的数据、长上下文只需要 0.1% 的合成数据、FP8 量化要看奖励分数的分布而不是只看基准分数。
至于那段关于组织的提醒,一年后显得特别有分量。2025 年 4 月 Llama 4 发布时,LMArena 上的高名次来自一个特别为对话调整过的实验版本,LMArena 随后表示 Meta 对规则的解读不符合他们对模型提供者的期待,并更新了排行榜政策。技术报告写得再仔细,评测的可信度还是要靠组织守住。