論文ノートライブラリに戻る
arXiv 2024言語モデルと Transformer論文ノート

Llama 3

シンプルさの代償

原論文

The Llama 3 Herd of Models

論文の著者

Aaron Grattafiori · Abhimanyu Dubey · Abhinav Jauhri …

著者全 561 名を表示

Aaron Grattafiori · Abhimanyu Dubey · Abhinav Jauhri · Abhinav Pandey · Abhishek Kadian · Ahmad Al-Dahle · Aiesha Letman · Akhil Mathur · Alan Schelten · Alex Vaughan · Amy Yang · Angela Fan · Anirudh Goyal · Anthony Hartshorn · Aobo Yang · Archi Mitra · Archie Sravankumar · Artem Korenev · Arthur Hinsvark · Arun Rao · Aston Zhang · Aurelien Rodriguez · Austen Gregerson · Ava Spataru · Baptiste Roziere · Bethany Biron · Binh Tang · Bobbie Chern · Charlotte Caucheteux · Chaya Nayak · Chloe Bi · Chris Marra · Chris McConnell · Christian Keller · Christophe Touret · Chunyang Wu · Corinne Wong · Cristian Canton Ferrer · Cyrus Nikolaidis · Damien Allonsius · Daniel Song · Danielle Pintz · Danny Livshits · Danny Wyatt · David Esiobu · Dhruv Choudhary · Dhruv Mahajan · Diego Garcia-Olano · Diego Perino · Dieuwke Hupkes · Egor Lakomkin · Ehab AlBadawy · Elina Lobanova · Emily Dinan · Eric Michael Smith · Filip Radenovic · Francisco Guzmán · Frank Zhang · Gabriel Synnaeve · Gabrielle Lee · Georgia Lewis Anderson · Govind Thattai · Graeme Nail · Gregoire Mialon · Guan Pang · Guillem Cucurell · Hailey Nguyen · Hannah Korevaar · Hu Xu · Hugo Touvron · Iliyan Zarov · Imanol Arrieta Ibarra · Isabel Kloumann · Ishan Misra · Ivan Evtimov · Jack Zhang · Jade Copet · Jaewon Lee · Jan Geffert · Jana Vranes · Jason Park · Jay Mahadeokar · Jeet Shah · Jelmer van der Linde · Jennifer Billock · Jenny Hong · Jenya Lee · Jeremy Fu · Jianfeng Chi · Jianyu Huang · Jiawen Liu · Jie Wang · Jiecao Yu · Joanna Bitton · Joe Spisak · Jongsoo Park · Joseph Rocca · Joshua Johnstun · Joshua Saxe · Junteng Jia · Kalyan Vasuden Alwala · Karthik Prasad · Kartikeya Upasani · Kate Plawiak · Ke Li · Kenneth Heafield · Kevin Stone · Khalid El-Arini · Krithika Iyer · Kshitiz Malik · Kuenley Chiu · Kunal Bhalla · Kushal Lakhotia · Lauren Rantala-Yeary · Laurens van der Maaten · Lawrence Chen · Liang Tan · Liz Jenkins · Louis Martin · Lovish Madaan · Lubo Malo · Lukas Blecher · Lukas Landzaat · Luke de Oliveira · Madeline Muzzi · Mahesh Pasupuleti · Mannat Singh · Manohar Paluri · Marcin Kardas · Maria Tsimpoukelli · Mathew Oldham · Mathieu Rita · Maya Pavlova · Melanie Kambadur · Mike Lewis · Min Si · Mitesh Kumar Singh · Mona Hassan · Naman Goyal · Narjes Torabi · Nikolay Bashlykov · Nikolay Bogoychev · Niladri Chatterji · Ning Zhang · Olivier Duchenne · Onur Çelebi · Patrick Alrassy · Pengchuan Zhang · Pengwei Li · Petar Vasic · Peter Weng · Prajjwal Bhargava · Pratik Dubal · Praveen Krishnan · Punit Singh Koura · Puxin Xu · Qing He · Qingxiao Dong · Ragavan Srinivasan · Raj Ganapathy · Ramon Calderer · Ricardo Silveira Cabral · Robert Stojnic · Roberta Raileanu · Rohan Maheswari · Rohit Girdhar · Rohit Patel · Romain Sauvestre · Ronnie Polidoro · Roshan Sumbaly · Ross Taylor · Ruan Silva · Rui Hou · Rui Wang · Saghar Hosseini · Sahana Chennabasappa · Sanjay Singh · Sean Bell · Seohyun Sonia Kim · Sergey Edunov · Shaoliang Nie · Sharan Narang · Sharath Raparthy · Sheng Shen · Shengye Wan · Shruti Bhosale · Shun Zhang · Simon Vandenhende · Soumya Batra · Spencer Whitman · Sten Sootla · Stephane Collot · Suchin Gururangan · Sydney Borodinsky · Tamar Herman · Tara Fowler · Tarek Sheasha · Thomas Georgiou · Thomas Scialom · Tobias Speckbacher · Todor Mihaylov · Tong Xiao · Ujjwal Karn · Vedanuj Goswami · Vibhor Gupta · Vignesh Ramanathan · Viktor Kerkez · Vincent Gonguet · Virginie Do · Vish Vogeti · Vítor Albiero · Vladan Petrovic · Weiwei Chu · Wenhan Xiong · Wenyin Fu · Whitney Meers · Xavier Martinet · Xiaodong Wang · Xiaofang Wang · Xiaoqing Ellen Tan · Xide Xia · Xinfeng Xie · Xuchao Jia · Xuewei Wang · Yaelle Goldschlag · Yashesh Gaur · Yasmine Babaei · Yi Wen · Yiwen Song · Yuchen Zhang · Yue Li · Yuning Mao · Zacharie Delpierre Coudert · Zheng Yan · Zhengxing Chen · Zoe Papakipos · Aaditya Singh · Aayushi Srivastava · Abha Jain · Adam Kelsey · Adam Shajnfeld · Adithya Gangidi · Adolfo Victoria · Ahuva Goldstand · Ajay Menon · Ajay Sharma · Alex Boesenberg · Alexei Baevski · Allie Feinstein · Amanda Kallet · Amit Sangani · Amos Teo · Anam Yunus · Andrei Lupu · Andres Alvarado · Andrew Caples · Andrew Gu · Andrew Ho · Andrew Poulton · Andrew Ryan · Ankit Ramchandani · Annie Dong · Annie Franco · Anuj Goyal · Aparajita Saraf · Arkabandhu Chowdhury · Ashley Gabriel · Ashwin Bharambe · Assaf Eisenman · Azadeh Yazdan · Beau James · Ben Maurer · Benjamin Leonhardi · Bernie Huang · Beth Loyd · Beto De Paola · Bhargavi Paranjape · Bing Liu · Bo Wu · Boyu Ni · Braden Hancock · Bram Wasti · Brandon Spence · Brani Stojkovic · Brian Gamido · Britt Montalvo · Carl Parker · Carly Burton · Catalina Mejia · Ce Liu · Changhan Wang · Changkyu Kim · Chao Zhou · Chester Hu · Ching-Hsiang Chu · Chris Cai · Chris Tindal · Christoph Feichtenhofer · Cynthia Gao · Damon Civin · Dana Beaty · Daniel Kreymer · Daniel Li · David Adkins · David Xu · Davide Testuggine · Delia David · Devi Parikh · Diana Liskovich · Didem Foss · Dingkang Wang · Duc Le · Dustin Holland · Edward Dowling · Eissa Jamil · Elaine Montgomery · Eleonora Presani · Emily Hahn · Emily Wood · Eric-Tuan Le · Erik Brinkman · Esteban Arcaute · Evan Dunbar · Evan Smothers · Fei Sun · Felix Kreuk · Feng Tian · Filippos Kokkinos · Firat Ozgenel · Francesco Caggioni · Frank Kanayet · Frank Seide · Gabriela Medina Florez · Gabriella Schwarz · Gada Badeer · Georgia Swee · Gil Halpern · Grant Herman · Grigory Sizov · Guangyi · Zhang · Guna Lakshminarayanan · Hakan Inan · Hamid Shojanazeri · Han Zou · Hannah Wang · Hanwen Zha · Haroun Habeeb · Harrison Rudolph · Helen Suk · Henry Aspegren · Hunter Goldman · Hongyuan Zhan · Ibrahim Damlaj · Igor Molybog · Igor Tufanov · Ilias Leontiadis · Irina-Elena Veliche · Itai Gat · Jake Weissman · James Geboski · James Kohli · Janice Lam · Japhet Asher · Jean-Baptiste Gaya · Jeff Marcus · Jeff Tang · Jennifer Chan · Jenny Zhen · Jeremy Reizenstein · Jeremy Teboul · Jessica Zhong · Jian Jin · Jingyi Yang · Joe Cummings · Jon Carvill · Jon Shepard · Jonathan McPhie · Jonathan Torres · Josh Ginsburg · Junjie Wang · Kai Wu · Kam Hou U · Karan Saxena · Kartikay Khandelwal · Katayoun Zand · Kathy Matosich · Kaushik Veeraraghavan · Kelly Michelena · Keqian Li · Kiran Jagadeesh · Kun Huang · Kunal Chawla · Kyle Huang · Lailin Chen · Lakshya Garg · Lavender A · Leandro Silva · Lee Bell · Lei Zhang · Liangpeng Guo · Licheng Yu · Liron Moshkovich · Luca Wehrstedt · Madian Khabsa · Manav Avalani · Manish Bhatt · Martynas Mankus · Matan Hasson · Matthew Lennie · Matthias Reso · Maxim Groshev · Maxim Naumov · Maya Lathi · Meghan Keneally · Miao Liu · Michael L. Seltzer · Michal Valko · Michelle Restrepo · Mihir Patel · Mik Vyatskov · Mikayel Samvelyan · Mike Clark · Mike Macey · Mike Wang · Miquel Jubert Hermoso · Mo Metanat · Mohammad Rastegari · Munish Bansal · Nandhini Santhanam · Natascha Parks · Natasha White · Navyata Bawa · Nayan Singhal · Nick Egebo · Nicolas Usunier · Nikhil Mehta · Nikolay Pavlovich Laptev · Ning Dong · Norman Cheng · Oleg Chernoguz · Olivia Hart · Omkar Salpekar · Ozlem Kalinli · Parkin Kent · Parth Parekh · Paul Saab · Pavan Balaji · Pedro Rittner · Philip Bontrager · Pierre Roux · Piotr Dollar · Polina Zvyagina · Prashant Ratanchandani · Pritish Yuvraj · Qian Liang · Rachad Alao · Rachel Rodriguez · Rafi Ayub · Raghotham Murthy · Raghu Nayani · Rahul Mitra · Rangaprabhu Parthasarathy · Raymond Li · Rebekkah Hogan · Robin Battey · Rocky Wang · Russ Howes · Ruty Rinott · Sachin Mehta · Sachin Siby · Sai Jayesh Bondu · Samyak Datta · Sara Chugh · Sara Hunt · Sargun Dhillon · Sasha Sidorov · Satadru Pan · Saurabh Mahajan · Saurabh Verma · Seiji Yamamoto · Sharadh Ramaswamy · Shaun Lindsay · Shaun Lindsay · Sheng Feng · Shenghao Lin · Shengxin Cindy Zha · Shishir Patil · Shiva Shankar · Shuqiang Zhang · Shuqiang Zhang · Sinong Wang · Sneha Agarwal · Soji Sajuyigbe · Soumith Chintala · Stephanie Max · Stephen Chen · Steve Kehoe · Steve Satterfield · Sudarshan Govindaprasad · Sumit Gupta · Summer Deng · Sungmin Cho · Sunny Virk · Suraj Subramanian · Sy Choudhury · Sydney Goldman · Tal Remez · Tamar Glaser · Tamara Best · Thilo Koehler · Thomas Robinson · Tianhe Li · Tianjun Zhang · Tim Matthews · Timothy Chou · Tzook Shaked · Varun Vontimitta · Victoria Ajayi · Victoria Montanez · Vijai Mohan · Vinay Satish Kumar · Vishal Mangla · Vlad Ionescu · Vlad Poenaru · Vlad Tiberiu Mihailescu · Vladimir Ivanov · Wei Li · Wenchen Wang · Wenwen Jiang · Wes Bouaziz · Will Constable · Xiaocheng Tang · Xiaojian Wu · Xiaolan Wang · Xilun Wu · Xinbo Gao · Yaniv Kleinman · Yanjun Chen · Ye Hu · Ye Jia · Ye Qi · Yenda Li · Yilin Zhang · Ying Zhang · Yossi Adi · Youngjin Nam · Yu · Wang · Yu Zhao · Yuchen Hao · Yundi Qian · Yunlu Li · Yuzi He · Zach Rait · Zachary DeVito · Zef Rosnbrick · Zhaoduo Wen · Zhenyu Yang · Zhiwei Zhao · Zhiyu Ma

発表先
正式な発表先は未確認
arXiv への初回投稿
arXiv:2407.21783
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{transformersllama32024,
  title = {{The Llama 3 Herd of Models}},
  author = {Aaron Grattafiori and Abhimanyu Dubey and Abhinav Jauhri and Abhinav Pandey and Abhishek Kadian and Ahmad Al-Dahle and Aiesha Letman and Akhil Mathur and Alan Schelten and Alex Vaughan and Amy Yang and Angela Fan and Anirudh Goyal and Anthony Hartshorn and Aobo Yang and Archi Mitra and Archie Sravankumar and Artem Korenev and Arthur Hinsvark and Arun Rao and Aston Zhang and Aurelien Rodriguez and Austen Gregerson and Ava Spataru and Baptiste Roziere and Bethany Biron and Binh Tang and Bobbie Chern and Charlotte Caucheteux and Chaya Nayak and Chloe Bi and Chris Marra and Chris McConnell and Christian Keller and Christophe Touret and Chunyang Wu and Corinne Wong and Cristian Canton Ferrer and Cyrus Nikolaidis and Damien Allonsius and Daniel Song and Danielle Pintz and Danny Livshits and Danny Wyatt and David Esiobu and Dhruv Choudhary and Dhruv Mahajan and Diego Garcia-Olano and Diego Perino and Dieuwke Hupkes and Egor Lakomkin and Ehab AlBadawy and Elina Lobanova and Emily Dinan and Eric Michael Smith and Filip Radenovic and Francisco Guzmán and Frank Zhang and Gabriel Synnaeve and Gabrielle Lee and Georgia Lewis Anderson and Govind Thattai and Graeme Nail and Gregoire Mialon and Guan Pang and Guillem Cucurell and Hailey Nguyen and Hannah Korevaar and Hu Xu and Hugo Touvron and Iliyan Zarov and Imanol Arrieta Ibarra and Isabel Kloumann and Ishan Misra and Ivan Evtimov and Jack Zhang and Jade Copet and Jaewon Lee and Jan Geffert and Jana Vranes and Jason Park and Jay Mahadeokar and Jeet Shah and Jelmer van der Linde and Jennifer Billock and Jenny Hong and Jenya Lee and Jeremy Fu and Jianfeng Chi and Jianyu Huang and Jiawen Liu and Jie Wang and Jiecao Yu and Joanna Bitton and Joe Spisak and Jongsoo Park and Joseph Rocca and Joshua Johnstun and Joshua Saxe and Junteng Jia and Kalyan Vasuden Alwala and Karthik Prasad and Kartikeya Upasani and Kate Plawiak and Ke Li and Kenneth Heafield and Kevin Stone and Khalid El-Arini and Krithika Iyer and Kshitiz Malik and Kuenley Chiu and Kunal Bhalla and Kushal Lakhotia and Lauren Rantala-Yeary and Laurens van der Maaten and Lawrence Chen and Liang Tan and Liz Jenkins and Louis Martin and Lovish Madaan and Lubo Malo and Lukas Blecher and Lukas Landzaat and Luke de Oliveira and Madeline Muzzi and Mahesh Pasupuleti and Mannat Singh and Manohar Paluri and Marcin Kardas and Maria Tsimpoukelli and Mathew Oldham and Mathieu Rita and Maya Pavlova and Melanie Kambadur and Mike Lewis and Min Si and Mitesh Kumar Singh and Mona Hassan and Naman Goyal and Narjes Torabi and Nikolay Bashlykov and Nikolay Bogoychev and Niladri Chatterji and Ning Zhang and Olivier Duchenne and Onur Çelebi and Patrick Alrassy and Pengchuan Zhang and Pengwei Li and Petar Vasic and Peter Weng and Prajjwal Bhargava and Pratik Dubal and Praveen Krishnan and Punit Singh Koura and Puxin Xu and Qing He and Qingxiao Dong and Ragavan Srinivasan and Raj Ganapathy and Ramon Calderer and Ricardo Silveira Cabral and Robert Stojnic and Roberta Raileanu and Rohan Maheswari and Rohit Girdhar and Rohit Patel and Romain Sauvestre and Ronnie Polidoro and Roshan Sumbaly and Ross Taylor and Ruan Silva and Rui Hou and Rui Wang and Saghar Hosseini and Sahana Chennabasappa and Sanjay Singh and Sean Bell and Seohyun Sonia Kim and Sergey Edunov and Shaoliang Nie and Sharan Narang and Sharath Raparthy and Sheng Shen and Shengye Wan and Shruti Bhosale and Shun Zhang and Simon Vandenhende and Soumya Batra and Spencer Whitman and Sten Sootla and Stephane Collot and Suchin Gururangan and Sydney Borodinsky and Tamar Herman and Tara Fowler and Tarek Sheasha and Thomas Georgiou and Thomas Scialom and Tobias Speckbacher and Todor Mihaylov and Tong Xiao and Ujjwal Karn and Vedanuj Goswami and Vibhor Gupta and Vignesh Ramanathan and Viktor Kerkez and Vincent Gonguet and Virginie Do and Vish Vogeti and Vítor Albiero and Vladan Petrovic and Weiwei Chu and Wenhan Xiong and Wenyin Fu and Whitney Meers and Xavier Martinet and Xiaodong Wang and Xiaofang Wang and Xiaoqing Ellen Tan and Xide Xia and Xinfeng Xie and Xuchao Jia and Xuewei Wang and Yaelle Goldschlag and Yashesh Gaur and Yasmine Babaei and Yi Wen and Yiwen Song and Yuchen Zhang and Yue Li and Yuning Mao and Zacharie Delpierre Coudert and Zheng Yan and Zhengxing Chen and Zoe Papakipos and Aaditya Singh and Aayushi Srivastava and Abha Jain and Adam Kelsey and Adam Shajnfeld and Adithya Gangidi and Adolfo Victoria and Ahuva Goldstand and Ajay Menon and Ajay Sharma and Alex Boesenberg and Alexei Baevski and Allie Feinstein and Amanda Kallet and Amit Sangani and Amos Teo and Anam Yunus and Andrei Lupu and Andres Alvarado and Andrew Caples and Andrew Gu and Andrew Ho and Andrew Poulton and Andrew Ryan and Ankit Ramchandani and Annie Dong and Annie Franco and Anuj Goyal and Aparajita Saraf and Arkabandhu Chowdhury and Ashley Gabriel and Ashwin Bharambe and Assaf Eisenman and Azadeh Yazdan and Beau James and Ben Maurer and Benjamin Leonhardi and Bernie Huang and Beth Loyd and Beto De Paola and Bhargavi Paranjape and Bing Liu and Bo Wu and Boyu Ni and Braden Hancock and Bram Wasti and Brandon Spence and Brani Stojkovic and Brian Gamido and Britt Montalvo and Carl Parker and Carly Burton and Catalina Mejia and Ce Liu and Changhan Wang and Changkyu Kim and Chao Zhou and Chester Hu and Ching-Hsiang Chu and Chris Cai and Chris Tindal and Christoph Feichtenhofer and Cynthia Gao and Damon Civin and Dana Beaty and Daniel Kreymer and Daniel Li and David Adkins and David Xu and Davide Testuggine and Delia David and Devi Parikh and Diana Liskovich and Didem Foss and Dingkang Wang and Duc Le and Dustin Holland and Edward Dowling and Eissa Jamil and Elaine Montgomery and Eleonora Presani and Emily Hahn and Emily Wood and Eric-Tuan Le and Erik Brinkman and Esteban Arcaute and Evan Dunbar and Evan Smothers and Fei Sun and Felix Kreuk and Feng Tian and Filippos Kokkinos and Firat Ozgenel and Francesco Caggioni and Frank Kanayet and Frank Seide and Gabriela Medina Florez and Gabriella Schwarz and Gada Badeer and Georgia Swee and Gil Halpern and Grant Herman and Grigory Sizov and Guangyi and Zhang and Guna Lakshminarayanan and Hakan Inan and Hamid Shojanazeri and Han Zou and Hannah Wang and Hanwen Zha and Haroun Habeeb and Harrison Rudolph and Helen Suk and Henry Aspegren and Hunter Goldman and Hongyuan Zhan and Ibrahim Damlaj and Igor Molybog and Igor Tufanov and Ilias Leontiadis and Irina-Elena Veliche and Itai Gat and Jake Weissman and James Geboski and James Kohli and Janice Lam and Japhet Asher and Jean-Baptiste Gaya and Jeff Marcus and Jeff Tang and Jennifer Chan and Jenny Zhen and Jeremy Reizenstein and Jeremy Teboul and Jessica Zhong and Jian Jin and Jingyi Yang and Joe Cummings and Jon Carvill and Jon Shepard and Jonathan McPhie and Jonathan Torres and Josh Ginsburg and Junjie Wang and Kai Wu and Kam Hou U and Karan Saxena and Kartikay Khandelwal and Katayoun Zand and Kathy Matosich and Kaushik Veeraraghavan and Kelly Michelena and Keqian Li and Kiran Jagadeesh and Kun Huang and Kunal Chawla and Kyle Huang and Lailin Chen and Lakshya Garg and Lavender A and Leandro Silva and Lee Bell and Lei Zhang and Liangpeng Guo and Licheng Yu and Liron Moshkovich and Luca Wehrstedt and Madian Khabsa and Manav Avalani and Manish Bhatt and Martynas Mankus and Matan Hasson and Matthew Lennie and Matthias Reso and Maxim Groshev and Maxim Naumov and Maya Lathi and Meghan Keneally and Miao Liu and Michael L. Seltzer and Michal Valko and Michelle Restrepo and Mihir Patel and Mik Vyatskov and Mikayel Samvelyan and Mike Clark and Mike Macey and Mike Wang and Miquel Jubert Hermoso and Mo Metanat and Mohammad Rastegari and Munish Bansal and Nandhini Santhanam and Natascha Parks and Natasha White and Navyata Bawa and Nayan Singhal and Nick Egebo and Nicolas Usunier and Nikhil Mehta and Nikolay Pavlovich Laptev and Ning Dong and Norman Cheng and Oleg Chernoguz and Olivia Hart and Omkar Salpekar and Ozlem Kalinli and Parkin Kent and Parth Parekh and Paul Saab and Pavan Balaji and Pedro Rittner and Philip Bontrager and Pierre Roux and Piotr Dollar and Polina Zvyagina and Prashant Ratanchandani and Pritish Yuvraj and Qian Liang and Rachad Alao and Rachel Rodriguez and Rafi Ayub and Raghotham Murthy and Raghu Nayani and Rahul Mitra and Rangaprabhu Parthasarathy and Raymond Li and Rebekkah Hogan and Robin Battey and Rocky Wang and Russ Howes and Ruty Rinott and Sachin Mehta and Sachin Siby and Sai Jayesh Bondu and Samyak Datta and Sara Chugh and Sara Hunt and Sargun Dhillon and Sasha Sidorov and Satadru Pan and Saurabh Mahajan and Saurabh Verma and Seiji Yamamoto and Sharadh Ramaswamy and Shaun Lindsay and Shaun Lindsay and Sheng Feng and Shenghao Lin and Shengxin Cindy Zha and Shishir Patil and Shiva Shankar and Shuqiang Zhang and Shuqiang Zhang and Sinong Wang and Sneha Agarwal and Soji Sajuyigbe and Soumith Chintala and Stephanie Max and Stephen Chen and Steve Kehoe and Steve Satterfield and Sudarshan Govindaprasad and Sumit Gupta and Summer Deng and Sungmin Cho and Sunny Virk and Suraj Subramanian and Sy Choudhury and Sydney Goldman and Tal Remez and Tamar Glaser and Tamara Best and Thilo Koehler and Thomas Robinson and Tianhe Li and Tianjun Zhang and Tim Matthews and Timothy Chou and Tzook Shaked and Varun Vontimitta and Victoria Ajayi and Victoria Montanez and Vijai Mohan and Vinay Satish Kumar and Vishal Mangla and Vlad Ionescu and Vlad Poenaru and Vlad Tiberiu Mihailescu and Vladimir Ivanov and Wei Li and Wenchen Wang and Wenwen Jiang and Wes Bouaziz and Will Constable and Xiaocheng Tang and Xiaojian Wu and Xiaolan Wang and Xilun Wu and Xinbo Gao and Yaniv Kleinman and Yanjun Chen and Ye Hu and Ye Jia and Ye Qi and Yenda Li and Yilin Zhang and Ying Zhang and Yossi Adi and Youngjin Nam and Yu and Wang and Yu Zhao and Yuchen Hao and Yundi Qian and Yunlu Li and Yuzi He and Zach Rait and Zachary DeVito and Zef Rosnbrick and Zhaoduo Wen and Zhenyu Yang and Zhiwei Zhao and Zhiyu Ma},
  year = {2024},
  eprint = {2407.21783},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2407.21783}
}
このページの内容

2024 年 7 月、Meta は Llama 3.1 シリーズの重みを公開した。最大のモデルは 4,050 億パラメータを持つ。

それまで、GPT-4 と正面から比べられるモデルは API 経由でしか使えなかった。多くのベンチマークで GPT-4 と互角のモデルを、重みごと直接ダウンロードできたのは、これが初めてだった。

重みと一緒に公開されたのは、九十数ページの技術報告だ。タイトルは「Llama 3 モデル群」(Herd of Models)。8B、70B、405B の三サイズを扱い、データのクリーニング、スケーリング則、訓練基盤、後訓練から推論までを書き、最後には画像、動画、音声の拡張実験まで付いている。

これほど長い報告は、ただの一覧表として読んでしまいやすい。このノートでは別の読み方をとり、報告自身が強調する一つの原則、開発プロセスをシンプルに保つことに沿って進む。Meta はこの原則のために、より新しい選択肢をいくつか見送り、要所ではごく素朴な技法を使った。複数のモデルを平均するのだ。

問題の定義

著者らは、高品質な基盤モデルを開発するためのレバーが三つあると考える。データ、規模、そして複雑さの管理だ。

最初の二つは直観的だ。データでは、Llama 3 は約 15T の多言語 token で事前訓練された。Llama 2 は 1.8T だけだった。規模では、405B のフラッグシップモデルが 3.8×10253.8\times10^{25} FLOPs を使い、Llama 2 の最大版の約 50 倍になる。

三つ目のレバーは、もう少し詳しく見ておきたい。著者らはアーキテクチャに標準の密な Transformer を選び、混合専門家(MoE)は使わなかった。後訓練には教師あり微調整(SFT)、拒否サンプリング(rejection sampling)、DPO の組合せを選び、PPO のような強化学習は使わなかった。理由はどれも同じで、訓練が安定し、規模を広げやすいからだ。

まず規模を検算しよう。密な Transformer の訓練計算量はよく 6ND6ND で見積もられる。NN はパラメータ数、DD は訓練 token 数だ。

6×(405×109)×(15.6×1012)≈3.79×10256 \times (405\times10^9) \times (15.6\times10^{12}) \approx 3.79\times10^{25}

報告の 3.8×10253.8\times10^{25} と一致する。全期間を通じて 16,384 枚の H100 を使い、各 GPU が実効 400 TFLOPs で動いたとすると、純粋な計算時間は約 3.8×1025/(16384×4×1014)≈5.8×1063.8\times10^{25} / (16384\times4\times10^{14}) \approx 5.8\times10^6 秒、つまり 67 日ほどになる。これは粗い見積もりにすぎず、実際には訓練の前半に使った GPU はもっと少なく、さまざまな中断もある。

一万枚を超える GPU で二か月以上続けて安定に動かすとなると、「少しだけ複雑さを足す」選択の一つひとつが、訓練の中断一回に化けかねない。これが報告全体の背景だ。

問題を解く

データ:量よりクリーニングに手間がかかる

事前訓練データの知識カットオフは 2023 年末で、大部分はウェブから来ている。クリーニングの流れは次の手順からなる。

  1. HTML パーサーを自作する。数学とコードの内容は構造を残す。数式は画像で表示され、式が alt 属性に書かれていることが多いので、alt テキストも残す。また著者らは、ウェブデータが中心のモデルには Markdown 記法がかえって有害だと気づき、すべて取り除いた。
  2. 三段階の重複除去。URL レベルでは最新版を残し、文書レベルでは MinHash で近似重複を除く。行レベルはかなり大胆で、3,000 万文書ごとに 6 回を超えて現れる行をすべて削除する。これで高品質なありふれた文も一部消えたと著者らは認めているが、評価でははっきり効果があった。
  3. モデルによる品質フィルタリング。fastText で、ある文章が「Wikipedia に引用されそうか」を判定し、さらに Llama 2 がラベル付けしたデータで DistilRoberta を訓練して品質スコアを付ける。コードと数学には専用の分類器と抽出の流れがある。多言語データは、まず言語識別で 176 言語に分け、それぞれ重複除去とフィルタリングを行う。

最終的なデータ配合は、おおよそ一般知識 50%、数学と推論 25%、コード 17%、多言語 8% だ。

配合はスケーリング則の実験で決めた。まず小さいモデルで異なる配合を試し、大きいモデルの性能を予測する。小規模な領域データセットについては、著者らはもっと安価な方法で価値を評価した。訓練途中の 8B モデルを取り、40B token で学習率を 0 まで線形にアニーリングする。アニーリングデータのうち新しいデータセットを 30% にして、スコアの変化を見る。小さなデータセットごとにスケーリング則の実験を回すより、ずっと安く済む。

規模:スケーリング則で試験の点数を予測する

一般的なスケーリング則が予測するのは次 token の損失だが、本当に気になるのはベンチマークのスコアだ。著者らは二段階で対応した。

  1. まず「計算量」と「下流タスクの正解の負の対数尤度(NLL)」の関係をフィットする。使うのは、計算量が 6×10186\times10^{18} から 102210^{22} FLOPs、40M から 16B パラメータの小さなモデルだ。
  2. 次に「NLL」と「精度」の S 字型の関係をフィットする。この段階では Llama 2 系列のモデルも加える。小さいモデルよりはるかに多くの計算量を使っているからだ。
原論文 Figure 2 と Figure 3:左図は IsoFLOPs 曲線で、横軸は訓練 token 数(対数軸)、縦軸は検証損失。各曲線は 6e18 から 1e22 FLOPs までの固定の計算予算を一つずつ表し、お椀形をしていて、紫の点が各曲線の最低点。右図はこれらの最低点を、計算量(横軸)対最適な訓練 token 数(縦軸)の両対数座標に描いたもので、ほぼ一直線上に並び、フィットしたパラメータは α = 0.537、A = 0.299。
原論文 Figure 2 と Figure 3(Llama Team, AI @ Meta)、PDF 8 ページより。arXiv ライセンス、学術引用。

左図の各曲線は、一つの固定した計算予算に対応する。同じ予算なら、モデルを少し小さくすればより多くの token を見られ、大きくすれば見られる token は少なくなる。曲線の最低点が、その予算での最良の配分だ。右図で各最低点をつなぐと、最適な訓練 token 数 N⋆N^\star と計算量 CC はべき乗の関係になる。

N⋆(C)=A CαN^\star(C) = A\,C^{\alpha}

報告は 3.8×10253.8\times10^{25} FLOPs まで外挿し、「402B パラメータ、16.55T token」という推奨を得た。ここに、一度自分で計算してみたい小さな細部がある。図の α=0.537\alpha=0.537、A=0.299A=0.299 を代入すると約 16.3T token になり、報告の数字に近い。ところが本文はパラメータを小数点以下二桁だけ取った (0.53,0.29)(0.53, 0.29) と書いており、これを代入すると約 10.5T になる。指数の差はわずか 0.007 なのに、四桁先まで外挿すると五割も違ってくる。スケーリング則の外挿はそれほど敏感だ。

著者らは、計算予算が大きいほど IsoFLOPs 曲線の底が平らになり、モデルサイズが最適値から少しずれても影響が小さいことにも気づき、最終的に 405B を選んだ。下流の予測もうまくいった。ARC Challenge では、この二段階の方法で四桁先まで外挿しても、最終成績をわずかに低く見積もっただけだった。

アーキテクチャ:ほとんど変わらない

Llama 3 のアーキテクチャは Llama 2 とほぼ同じで、性能の向上は主にデータと規模から来ていると著者らは明言している。変更は四点だけだ。

  1. グループ化クエリ注意(GQA):key-value ヘッドを 8 個にし、推論時の KV キャッシュを減らす。
  2. 文書マスク:一つの系列に別々の文書が連結されているとき、互いに注意できないようにする。通常の事前訓練では影響が小さいが、非常に長い系列で事前訓練を続けるときには重要になる。
  3. 128K の語彙:tiktoken の 100K token に、英語以外の 28K token を加える。英語の圧縮率は 1 token あたり 3.17 文字から 3.94 文字に上がり、同じ計算量でより多くの文章を「読める」。
  4. RoPE の基底周波数を 500,000 に引き上げる:より長いコンテキストに対応する。

405B の構成は 126 層、隠れ次元 16,384、注意ヘッド 128 個だ。

訓練基盤:一万六千枚の GPU の日常

405B は最大で 16K 枚の H100 を同時に使った。モデルは 4D 並列で分割する。テンソル並列、パイプライン並列、コンテキスト並列、データ並列(FSDP)だ。GPU 8K 枚、系列長 8K のとき、BF16 のモデル FLOPs 使用率(MFU)は約 43%。16K 枚に広げると 41%、長文脈段階の系列長 131K では 38% だった。

報告で最も現場の空気が伝わってくるのは、障害の統計だ。54 日の観測期間に、訓練は計 466 回中断した。うち 47 回は計画的なメンテナンス、419 回は予期しないものだった。予期しない中断の約 78% はハードウェアの問題と確認されたか、その疑いがあり、最も多いのは GPU 自体と HBM3 メモリだった。それでも実効訓練時間は 90% を超えた。

著者らがなぜあれほど安定性を気にするのか、これでわかる。同期訓練では、GPU が一枚おかしくなるだけで、ジョブ全体をやり直すことになりかねない。

事前訓練のレシピ:三段階

  1. 初期の事前訓練:AdamW、ピーク学習率 8×10−58\times10^{-5}、ウォームアップ 8,000 ステップ、cosine で 8×10−78\times10^{-7} まで減衰させる。バッチは安定のため最初は小さく、4M token、系列長 4,096。252M token まで訓練したところで 8M token、系列長 8,192 に倍増し、2.87T token で再び 16M に倍増する。著者らによれば、このレシピはとても安定しており、損失スパイクはほとんどなかった。途中でデータ配合も調整しており、たとえば英語以外のデータを増やし、数学データをアップサンプリングし、より新しいウェブデータを加えた。
  2. 長文脈の事前訓練:コンテキスト長を 8K から六段階で少しずつ 128K まで伸ばし、合計約 800B token を使う。各段階で、短いコンテキストの性能が完全に戻り、その長さで「干し草の山から針を探す」テストに全問正解したことを確かめてから、次の段階へ進む。
  3. アニーリング:最後の 4,000 万 token で学習率を 0 まで線形に下げ、同時に高品質データをアップサンプリングし、アニーリング中の checkpoint を平均して最終的な事前訓練モデルとする。

三点目が、このノートで注目する一つ目の「平均」だ。報告はこれを一文で済ませ、Polyak 平均を引用するだけで、checkpoint をいくつ取ったのか、どれだけ改善したのかは書いていない。

後訓練:六ラウンドの SFT と DPO

原論文 Figure 7:後訓練の流れ図。集めたプロンプトを前のラウンドの最良モデルに渡してそれぞれ K 個の回答を生成させ、報酬モデルによる拒否サンプリングで SFT データを得て SFT モデルを訓練し、さらに DPO で最終モデルに仕上げる。最良モデルは次のラウンドに戻って生成を続ける。報酬モデルと DPO はどちらも人手でラベル付けしたペアの選好データを使い、SFT には能力ごとの専用データも加える。
原論文 Figure 7(Llama Team, AI @ Meta)、PDF 15 ページより。arXiv ライセンス、学術引用。

この図は左から右へ読み、上の矢印に沿って戻ってくる。

まず人手でラベル付けした選好データで報酬モデルを訓練する。アノテーターはよりよい回答を選ぶだけでなく、ときにはそれをさらに書き直してよくするので、一件のデータに「編集後 > 選択 > 非選択」の三段階がありうる。次に各プロンプトについて、前のラウンドの最良モデルから 10~30 個の回答をサンプリングし、報酬モデルが最良の一つを選ぶ。これが拒否サンプリングで、選ばれた回答が SFT の訓練データになる。

SFT の学習率は 10−510^{-5} で、8,500~9,000 ステップ訓練する。その後 DPO を行い、学習率 10−510^{-5}、β=0.1\beta=0.1 とし、二つの修正を加える。

  1. 書式 token の損失を計算しない。対話の開始・終了マーカーはよい回答にも悪い回答にも現れ、DPO はその確率を同時に上げようとも下げようともする。著者らは、これが繰り返し出力や唐突な終了を招くことに気づいた。
  2. NLL 正則化項を加える。係数は 0.2 で、選ばれた回答の確率が下がり続けるのを防ぐ。

著者らは PPO も試したが、DPO のほうが大きいモデルで計算が少なく済み、IFEval のような指示追従の評価でも成績がよかった。

この流れ全体を六ラウンド繰り返し、各ラウンドで新しく集めたラベルと、最新モデルが生成した合成データを使う。

そして二つ目の「平均」が来る。報酬モデル、SFT、DPO の各段階で、著者らは異なるデータ版やハイパーパラメータで訓練したモデルを平均しており、引用しているのはまさに SWA と Model Soups だ。ここでも報告はアブレーション結果を示していない。

能力:分岐した専門モデルと実行フィードバック

後訓練データの大部分はモデルが生成したものなので、品質管理が重点になる。著者らは Llama 3 8B でトピックを分類し、報酬モデルのスコアと Llama による自己評価の二つのシグナルで品質を見積もり、さらに難易度を見積もる。最後に意味的なクラスタの中で重複を除き、品質と難易度の高いサンプルを優先して残す。

能力ごとに専用のやり方もあり、最も代表的なものが二つある。

コード。著者らは事前訓練の本線から分岐を作り、85% 以上がコードの 1T token で事前訓練を続けて、コード専門モデルを得た。コード関連の高品質データを生成するための専用モデルだ。合成データは合計 270 万件を超える。

最も面白い発見は、8B と 70B は 405B が生成したデータで訓練すると明らかに伸びるのに、405B は自分自身が生成したデータで訓練しても効果がなく、悪化することさえあった点だ。著者らの解決策は、実行フィードバックの導入だった。生成したコードは構文チェック、静的解析、モデル自身が書いた単体テストを通らなければならず、失敗したらエラーメッセージを返して修正を求め、すべて通った対話だけが訓練データに入る。約 20% の解答は最初は誤っていたが、その後自力で修正に成功した。

長文脈。短いデータだけで SFT すると、事前訓練で身につけた長文脈の能力が目に見えて劣化する。しかし長い文書に人手でラベルを付けるのはほぼ不可能なので、代わりに合成データを使う。長文書の質問応答、階層的な要約、削除されたコードファイルの特定などだ。アブレーションでは、長文脈の合成データを SFT に 0.1% 混ぜるだけで十分だとわかった。

議論

成績

後訓練を終えた 405B は、報告の Table 2 で、当時最強のクローズドモデルとおおむね同等だった。

ベンチマークLlama 3 405BGPT-4oClaude 3.5 Sonnet
MMLU(5-shot)87.389.189.9
MMLU-Pro(5-shot、CoT)73.374.077.0
HumanEval(0-shot)89.090.292.0
GSM8K(8-shot、CoT)96.896.196.4
MATH(0-shot、CoT)73.876.671.1
GPQA(0-shot、CoT)51.153.659.4

多くの項目で差は数ポイント以内にあり、GSM8K と IFEval ではわずかに勝ち、GPQA でははっきり劣る。

人手評価の結論も似ている。GPT-4(0125 版)とはほぼ互角で、GPT-4o と Claude 3.5 Sonnet には勝ち負けがあり、コードと推論では Claude 3.5 Sonnet に劣る。人手評価は口調、構成、長さといった細部に大きく左右される、と著者らは注意も促している。

推論:一台のマシンに収まらない

405B を BF16 で保存すると、H100 を 8 枚積んだマシン一台には収まらず、二台にまたがるパイプライン並列にするしかない。そこで著者らは FP8 量子化を行った。量子化するのはフィードフォワードネットワーク内の重みと活性値の大部分で、この部分が推論計算時間の約半分を占める。注意層は量子化せず、最初と最後の Transformer 層も量子化しない。

ここにはとても実用的な観察がある。標準の評価では FP8 と BF16 はほとんど変わらなかったが、動的スケーリング係数の上限を制限しないと、モデルがときどき意味不明な回答を出し、しかも評価ではそれが見えないことに著者らは気づいた。そこで 10 万件の回答に対する報酬モデルのスコア分布で両者を比べ、スケーリング係数の上限を 1200 にして、行単位の量子化に切り替えた。FP8 はプレフィル段階のスループットを最大 50% 高める。

マルチモーダルは実験にとどまる

画像、動画、音声の能力は、凍結した言語モデルの横にエンコーダとアダプタをつないで実現する。画像は交差注意層を通じて接続し、音声は token 表現に変換して直接入力する。報告の執筆時点ではこれらのモデルはまだ開発中で、3.1 版と一緒には公開されなかった。

視覚部分の後訓練には三つ目の「平均」が現れ、今回は報告の記述がやや具体的だ。画像 SFT のやり方は Model Soups にならっている。まず異なるデータの部分集合、学習率、重み減衰でハイパーパラメータ探索を一巡し、性能順に並べて上位 KK 個の重みを平均する。KK 自体も、平均後のモデルを評価して決める。著者らによれば、平均したモデルはグリッドサーチで見つけた最良の単一モデルより一貫してよく、ハイパーパラメータの影響も受けにくい。視覚の DPO では参照モデルを固定せず、kk ステップごとに指数移動平均で更新し、人手評価の成績がよくなった。

報告の中で珍しい一節

結論には、技術報告ではめったに見ない一節がある。技術的な問題だけでなく、組織上の決定も重要だと著者らは述べる。たとえば事前訓練データは別のチームが取得と処理を担当し、このチームはデータがベンチマークで汚染されないよう明確に求められていた。人手評価も、モデル開発に関わらない少数の研究者だけが実行・閲覧できるようにした。

この報告を読むときに覚えておくこと

この報告は「何をしたか」を大量に書いているが、多くの決定にはアブレーションが付いていない。なぜ MoE を使わないのか、checkpoint 平均とモデル平均がそれぞれどれだけ効いたのか、報告は結論か一文を示すだけだ。事前訓練データの出所と中身も公開されておらず、第三者は再現できない。

モデルマージの観点から見ると、この報告の意義は、「平均」がすでに大手研究所の標準工程になっていることを示した点にある。事前訓練のアニーリングでは checkpoint を平均し、後訓練の各段階では異なる設定のモデルを平均し、視覚アダプタの SFT でも上位のモデルを平均する。ただ、どう平均し、いくつ平均するのかは、後の論文に委ねられた。

結論

Llama 3 が進んだのは、より多く、よりきれいなデータ、より大きな規模、そして意図してシンプルに保ったアーキテクチャと後訓練という路線だ。MoE も PPO も使わないモデルでも、データと規模がそろえば、当時最良のクローズドモデルと肩を並べられることを示した。

報告には実用的な細部も多く残っている。アニーリングで小さなデータセットを評価すること、405B に自分の生成データばかり食べさせてはいけないこと、長文脈には 0.1% の合成データで足りること、FP8 量子化ではベンチマークのスコアだけでなく報酬スコアの分布を見ること。

そして組織についてのあの注意は、一年後にとりわけ重く響いた。2025 年 4 月に Llama 4 が公開されたとき、LMArena での高い順位は、対話向けに特別に調整した実験版によるものだった。LMArena はその後、Meta の規則の解釈はモデル提供者に期待するものと合わないと表明し、リーダーボードの方針を更新した。技術報告をどれほど丁寧に書いても、評価の信頼性は結局、組織が守るしかない。