Retour à la bibliothèque
arXiv 2022NeurIPS 2022Langage et TransformersNotes de lecture

Chinchilla

Le regard du chinchilla

Article original

Training Compute-Optimal Large Language Models

Auteurs de l’article

Jordan Hoffmann · Sebastian Borgeaud · Arthur Mensch …

Afficher les 22 auteurs

Jordan Hoffmann · Sebastian Borgeaud · Arthur Mensch · Elena Buchatskaya · Trevor Cai · Eliza Rutherford · Diego de Las Casas · Lisa Anne Hendricks · Johannes Welbl · Aidan Clark · Tom Hennigan · Eric Noland · Katie Millican · George van den Driessche · Bogdan Damoc · Aurelia Guy · Simon Osindero · Karen Simonyan · Erich Elsen · Jack W. Rae · Oriol Vinyals · Laurent Sifre

Publication
NeurIPS 2022Conférence
Premier dépôt sur arXiv
arXiv:2203.15556
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{transformerschinchilla2022,
  title = {{Training Compute-Optimal Large Language Models}},
  author = {Jordan Hoffmann and Sebastian Borgeaud and Arthur Mensch and Elena Buchatskaya and Trevor Cai and Eliza Rutherford and Diego de Las Casas and Lisa Anne Hendricks and Johannes Welbl and Aidan Clark and Tom Hennigan and Eric Noland and Katie Millican and George van den Driessche and Bogdan Damoc and Aurelia Guy and Simon Osindero and Karen Simonyan and Erich Elsen and Jack W. Rae and Oriol Vinyals and Laurent Sifre},
  year = {2022},
  eprint = {2203.15556},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2203.15556}
}
Sur cette page

Nous n'avons même plus envie de commenter les noms farfelus que les auteurs donnent à leurs modèles.

Cet article prolonge les Scaling Laws. Ses auteurs remettent en question certaines idées précédentes et proposent une autre stratégie d'entraînement.

Définir le problème

Les modèles de langage récents, qu'ils soient des Transformers denses ou des mélanges d'experts (MoE), sont de plus en plus grands. On parle vite de dizaines de milliards, voire de plus de cinquante milliards de paramètres.

Cette croissance entraîne plusieurs problèmes : les coûts d'entraînement et d'inférence s'envolent, et il faut des jeux de données plus vastes et de meilleure qualité pour nourrir ces modèles. Sans cela, même un modèle énorme risque de décevoir.

La question que posent les auteurs est la suivante :

  • Pour un budget de calcul (FLOPs) fixé, quelle combinaison de « taille du modèle » et de « volume de données » minimise la perte finale du préentraînement ?

Les Scaling Laws avaient déjà tenté de répondre à la question « quelle taille de modèle choisir pour un budget de calcul donné ? ». Mais leurs expériences fixaient le nombre de tokens d'entraînement et le calendrier du taux d'apprentissage ; leur conclusion sur ce choix est donc en partie biaisée.

  • Leur analyse tend à recommander d'agrandir surtout le modèle, sans augmenter les données dans la même mesure.

Les auteurs du présent article estiment qu'en adaptant le taux d'apprentissage et la durée d'entraînement l'un à l'autre, la taille du modèle et le nombre de tokens d'entraînement devraient croître à peu près dans les mêmes proportions.

Plus formellement, ils définissent la solution optimale ainsi :

Nopt(C),Dopt(C)  =  arg⁡min⁡N,D    s.t.    FLOPs(N,D)=C L(N,D),N_{\text{opt}}(C), D_{\text{opt}}(C) \;=\; \arg\min_{N,D \;\;s.t.\;\; \text{FLOPs}(N,D)=C}\, L(N,D),

où :

  • NN est le nombre de paramètres du modèle ;
  • DD est le nombre de tokens d'entraînement, qui représente le volume de données ;
  • CC est le budget de calcul fixé, soit le nombre de FLOPs disponibles pour l'entraînement ;
  • L(N,D)L(N, D) est la perte de préentraînement d'un modèle de NN paramètres après avoir vu DD tokens.

Trouver simultanément la bonne taille du modèle (N) et le bon nombre de tokens (D) pour un budget (C) donné : voilà l'objectif de l'article.

Résoudre le problème

Avant de poursuivre, gardons ces trois symboles en tête :

  • CC : le budget de calcul (FLOPs) ;
  • NN : la taille du modèle (nombre de paramètres) ;
  • DD : le volume de données d'entraînement (nombre de tokens).

Les auteurs proposent trois méthodes pour estimer comment les valeurs optimales de NN et de DD évoluent avec CC.

Méthode 1 : taille du modèle fixée (NN)

Ils choisissent d'abord plusieurs tailles de modèle, puis entraînent chaque taille sur différentes quantités de données.

Les modèles vont d'environ 70 millions à plus de 10 milliards de paramètres. Chaque taille donne lieu à quatre entraînements indépendants, avec jusqu'à un facteur 16 entre les volumes de données. Le taux d'apprentissage décroît selon un calendrier propre à l'entraînement ; les courbes de perte sont ensuite lissées et interpolées.

Cela permet de poser une question concrète : pour un budget de FLOPs CC, quelle combinaison (N,D)(N, D) donne la plus faible perte L(N,D)L(N,D) ?

Mathématiquement, il s'agit de résoudre :

Nopt(C),Dopt(C)=arg⁡min⁡N,D  s.t.  FLOPs(N,D)=CL(N,D).N_{\text{opt}}(C), D_{\text{opt}}(C) = \arg\min_{N, D \; s.t. \; \text{FLOPs}(N,D)=C} L(N,D).

Les auteurs examinent 1 500 valeurs de CC réparties sur une échelle logarithmique et relèvent les valeurs correspondantes de Nopt(C)N_{\text{opt}}(C) et Dopt(C)D_{\text{opt}}(C).

L'ajustement donne approximativement :

a=0.50,b=0.50a = 0.50, \quad b = 0.50

Autrement dit, lorsque CC augmente, les paramètres NN et les tokens DD devraient chacun croître à peu près comme C0.5C^{0.5}. Les travaux antérieurs suggéraient plutôt de faire croître le modèle plus vite que les données.

Voici le résultat :

À gauche, les courbes correspondent à différentes tailles de modèle NN et quantités de données. L'axe horizontal représente les FLOPs consommés pendant l'entraînement ; l'axe vertical, la perte LL.

Les auteurs tracent ces courbes, puis en prennent l'enveloppe inférieure : pour chaque budget CC, ils cherchent la plus petite perte observée ou interpolée, Lmin⁡(C)L_{\min}(C).

Cette enveloppe indique si une autre combinaison (N,D)(N,D) peut réduire la perte pour le même budget. Si oui, il reste à ajuster le rapport entre taille du modèle et nombre de tokens.

Au milieu, le graphique montre la taille optimale du modèle, Nopt(C)N_{\text{opt}}(C), inférée à partir de l'enveloppe pour différents budgets CC.

À droite, on lit le nombre optimal de tokens, Dopt(C)D_{\text{opt}}(C). Les auteurs ajustent ensuite des lois de puissance de la forme Nopt(C)∝CaN_{\text{opt}}(C) \propto C^a et Dopt(C)∝CbD_{\text{opt}}(C) \propto C^b.

La ligne verte pointillée repère, à titre de comparaison, le budget de Gopher : environ 5.76×10235.76 \times 10^{23} FLOPs.

À budget égal, les tailles optimales extrapolées pour NN et DD diffèrent nettement du choix fait pour Gopher. Selon cette analyse, une autre répartition pourrait donner une perte plus faible avec autant de calcul.

Méthode 2 : budget d'entraînement fixé (CC)

Cette fois, les auteurs fixent neuf budgets de FLOPs. Pour chaque budget CC, ils font varier NN et ajustent DD afin que l'entraînement consomme ce même budget CC.

Ils se déplacent donc le long d'une ligne de FLOPs constants et observent la perte finale LL pour différentes tailles de modèle.

La courbe devrait avoir une forme en U : à budget constant, une certaine taille Nopt(C)N_{\text{opt}}(C) donne la perte minimale. Les auteurs ajustent une parabole pour situer ce minimum.

Les points ainsi obtenus servent à ajuster des lois de puissance :

Nopt∝CaetDopt∝Cb.N_{\text{opt}} \propto C^a \quad \text{et} \quad D_{\text{opt}} \propto C^b.

Voici le résultat :

Ils trouvent a≈0.49a \approx 0.49 et b≈0.51b \approx 0.51.

Lorsque le budget CC augmente, la taille du modèle NN et le nombre de tokens DD devraient donc progresser ensemble, approximativement comme C\sqrt{C}.

Les auteurs extrapolent enfin cette relation au budget de FLOPs de Gopher, représenté en vert sur le graphique.

La conclusion rejoint celle de la première méthode : certains grands modèles seraient trop gros et trop peu entraînés. À budget égal, un modèle plus petit nourri de davantage de tokens pourrait théoriquement atteindre une perte finale inférieure.

Méthode 3 : modèle paramétrique commun

Puisqu'ils disposent de nombreux résultats (N,D,L)(N,D,L) issus des deux premières méthodes, pourquoi ne pas ajuster directement une fonction mathématique à toutes les pertes finales et en déduire la règle optimale ?

Ils supposent la forme suivante :

L^(N,D)=E+ANα+BDβ.\hat{L}(N,D) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta}.

Dans ce modèle :

  • EE représente une borne inférieure théorique de la perte sur le corpus naturel, analogue à son entropie ;
  • ANα\frac{A}{N^\alpha} représente le biais qui demeure lorsqu'un modèle de taille finie est entraîné autant que possible. Agrandir NN le rapproche du processus idéal sans effacer totalement cet écart ;
  • BDβ\frac{B}{D^\beta} représente l'erreur liée à un nombre insuffisant de tokens et d'étapes d'entraînement. Elle diminue lorsque DD augmente.

Les auteurs utilisent ensuite l'optimiseur L-BFGS et une perte de Huber pour ajuster L^(N,D)\hat{L}(N,D) aux pertes observées LL sur l'échelle logarithmique (log⁡L\log L).

La fonction objectif est :

min⁡A,B,E,α,β∑iHuberδ(log⁡L^(Ni,Di)−log⁡Li),\min_{A,B,E,\alpha,\beta} \sum_{i} \text{Huber}_\delta\bigl(\log \hat{L}(N_i,D_i) - \log L_i\bigr),

Une fois le modèle paramétrique obtenu, ils cherchent les valeurs optimales Nopt(C)N_{\text{opt}}(C) et Dopt(C)D_{\text{opt}}(C) sous la contrainte d'un budget de FLOPs CC.

Pour les modèles denses étudiés, on peut approximer le coût en fonction de N,DN,D par FLOPs(N,D)≈6ND\text{FLOPs}(N,D) \approx 6ND. En introduisant cette contrainte dans le modèle, on obtient encore des lois de puissance pour Nopt(C)N_{\text{opt}}(C) et Dopt(C)D_{\text{opt}}(C) :

Nopt(C)∝Ca,Dopt(C)∝Cb,N_{\text{opt}}(C) \propto C^a, \quad D_{\text{opt}}(C) \propto C^b,

avec :

a=βα+β,b=αα+β.a = \frac{\beta}{\alpha+\beta}, \quad b = \frac{\alpha}{\alpha+\beta}.

L'ajustement donne environ a=0.46a=0.46 et b=0.54b=0.54, proches des deux méthodes précédentes : NN et DD devraient croître à des rythmes voisins.

Le modèle permet également de tracer des courbes de perte constante (isoLoss) et des coupes à FLOPs constants (isoFLOP). La « frontière efficace », en bleu, rassemble les combinaisons (N,D)(N,D) de perte minimale pour chaque budget :

Au budget de Gopher, cette méthode prévoit un modèle optimal d'environ 40 milliards de paramètres, bien plus petit que les 280 milliards de Gopher, mais entraîné sur davantage de tokens.

Discussion

Malgré des expériences et des analyses différentes, les trois méthodes donnent des recommandations proches :

  • Lorsque le budget de calcul augmente, le nombre de paramètres NN et celui des tokens d'entraînement DD devraient croître dans des proportions presque égales.

Ainsi, lorsque le budget CC augmente, Nopt(C)∝CaN_{\text{opt}}(C) \propto C^a et Dopt(C)∝CbD_{\text{opt}}(C) \propto C^b, avec aa et bb proches de 0,5.

À l'inverse, les Scaling Laws antérieures (tableau ci-dessus) suggéraient une croissance plus rapide de NN (a≈0.73a \approx 0.73) et plus lente de DD (b≈0.27b \approx 0.27). Les résultats présents indiquent que l'intérêt d'ajouter des tokens d'entraînement avait pu être sous-estimé.

Le tableau suivant donne, pour différentes tailles de modèle, les FLOPs et le nombre de tokens nécessaires selon la « frontière optimale en calcul » :

Selon l'extrapolation de la méthode 1, entraîner un modèle de 175 milliards de paramètres, de la taille de GPT-3, jusqu'à cette frontière demanderait environ 3.85×10243.85 \times 10^{24} FLOPs et 3,7 billions de tokens, beaucoup plus que l'entraînement initial de GPT-3.

Autre exemple : pour le budget de Gopher, environ 5.76×10235.76 \times 10^{23} FLOPs, la méthode 1 prévoit environ 67 milliards de paramètres et 1,5 billion de tokens. Gopher compte en réalité 280 milliards de paramètres et 300 milliards de tokens : le modèle prévu serait environ quatre fois plus petit et verrait cinq fois plus de tokens.

Les performances de Chinchilla

Les auteurs appellent leur modèle Chinchilla et l'évaluent sur plusieurs tâches, dont la modélisation du langage et MMLU. La figure ci-dessus montre ses résultats sur divers sous-ensembles de The Pile.

Pour chacun des sous-ensembles représentés, son score bits per byte (bpb) est inférieur à celui de Gopher : la perte prédictive par octet est plus faible. Selon la Table A5 de l'annexe, Chinchilla ne fait moins bien que Jurassic-1 que sur dm_mathematics et ubuntu_irc. Les auteurs signalent aussi qu'il utilise davantage de données d'entraînement ; un chevauchement entre données d'entraînement et de test pourrait donc influer sur ces évaluations de langage.

Conclusion

Les auteurs reconnaissent que l'entraînement de modèles gigantesques coûte trop cher : à cette échelle, ils n'ont directement comparé que Chinchilla et Gopher, sans série continue de modèles intermédiaires.

Leur analyse suppose aussi une simple loi de puissance pour Nopt(C)N_\text{opt}(C) et Dopt(C)D_\text{opt}(C). Une courbure pourrait apparaître à très grand budget et conduire à des tailles optimales encore plus faibles. Enfin, les expériences servant à ajuster la loi d'échelle portent sur moins d'une époque de données ; elles ne disent pas directement ce qui se passe lorsque celles-ci sont réutilisées pendant plusieurs époques. L'entraînement final de Chinchilla, lui, emploie un échantillonnage pondéré : toutes ses données ne sont pas vues une seule fois.

Malgré ces limites, Chinchilla donne un appui concret à leur idée face à Gopher : pour un coût d'entraînement semblable, un modèle plus petit entraîné sur davantage de données peut surpasser un modèle simplement agrandi. Il faut donc prêter plus d'attention à la quantité et à la qualité des données.

Les auteurs pensent enfin que ce choix entre taille du modèle et volume d'entraînement pourrait valoir dans d'autres domaines. Estimer à l'avance la bonne taille et la bonne durée d'entraînement éviterait du gaspillage ; c'est la leçon qu'ils souhaitent transmettre.