Scaling Laws for Neural Language Models
- Publication
- Lieu de publication non encore vérifié
- Premier dépôt sur arXiv
- arXiv:2001.08361
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{transformersscalinglaws2020,
title = {{Scaling Laws for Neural Language Models}},
author = {Jared Kaplan and Sam McCandlish and Tom Henighan and Tom B. Brown and Benjamin Chess and Rewon Child and Scott Gray and Alec Radford and Jeffrey Wu and Dario Amodei},
year = {2020},
eprint = {2001.08361},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2001.08361}
}
OpenAI pousse de plus en plus loin les décodeurs Transformer.
Définir le problème
Si vous avez lu les articles précédents, vous avez sans doute aperçu l'ambition d'OpenAI : construire un « très grand » modèle de langage.
D'où cette étude et sa question :
- Comment faut-il agrandir le modèle ?
Voilà le défi central auquel l'article cherche à répondre.
Résoudre le problème
Les auteurs décrivent l'architecture Transformer au moyen des hyperparamètres suivants :
- La dimension du flux résiduel : .
- La dimension de la couche intermédiaire du réseau feed-forward.
- La dimension de sortie de l'attention.
- Le nombre de têtes d'attention par couche.
- Le nombre de couches : la profondeur du Transformer.
- Le nombre de tokens : la longueur du contexte, généralement fixée à 1 024.
La qualité des modèles est mesurée par la perte d'entropie croisée autorégressive sur le test WebText2. Dans la suite, la taille du modèle désigne le nombre de paramètres hors embeddings du vocabulaire et de position.
Entraînement
Sauf indication contraire, l'optimiseur est Adam, l'entraînement dure étapes, et chaque lot comporte 512 séquences de 1 024 tokens. En raison des limites de mémoire, les modèles de plus d'un milliard de paramètres sont entraînés avec Adafactor.
Les auteurs essaient plusieurs taux d'apprentissage et calendriers. À la convergence, leurs résultats sont peu sensibles au calendrier dans les configurations étudiées. Par défaut, ils préchauffent le taux linéairement pendant 3 000 étapes, puis le réduisent suivant un cosinus jusqu'à zéro.
Jeu de données
Les modèles sont entraînés sur une « version étendue de WebText ».
- Le WebText initial repose sur des liens externes publiés sur Reddit jusqu'en décembre 2017 et ayant obtenu au moins trois points de karma. Il ne s'agit pas de compter « trois lecteurs ».
- WebText2 ajoute les liens externes publiés de janvier à octobre 2018, avec le même seuil d'au moins trois points de karma.
- Les textes liés sont extraits avec la bibliothèque Python Newspaper3k. Le jeu final comprend 20,3 millions de documents, 96 Go de texte et mots.
- Une tokenisation réversible par paires d'octets produit tokens, dont sont réservés au test.
- Les auteurs évaluent aussi les modèles sur des échantillons de Books Corpus, Common Crawl, Wikipédia en anglais et d'autres livres librement accessibles en ligne.
Variables étudiées
Pour examiner les lois de changement d'échelle, l'article entraîne de nombreux modèles en faisant varier :
- La taille du modèle : de 768 à 1,5 milliard de paramètres hors embeddings.
- La taille du jeu de données : de 22 millions à 23 milliards de tokens.
- La forme du modèle : profondeur, largeur, nombre de têtes d'attention et dimension du réseau feed-forward.
- La longueur du contexte : 1 024 dans la plupart des entraînements, mais aussi des valeurs plus courtes.
- La taille du lot : généralement tokens, soit 512 séquences de 1 024 tokens ; les auteurs la font aussi varier pour mesurer la taille critique du lot.
Ce plan expérimental sert à étudier systématiquement les résultats du modèle sous différentes contraintes et à dégager les relations d'échelle correspondantes.
Discussion
La taille avant tout
Dans le domaine couvert par l'article, la perte de test dépend surtout de trois facteurs d'échelle et assez peu de la forme du modèle, tant que celle-ci reste raisonnable :
- N : le nombre de paramètres hors embeddings du modèle.
- D : la taille du jeu de données.
- C : le calcul utilisé.
Les expériences montrent que, dans ces limites, d'autres hyperparamètres d'architecture, comme la profondeur et la largeur, ont un effet relativement faible sur le résultat.
Lois de puissance
Si les deux autres facteurs ne limitent pas l'expérience, la perte de test suit approximativement une loi de puissance selon N, D ou le calcul. Les axes horizontaux des trois graphiques ne couvrent pas les mêmes plages ; celui de gauche emploie le calcul minimal , corrigé de l'efficacité du lot, et non le calcul brut de chaque entraînement.
- À gauche : quand augmente, l'enveloppe inférieure de la perte de test descend ; les traits bleu clair représentent différents parcours d'entraînement.
- Au centre : pour une forme de modèle fixée, davantage de tokens d'entraînement réduisent la perte de test après arrêt anticipé.
- À droite : avec assez de données et un entraînement proche de la convergence, davantage de paramètres hors embeddings réduisent la perte de test.
Le surapprentissage en général
Les expériences indiquent que, si N et D augmentent ensemble, la perte de test après arrêt anticipé baisse d'une façon prévisible. Si l'on fixe l'un et augmente seulement l'autre, les gains finissent par diminuer. Dans l'ajustement étudié, la pénalité de surapprentissage dépend surtout du rapport . Lorsque le nombre de paramètres est multiplié par huit, la quantité de données devrait ainsi augmenter d'environ cinq fois pour maintenir un degré comparable de limitation par les données.
Résultats de test et textes d'autres distributions
Sur des textes distribués autrement que ceux de l'entraînement, les résultats restent étroitement liés à ceux de la validation d'origine : la différence de perte est approximativement constante.
Autrement dit, changer de distribution introduit une pénalité à peu près fixe, tandis que l'évolution de la perte suit globalement celle du test initial.
Efficacité en échantillons
Dans cette image composée, la partie supérieure reproduit la Figure 2 de l'article : le graphique de gauche prend pour axe horizontal le nombre de tokens traités, celui de droite le calcul. La partie inférieure reproduit la Figure 4 : à gauche, elle compare la taille des jeux de données, et à droite le nombre minimal estimé d'étapes. À perte de test identique, les modèles plus grands ont souvent besoin de moins de données ou d'étapes, même si chacune de leurs étapes coûte davantage en calcul.
La convergence peut coûter trop cher
La figure ci-dessus est un scénario illustrant un calcul multiplié par un milliard, établi à partir des lois ajustées dans la Figure 3 de l'article. Il ne s'agit pas d'une courbe d'entraînement mesurée point par point. Le calcul supplémentaire est réparti entre taille du modèle, taille du lot et nombre d'étapes séquentielles.
Selon cet ajustement sur WebText2, à budget de calcul fixé et si la taille du modèle et les données disponibles ne sont pas limitées par ailleurs, choisir un plus grand modèle et l'arrêter avant convergence donne une perte inférieure à celle d'un petit modèle entraîné jusqu'à convergence.
L'ajustement prévoit également que la taille optimale du modèle augmente vite, alors que la quantité de données traitées augmente plus lentement. Si les données sont limitées, réutilisées plusieurs fois, ou si le budget dépasse largement le domaine étudié, on ne peut appliquer directement cette répartition.
Taille optimale du lot
La meilleure taille de lot n'est pas une constante : elle dépend du niveau de perte et peut être estimée à partir de l'échelle du bruit du gradient.
Pour le plus grand modèle mesuré, environ 1,5 milliard de paramètres hors embeddings, la taille critique du lot est d'environ un à deux millions de tokens près de la convergence. Elle change avec la perte visée. Autour de la valeur critique, durée en étapes et efficacité en calcul sont en compromis ; ce lot n'est pas imposé à toutes les étapes de l'entraînement.
Conclusion
Les auteurs ont mené beaucoup d'expériences et en ont tiré une synthèse sur la façon d'entraîner les modèles de langage.
À nos yeux, ces résultats représentent des piles de billets. Nous les recevons avec gratitude : les auteurs ont déjà payé le prix de ces expériences.