Retour à la bibliothèque
arXiv 2020Langage et TransformersNotes de lecture

Scaling Laws

Les lois de changement d'échelle des modèles

Article original

Scaling Laws for Neural Language Models

Auteurs de l’article

Jared Kaplan · Sam McCandlish · Tom Henighan …

Afficher les 10 auteurs

Jared Kaplan · Sam McCandlish · Tom Henighan · Tom B. Brown · Benjamin Chess · Rewon Child · Scott Gray · Alec Radford · Jeffrey Wu · Dario Amodei

Publication
Lieu de publication non encore vérifié
Premier dépôt sur arXiv
arXiv:2001.08361
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{transformersscalinglaws2020,
  title = {{Scaling Laws for Neural Language Models}},
  author = {Jared Kaplan and Sam McCandlish and Tom Henighan and Tom B. Brown and Benjamin Chess and Rewon Child and Scott Gray and Alec Radford and Jeffrey Wu and Dario Amodei},
  year = {2020},
  eprint = {2001.08361},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2001.08361}
}
Sur cette page

OpenAI pousse de plus en plus loin les décodeurs Transformer.

Définir le problème

Si vous avez lu les articles précédents, vous avez sans doute aperçu l'ambition d'OpenAI : construire un « très grand » modèle de langage.

D'où cette étude et sa question :

  • Comment faut-il agrandir le modèle ?

Voilà le défi central auquel l'article cherche à répondre.

Résoudre le problème

Les auteurs décrivent l'architecture Transformer au moyen des hyperparamètres suivants :

  • La dimension du flux résiduel : dmodeld_{model}.
  • La dimension de la couche intermédiaire du réseau feed-forward.
  • La dimension de sortie de l'attention.
  • Le nombre de têtes d'attention par couche.
  • Le nombre de couches : la profondeur du Transformer.
  • Le nombre de tokens : la longueur du contexte, généralement fixée à 1 024.

La qualité des modèles est mesurée par la perte d'entropie croisée autorégressive sur le test WebText2. Dans la suite, la taille NN du modèle désigne le nombre de paramètres hors embeddings du vocabulaire et de position.

Entraînement

Sauf indication contraire, l'optimiseur est Adam, l'entraînement dure 2.5×1052.5\times10^{5} étapes, et chaque lot comporte 512 séquences de 1 024 tokens. En raison des limites de mémoire, les modèles de plus d'un milliard de paramètres sont entraînés avec Adafactor.

Les auteurs essaient plusieurs taux d'apprentissage et calendriers. À la convergence, leurs résultats sont peu sensibles au calendrier dans les configurations étudiées. Par défaut, ils préchauffent le taux linéairement pendant 3 000 étapes, puis le réduisent suivant un cosinus jusqu'à zéro.

Jeu de données

Les modèles sont entraînés sur une « version étendue de WebText ».

  • Le WebText initial repose sur des liens externes publiés sur Reddit jusqu'en décembre 2017 et ayant obtenu au moins trois points de karma. Il ne s'agit pas de compter « trois lecteurs ».
  • WebText2 ajoute les liens externes publiés de janvier à octobre 2018, avec le même seuil d'au moins trois points de karma.
  • Les textes liés sont extraits avec la bibliothèque Python Newspaper3k. Le jeu final comprend 20,3 millions de documents, 96 Go de texte et 1.62×10101.62\times10^{10} mots.
  • Une tokenisation réversible par paires d'octets produit 2.29×10102.29\times10^{10} tokens, dont 6.6×1086.6\times10^{8} sont réservés au test.
  • Les auteurs évaluent aussi les modèles sur des échantillons de Books Corpus, Common Crawl, Wikipédia en anglais et d'autres livres librement accessibles en ligne.

Variables étudiées

Pour examiner les lois de changement d'échelle, l'article entraîne de nombreux modèles en faisant varier :

  • La taille du modèle : de 768 à 1,5 milliard de paramètres hors embeddings.
  • La taille du jeu de données : de 22 millions à 23 milliards de tokens.
  • La forme du modèle : profondeur, largeur, nombre de têtes d'attention et dimension du réseau feed-forward.
  • La longueur du contexte : 1 024 dans la plupart des entraînements, mais aussi des valeurs plus courtes.
  • La taille du lot : généralement 2192^{19} tokens, soit 512 séquences de 1 024 tokens ; les auteurs la font aussi varier pour mesurer la taille critique du lot.

Ce plan expérimental sert à étudier systématiquement les résultats du modèle sous différentes contraintes et à dégager les relations d'échelle correspondantes.

Discussion

La taille avant tout

Dans le domaine couvert par l'article, la perte de test dépend surtout de trois facteurs d'échelle et assez peu de la forme du modèle, tant que celle-ci reste raisonnable :

  1. N : le nombre de paramètres hors embeddings du modèle.
  2. D : la taille du jeu de données.
  3. C : le calcul utilisé.

Les expériences montrent que, dans ces limites, d'autres hyperparamètres d'architecture, comme la profondeur et la largeur, ont un effet relativement faible sur le résultat.

Lois de puissance

Si les deux autres facteurs ne limitent pas l'expérience, la perte de test suit approximativement une loi de puissance selon N, D ou le calcul. Les axes horizontaux des trois graphiques ne couvrent pas les mêmes plages ; celui de gauche emploie le calcul minimal CminC_{min}, corrigé de l'efficacité du lot, et non le calcul brut de chaque entraînement.

  • À gauche : quand CminC_{min} augmente, l'enveloppe inférieure de la perte de test descend ; les traits bleu clair représentent différents parcours d'entraînement.
  • Au centre : pour une forme de modèle fixée, davantage de tokens d'entraînement réduisent la perte de test après arrêt anticipé.
  • À droite : avec assez de données et un entraînement proche de la convergence, davantage de paramètres hors embeddings réduisent la perte de test.

Le surapprentissage en général

Les expériences indiquent que, si N et D augmentent ensemble, la perte de test après arrêt anticipé baisse d'une façon prévisible. Si l'on fixe l'un et augmente seulement l'autre, les gains finissent par diminuer. Dans l'ajustement étudié, la pénalité de surapprentissage dépend surtout du rapport N0.74/DN^{0.74}/D. Lorsque le nombre de paramètres est multiplié par huit, la quantité de données devrait ainsi augmenter d'environ cinq fois pour maintenir un degré comparable de limitation par les données.

Résultats de test et textes d'autres distributions

Sur des textes distribués autrement que ceux de l'entraînement, les résultats restent étroitement liés à ceux de la validation d'origine : la différence de perte est approximativement constante.

Autrement dit, changer de distribution introduit une pénalité à peu près fixe, tandis que l'évolution de la perte suit globalement celle du test initial.

Efficacité en échantillons

Dans cette image composée, la partie supérieure reproduit la Figure 2 de l'article : le graphique de gauche prend pour axe horizontal le nombre de tokens traités, celui de droite le calcul. La partie inférieure reproduit la Figure 4 : à gauche, elle compare la taille des jeux de données, et à droite le nombre minimal estimé d'étapes. À perte de test identique, les modèles plus grands ont souvent besoin de moins de données ou d'étapes, même si chacune de leurs étapes coûte davantage en calcul.

La convergence peut coûter trop cher

La figure ci-dessus est un scénario illustrant un calcul multiplié par un milliard, établi à partir des lois ajustées dans la Figure 3 de l'article. Il ne s'agit pas d'une courbe d'entraînement mesurée point par point. Le calcul supplémentaire est réparti entre taille du modèle, taille du lot et nombre d'étapes séquentielles.

Selon cet ajustement sur WebText2, à budget de calcul fixé et si la taille du modèle et les données disponibles ne sont pas limitées par ailleurs, choisir un plus grand modèle et l'arrêter avant convergence donne une perte inférieure à celle d'un petit modèle entraîné jusqu'à convergence.

L'ajustement prévoit également que la taille optimale du modèle augmente vite, alors que la quantité de données traitées augmente plus lentement. Si les données sont limitées, réutilisées plusieurs fois, ou si le budget dépasse largement le domaine étudié, on ne peut appliquer directement cette répartition.

Taille optimale du lot

La meilleure taille de lot n'est pas une constante : elle dépend du niveau de perte et peut être estimée à partir de l'échelle du bruit du gradient.

Pour le plus grand modèle mesuré, environ 1,5 milliard de paramètres hors embeddings, la taille critique du lot est d'environ un à deux millions de tokens près de la convergence. Elle change avec la perte visée. Autour de la valeur critique, durée en étapes et efficacité en calcul sont en compromis ; ce lot n'est pas imposé à toutes les étapes de l'entraînement.

Conclusion

Les auteurs ont mené beaucoup d'expériences et en ont tiré une synthèse sur la façon d'entraîner les modèles de langage.

À nos yeux, ces résultats représentent des piles de billets. Nous les recevons avec gratitude : les auteurs ont déjà payé le prix de ces expériences.