Retour à la bibliothèque
OpenAI 2019Langage et TransformersNotes de lecture

GPT-2

Quarante-huit couches de décodeur

Article original

Language models are unsupervised multitask learners

Auteurs de l’article

Alec Radford · Jeffrey Wu · Rewon Child · David Luan · Dario Amodei · Ilya Sutskever

Publication
OpenAI 2019Rapport technique
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@techreport{transformersgpt22019,
  title = {{Language models are unsupervised multitask learners}},
  author = {Alec Radford and Jeffrey Wu and Rewon Child and David Luan and Dario Amodei and Ilya Sutskever},
  year = {2019},
  institution = {OpenAI},
  url = {https://openai.com/index/better-language-models/}
}
Sur cette page

La première génération de GPT empilait douze couches de décodeur Transformer.

OpenAI a estimé que ce n'était pas assez. L'équipe en a donc empilé quarante-huit : voilà GPT-2.

Définir le problème

Pour les auteurs, les systèmes d'apprentissage automatique existants obtiennent de bons résultats, mais présentent de nombreuses faiblesses.

L'article en évoque rapidement plusieurs :

Fragilité

  • Les systèmes d'apprentissage automatique sont fragiles face à de petites variations dans la distribution des données ou la définition d'une tâche.
  • Ils réagissent parfois de façon instable à la diversité des entrées et à leurs changements.

Limites des experts spécialisés

  • Les systèmes actuels se comportent davantage comme des spécialistes d'une tâche que comme des systèmes généralistes, ce qui limite leurs usages.
  • Chaque tâche demande souvent de créer et d'annoter manuellement son propre jeu d'entraînement, une procédure lourde et peu générale.

Généralisation insuffisante

  • L'entraînement sur une seule tâche et un seul domaine reste courant et contribue aux limites de généralisation.
  • Pour rendre les systèmes plus robustes, il pourrait falloir les entraîner et les évaluer sur davantage de domaines et de tâches.

Résoudre le problème

L'article conserve l'architecture tout décodeur de GPT-1, agrandit le modèle et modifie la normalisation, l'initialisation et la segmentation du texte.

Conception du modèle

D'abord, LayerNorm est déplacé à l'entrée de chaque sous-bloc, comme dans les réseaux résiduels à préactivation. Les auteurs ajoutent aussi une normalisation de couche après le dernier bloc d'auto-attention.

Ils modifient l'initialisation pour tenir compte de l'accumulation dans les chemins résiduels quand le modèle devient plus profond. Les poids des couches résiduelles sont mis à l'échelle par un facteur 1/√N à l'initialisation, N étant le nombre de couches résiduelles.

Le vocabulaire passe à 50 257 unités, le contexte de 512 à 1 024 tokens, et la taille de lot augmente jusqu'à 512.

Apprentissage multitâche

Un système généraliste doit accomplir plusieurs tâches. Il lui faut donc modéliser P(sortie|entrée, tâche), et pas seulement P(sortie|entrée) pour une seule tâche.

Les auteurs proposent de représenter entrées et sorties comme des séquences de symboles, puis d'entraîner le tout par modélisation du langage. Un exemple de traduction peut se présenter comme (traduire en français, texte anglais, texte français), et un exemple de compréhension écrite comme (répondre à la question, document, question, réponse).

En somme, des indications textuelles distinguent les tâches. Ces formats servent à expliquer l'idée : dans les faits, GPT-2 est toujours entraîné sur WebText à prédire le prochain token, sans jeu supplémentaire de données multitâches annotées à la main.

Des données variées

Beaucoup de travaux antérieurs entraînaient les modèles de langage sur un seul domaine, par exemple des articles de presse, Wikipédia ou des romans. Les auteurs préconisent un jeu aussi grand et varié que possible pour couvrir davantage de domaines et de démonstrations de langage en contexte.

Ils ont envisagé Common Crawl, puis ont rencontré des problèmes de qualité des données dans leurs premières expériences.

Mais une fois essayé, il s'est avéré que les problèmes de qualité de Common Crawl étaient sérieux...

  • La solution

    • Une nouvelle collecte Web : les auteurs récupèrent les liens sortants de publications Reddit ayant reçu au moins trois points de karma. C'est un indice de valeur potentielle, pas une vérification manuelle de chaque page.
    • Le jeu WebText : l'ensemble contient un sous-ensemble des textes associés à ces 45 millions de liens. Dans sa première version, il exclut les liens créés après décembre 2017. Après dédoublonnage et nettoyage heuristique, il comprend un peu plus de huit millions de documents, soit 40 Go de texte.
    • Exclusion de Wikipédia : les documents Wikipédia sont retirés de WebText pour limiter le chevauchement avec des évaluations courantes et faciliter l'analyse.

Améliorer l'encodage BPE

Le BPE au niveau des octets est souple et général, puisqu'il peut représenter n'importe quel caractère par une séquence d'octets. Mais appliquer BPE directement à ces séquences peut produire des fusions sous-optimales, à cause de sa sélection gloutonne fondée sur la fréquence.

Pour y remédier, les auteurs empêchent les fusions entre catégories de caractères différentes, avec une exception pour l'espace. Ils cherchent ainsi à mieux compresser le texte tout en ajoutant aussi peu de fragments de mots que possible au vocabulaire.

Discussion

Tailles des modèles

L'article entraîne et évalue quatre configurations du modèle.

Les quatre lignes de la figure correspondent à 117 M de paramètres et 12 couches, 345 M et 24 couches, 762 M et 36 couches, puis 1 542 M et 48 couches. Dans la suite, « GPT-2 » désigne le plus grand modèle, celui de 1 542 M de paramètres.

Zero-shot

Les auteurs examinent d'abord les performances zero-shot : aucune formation ni aucun ajustement n'est effectué sur le jeu cible au moment de l'évaluation. Selon la tâche, ils fournissent une indication textuelle ou calculent un score de modèle de langage.

Dans le tableau, sept des huit jeux de données atteignent le meilleur résultat connu à cette époque. L'exception est le 1B Word Benchmark. Les parties d'entraînement de Penn Treebank et WikiText-2, entre autres, ne contiennent qu'environ un à deux millions de tokens ; GPT-2 ne les utilise pas pour s'entraîner ici.

Les jeux mesurant les dépendances longues, comme LAMBADA et le Children's Book Test, montrent également de grands progrès.

MesureSignificationComment la lire
PPLPerplexité : calculée à partir de la moyenne des log-probabilités négatives attribuées au texte de test.Plus bas est meilleur, pour les mêmes données et le même prétraitement.
ACCExactitude : part des prédictions correctes.Plus haut est meilleur : davantage de prédictions sont justes.
BPBBits par octet : moyenne de la log-probabilité négative du texte de test par octet, exprimée en bits.Plus bas est meilleur à données comparables ; ce n'est pas une longueur de codage fixe de l'octet lui-même.
BPCBits par caractère : même score du modèle, rapporté à chaque caractère.Plus bas est meilleur à données comparables.

Différentes expériences

Les auteurs testent plusieurs tâches : modélisation du langage, traduction automatique, questions-réponses, résumé et génération de texte, entre autres.

Voici un tableau récapitulatif pour saisir rapidement les résultats de GPT-2 :

TestObjectifMéthodeRésultat
Children's Book Test (CBT)Mesurer les résultats selon le type de mot.Sur une validation sans chevauchement WebText notable, choisir le mot manquant parmi dix candidats.93,3 % pour les noms communs ; 89,1 % pour les entités nommées.
LAMBADATester les dépendances à longue portée.Prédire le dernier mot d'un texte.Perplexité réduite de 99,8 à 8,6 ; exactitude de 52,66 % sans filtre de mots vides, 63,24 % avec ce filtre.
Winograd Schema ChallengeÉvaluer la résolution d'ambiguïtés dans le texte.Comparer les scores du modèle de langage pour deux référents possibles.70,70 % d'exactitude sur un jeu de seulement 273 exemples.
Compréhension écrite (CoQA)Répondre à des questions dépendant de l'historique d'une conversation.Générer une réponse à partir du document, de l'historique et du prompt A:.F1 de 55 sur le développement : atteint ou dépasse trois des quatre références supervisées.
RésuméTester la capacité à résumer.Ajouter TL;DR: après l'article, échantillonner avec top-k (k=2), garder les trois premières phrases produites.ROUGE moyen de 21,40, à peine au-dessus des 20,98 obtenus avec trois phrases choisies au hasard ; des détails sont parfois confondus.
TraductionTester la traduction.Utiliser des paires anglais-français comme exemples, puis produire la phrase dans l'autre langue.5 BLEU sur WMT-14 anglais→français ; 11,5 BLEU en français→anglais, sous les 33,5 BLEU de la meilleure méthode non supervisée de l'époque.
Questions-réponsesMesurer la fréquence des réponses factuelles correctes.Fournir des exemples de questions-réponses et évaluer la correspondance exacte sur Natural Questions.4,1 % de bonnes réponses, soit 5,3 fois le plus petit modèle ; 63,1 % parmi le 1 % des questions pour lesquelles le modèle est le plus confiant.

Conclusion

Ce travail explore les possibilités de l'apprentissage multitâche non supervisé en traitement du langage, en particulier la capacité de GPT-2 à résoudre diverses tâches sans adaptation supervisée ni modification du modèle pour chacune.

GPT-2 nous dit ceci : lorsqu'un grand modèle de langage est entraîné sur un corpus assez vaste et varié, il peut obtenir de bons résultats sur plusieurs domaines et jeux de données, et accomplir de nombreuses tâches sans supervision explicite propre à chacune.

Ces résultats ouvrent de nouvelles perspectives pour l'apprentissage non supervisé et l'amélioration des modèles en traitement du langage.