Retour à la bibliothèque
arXiv 2019Langage et TransformersNotes de lecture

RoBERTa

Mode d'emploi pour entraîner BERT

Article original

RoBERTa: A Robustly Optimized BERT Pretraining Approach

Auteurs de l’article

Yinhan Liu · Myle Ott · Naman Goyal …

Afficher les 10 auteurs

Yinhan Liu · Myle Ott · Naman Goyal · Jingfei Du · Mandar Joshi · Danqi Chen · Omer Levy · Mike Lewis · Luke Zettlemoyer · Veselin Stoyanov

Publication
Lieu de publication non encore vérifié
Premier dépôt sur arXiv
arXiv:1907.11692
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{transformersroberta2019,
  title = {{RoBERTa: A Robustly Optimized BERT Pretraining Approach}},
  author = {Yinhan Liu and Myle Ott and Naman Goyal and Jingfei Du and Mandar Joshi and Danqi Chen and Omer Levy and Mike Lewis and Luke Zettlemoyer and Veselin Stoyanov},
  year = {2019},
  eprint = {1907.11692},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1907.11692}
}
Sur cette page

Le succès de BERT a inspiré beaucoup de chercheurs après lui.

À ce stade, les auteurs reprennent ses choix de conception, mènent de nombreuses expériences et découvrent qu'il reste encore énormément de points à améliorer.

Définir le problème

Rappelons d'abord comment BERT est conçu :

Son préentraînement repose surtout sur deux objectifs, la modélisation du langage masqué (Masked Language Modeling, MLM) et la prédiction de la phrase suivante (Next Sentence Prediction, NSP).

BERT est d'abord préentraîné sur un grand corpus non annoté, puis ajusté sur des données annotées.

Fondé sur le Transformer, il comprend L couches, chacune avec A têtes d'auto-attention et une dimension cachée H.

Ses objectifs de préentraînement sont les suivants :

  • Modélisation du langage masqué (MLM) :

    • Environ 15 % des tokens WordPiece de la séquence sont choisis au hasard pour être prédits. Parmi eux, 80 % sont remplacés par [MASK], 10 % restent inchangés et 10 % sont remplacés par un token aléatoire.
  • Prédiction de la phrase suivante (NSP) :

    • C'est une classification binaire de l'adjacence de deux passages dans le texte d'origine. Les exemples positifs sont des passages consécutifs ; dans les négatifs, le second vient d'un autre document. Chaque catégorie représente la moitié des exemples.

BERT utilise Adam avec les paramètres suivants :

  • β1=0.9\beta_1 = 0.9, β2=0.999\beta_2 = 0.999 et une pénalisation L2 de 0,01.
  • Un taux d'apprentissage qui monte jusqu'à 1e-4 pendant les 10 000 premières étapes, puis décroît linéairement.
  • Un dropout de 0,1 sur les couches et les poids d'attention ; le modèle utilise la fonction d'activation GELU.
  • Un million de mises à jour de préentraînement, par lots de 256 séquences d'au plus 512 tokens.

Les données de BERT réunissent BOOKCORPUS et Wikipédia en anglais, soit 16 Go de texte non compressé.


Les auteurs du présent article estiment qu'il faut optimiser tout cela. Oui, tout revoir.

Résoudre le problème

Optimiser les détails d'implémentation

La plupart des hyperparamètres suivent la configuration de BERT, sauf le taux d'apprentissage maximal et la durée du préchauffage, adaptés à chaque essai.

Les auteurs constatent que l'entraînement est très sensible au paramètre epsilon d'Adam : le modifier peut améliorer les performances ou la stabilité. Pour les grands lots, fixer β2=0.98\beta_2 = 0.98 peut aussi stabiliser l'entraînement.

Les séquences de préentraînement comptent au plus 512 tokens. À la différence de travaux précédents, aucun court passage n'est inséré au hasard et la longueur n'est pas réduite pendant les premiers 90 % des mises à jour : seules des séquences de longueur complète sont employées.

Les auteurs entraînent en précision mixte sur des machines DGX-1, chacune équipée de huit GPU Nvidia V100 de 32 Go.

Optimiser les données d'entraînement

Le préentraînement de type BERT dépend de grandes quantités de texte ; des travaux précédents montrent qu'en ajouter peut améliorer les tâches finales.

Beaucoup d'études emploient des corpus plus vastes et plus variés que ceux de BERT, mais tous ne peuvent pas être publiés. Les auteurs rassemblent donc autant de données de qualité adéquate que possible pour leurs comparaisons.

Ils utilisent cinq corpus anglophones de tailles et domaines différents, totalisant plus de 160 Go de texte non compressé. Les deux premiers sont réunis dans la première ligne ci-dessous :

  1. BOOKCORPUS et WIKIPEDIA : les jeux d'entraînement du BERT d'origine (16 Go).

  2. CC-NEWS : la partie anglaise de CommonCrawl News, avec 63 millions d'articles publiés de septembre 2016 à février 2019 (76 Go après filtrage).

  3. OPENWEBTEXT : une reconstruction ouverte du WebText décrit par Radford et ses collègues en 2019, à partir des pages liées depuis Reddit par des URL ayant reçu au moins trois votes positifs (38 Go).

  4. STORIES : le corpus de Trinh et Le (2018), composé de textes de CommonCrawl sélectionnés pour leur style proche des histoires du Winograd Schema (31 Go).

Discussion

Les auteurs répartissent leurs principaux changements en plusieurs axes :

Masquage statique ou dynamique

Dans l'implémentation de BERT d'origine, le masquage est statique : les positions masquées sont préparées une fois et la même configuration revient à chaque époque. Pour varier les masques, les données sont dupliquées dix fois : sur quarante époques, chaque séquence est masquée de dix façons et chacune est revue quatre fois.

Le masquage dynamique produit un nouveau motif chaque fois que la séquence entre dans le modèle. Il devient particulièrement intéressant si l'on prolonge l'entraînement ou si l'on augmente le corpus.

Sur les ensembles de développement du tableau BERTBASE, le masquage dynamique augmente légèrement SQuAD 2.0 F1 et SST-2, mais MNLI-m passe de 84,3 à 84,0. L'ensemble reste comparable au masquage statique ; les auteurs retiennent ensuite la version dynamique.

Prédiction de la phrase suivante (NSP)

Le BERT d'origine reçoit deux passages qui peuvent provenir d'un même document ou de documents différents ; l'objectif NSP auxiliaire entraîne le modèle à reconnaître cette origine.

Des travaux antérieurs avaient contesté l'utilité de NSP et proposé que son retrait puisse ne pas nuire aux performances.

Pour le vérifier, les auteurs comparent plusieurs formes d'entrée :

  • SEGMENT-PAIR+NSP : comme BERT d'origine, deux passages en entrée et conservation de la perte NSP.
  • SENTENCE-PAIR+NSP : deux phrases naturelles, avec NSP ; chaque exemple étant nettement plus court que 512 tokens, le lot est augmenté pour garder un nombre comparable de tokens.
  • FULL-SENTENCES : remplissage continu avec des phrases complètes, sans NSP ; la séquence peut traverser une frontière de document, marquée alors par un séparateur.
  • DOC-SENTENCES : comme FULL-SENTENCES, mais sans traverser les frontières de documents et sans NSP ; près de la fin d'un document, la taille du lot est adaptée dynamiquement.

Dans les résultats de développement BERTBASE, retirer NSP tout en remplissant les entrées avec des phrases complètes permet généralement d'égaler ou d'améliorer légèrement les tâches aval. Mais le format des entrées change en même temps : les différences ne peuvent pas être attribuées à la seule suppression de NSP. DOC-SENTENCES fait un peu mieux que FULL-SENTENCES ; les auteurs choisissent pourtant ce dernier pour faciliter les comparaisons suivantes.

Entraînement avec de grands lots

Les grands lots se parallélisent plus facilement. BERTBASE utilisait des lots de 256 séquences pendant un million d'étapes. Les auteurs ajustent aussi taux d'apprentissage et nombre d'étapes afin que les trois configurations du tableau parcourent autant de fois les mêmes données, avec un calcul approximativement égal.

En passant de 256 à 2K séquences, la perplexité MLM sur le corpus de préentraînement conservé et les exactitudes de développement MNLI-m et SST-2 s'améliorent. À 8K, ces trois mesures sont un peu moins bonnes qu'à 2K : augmenter le lot n'améliore donc pas tout de façon monotone. Comme les grands lots facilitent aussi l'entraînement distribué en parallèle sur les données, les auteurs utilisent 8K séquences dans les expériences suivantes.

Encodage du texte

Byte-Pair Encoding (BPE) permet de représenter un vaste vocabulaire à partir de sous-mots.

Le BERT d'origine utilise un vocabulaire de 30K sous-mots WordPiece. Les auteurs étudient plutôt un vocabulaire d'environ 50K unités BPE au niveau des octets, sans prétraitement ni segmentation supplémentaires des entrées.

Les premiers essais montrent de faibles écarts de performance ; le BPE au niveau des octets est un peu moins bon sur certaines tâches. Les auteurs le retiennent tout de même pour son caractère plus général.

Quantité de données d'entraînement

Les auteurs prennent d'abord la configuration BERTLARGEBERT_{\text{LARGE}} (L = 24, H = 1024, A = 16 ; environ 355 M de paramètres dans l'architecture d'origine) et la préentraînent 100K étapes sur BOOKCORPUS et WIKIPEDIA. Le vocabulaire BPE au niveau des octets, plus grand, ajoute environ 20 M de paramètres à cette étude.

L'entraînement dure environ une journée sur 1 024 GPU V100.

La première ligne du tableau, limitée à BOOKCORPUS et WIKIPEDIA, dépasse déjà le BERTLARGEBERT_{\text{LARGE}} cité. Mais les deux lignes indiquent respectivement 16 et 13 Go de données, avec des tailles de lot et nombres d'étapes différents. On ne peut donc attribuer l'écart à un seul choix. Les trois lignes suivantes de RoBERTa comparent ensuite l'ajout de données jusqu'à 160 Go, puis la prolongation de l'entraînement à 300K et 500K étapes.

Conclusion

Récapitulons les améliorations présentées dans l'article :

  1. Entraîner le modèle plus longtemps.
  2. Utiliser des lots plus grands et davantage de données.
  3. Retirer l'objectif NSP.
  4. Employer des séquences d'entrée plus longues.
  5. Modifier dynamiquement les motifs de masquage des données d'entraînement.

RoBERTa obtient les meilleurs résultats de l'époque sur GLUE, RACE et SQuAD, sans ajustement multitâche pour GLUE ni données supplémentaires pour SQuAD. Ces résultats montrent l'importance de choix de conception auparavant négligés.

Le principe peut aussi inspirer d'autres architectures : une bonne méthode d'entraînement peut améliorer les résultats d'un modèle. Cela peut compter dans bien d'autres domaines.