{"notes":[{"id":"transformers/roberta","category":"transformers","legacyPath":"transformers/1907-roberta","legacySlug":"1907-roberta","legacyPaths":[],"title":"RoBERTa","subtitle":"Mode d'emploi pour entraîner BERT","author":"Z. Yuan","paperDate":"2019-07-26","publishedOn":"2024-09-26","paperTitle":"RoBERTa: A Robustly Optimized BERT Pretraining Approach","paperUrl":"https://arxiv.org/abs/1907.11692","bibliography":{"title":"RoBERTa: A Robustly Optimized BERT Pretraining Approach","authors":["Yinhan Liu","Myle Ott","Naman Goyal","Jingfei Du","Mandar Joshi","Danqi Chen","Omer Levy","Mike Lewis","Luke Zettlemoyer","Veselin Stoyanov"],"url":"https://arxiv.org/abs/1907.11692","pdfUrl":"https://arxiv.org/pdf/1907.11692","codeUrl":null,"preprint":{"id":"1907.11692","submittedOn":"2019-07-26","url":"https://arxiv.org/abs/1907.11692"},"publication":null,"citation":"@misc{transformersroberta2019,\n  title = {{RoBERTa: A Robustly Optimized BERT Pretraining Approach}},\n  author = {Yinhan Liu and Myle Ott and Naman Goyal and Jingfei Du and Mandar Joshi and Danqi Chen and Omer Levy and Mike Lewis and Luke Zettlemoyer and Veselin Stoyanov},\n  year = {2019},\n  eprint = {1907.11692},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1907.11692}\n}\n","citationPath":"/content/papers/citations/transformers/roberta.704870f708c1.bib"},"thumbnail":{"src":"/content/papers/assets/cbf2bba8a99ec32ddf52a845f831eada66fc53f6337cd22a4fff68e4fc6bb2e4.jpg","width":1064,"height":452},"locale":"fr","path":"/content/papers/fr/transformers/roberta.022190790d87.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"optimiser-les-détails-dimplémentation","text":"Optimiser les détails d'implémentation","depth":3},{"id":"optimiser-les-données-dentraînement","text":"Optimiser les données d'entraînement","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"masquage-statique-ou-dynamique","text":"Masquage statique ou dynamique","depth":3},{"id":"prédiction-de-la-phrase-suivante-nsp","text":"Prédiction de la phrase suivante (NSP)","depth":3},{"id":"entraînement-avec-de-grands-lots","text":"Entraînement avec de grands lots","depth":3},{"id":"encodage-du-texte","text":"Encodage du texte","depth":3},{"id":"quantité-de-données-dentraînement","text":"Quantité de données d'entraînement","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/bert","relation":"background","topic":"Préentraînement des représentations bidirectionnelles"}]},{"id":"transformers/bert","category":"transformers","legacyPath":"transformers/1810-bert","legacySlug":"1810-bert","legacyPaths":[],"title":"BERT","subtitle":"Douze couches d'encodeur","author":"Z. Yuan","paperDate":"2018-10-11","publishedOn":"2024-05-12","paperTitle":"BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding","paperUrl":"https://arxiv.org/abs/1810.04805","bibliography":{"title":"BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding","authors":["Jacob Devlin","Ming-Wei Chang","Kenton Lee","Kristina Toutanova"],"url":"https://arxiv.org/abs/1810.04805","pdfUrl":"https://arxiv.org/pdf/1810.04805","codeUrl":null,"preprint":{"id":"1810.04805","submittedOn":"2018-10-11","url":"https://arxiv.org/abs/1810.04805"},"publication":{"venue":"NAACL-HLT","year":2019,"kind":"conference","url":"https://doi.org/10.18653/v1/n19-1423"},"citation":"@misc{transformersbert2018,\n  title = {{BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding}},\n  author = {Jacob Devlin and Ming-Wei Chang and Kenton Lee and Kristina Toutanova},\n  year = {2018},\n  eprint = {1810.04805},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1810.04805}\n}\n","citationPath":"/content/papers/citations/transformers/bert.d9bf47a21c5f.bib"},"thumbnail":{"src":"/content/papers/assets/57ed95afec24d2732e290d4fcb5633e14a2bbe74b83c6b6cdee90ef44ac89411.jpg","width":1224,"height":396},"locale":"fr","path":"/content/papers/fr/transformers/bert.7974dccb33b7.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"unidirectionnalité","text":"Unidirectionnalité","depth":3},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"stratégie-de-préentraînement","text":"Stratégie de préentraînement","depth":3},{"id":"stratégie-dajustement-fin","text":"Stratégie d'ajustement fin","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"études-dablation","text":"Études d'ablation","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/transformer","relation":"background","topic":"Préentraînement des représentations bidirectionnelles"},{"id":"transformers/roberta","relation":"next","topic":"Préentraînement des représentations bidirectionnelles"},{"id":"transformers/albert","relation":"comparison","topic":"Entraînement et partage des paramètres de BERT"}]}],"text":"Le succès de BERT a inspiré beaucoup de chercheurs après lui.\n\nÀ ce stade, les auteurs reprennent ses choix de conception, mènent de nombreuses expériences et découvrent qu'il reste encore énormément de points à améliorer.\n\n## Définir le problème\n\nRappelons d'abord comment BERT est conçu :\n\nSon préentraînement repose surtout sur deux objectifs, la modélisation du langage masqué (Masked Language Modeling, MLM) et la prédiction de la phrase suivante (Next Sentence Prediction, NSP).\n\nBERT est d'abord préentraîné sur un grand corpus non annoté, puis ajusté sur des données annotées.\n\nFondé sur le Transformer, il comprend L couches, chacune avec A têtes d'auto-attention et une dimension cachée H.\n\nSes objectifs de préentraînement sont les suivants :\n\n- **Modélisation du langage masqué (MLM) :**\n\n  - Environ 15 % des tokens WordPiece de la séquence sont choisis au hasard pour être prédits. Parmi eux, 80 % sont remplacés par `[MASK]`, 10 % restent inchangés et 10 % sont remplacés par un token aléatoire.\n\n- **Prédiction de la phrase suivante (NSP) :**\n  - C'est une classification binaire de l'adjacence de deux passages dans le texte d'origine. Les exemples positifs sont des passages consécutifs ; dans les négatifs, le second vient d'un autre document. Chaque catégorie représente la moitié des exemples.\n\nBERT utilise Adam avec les paramètres suivants :\n\n- $\\beta_1 = 0.9$, $\\beta_2 = 0.999$ et une pénalisation L2 de 0,01.\n- Un taux d'apprentissage qui monte jusqu'à 1e-4 pendant les 10 000 premières étapes, puis décroît linéairement.\n- Un dropout de 0,1 sur les couches et les poids d'attention ; le modèle utilise la fonction d'activation GELU.\n- Un million de mises à jour de préentraînement, par lots de 256 séquences d'au plus 512 tokens.\n\nLes données de BERT réunissent BOOKCORPUS et Wikipédia en anglais, soit 16 Go de texte non compressé.\n\n---\n\nLes auteurs du présent article estiment qu'il faut optimiser tout cela. Oui, tout revoir.\n\n## Résoudre le problème\n\n### Optimiser les détails d'implémentation\n\nLa plupart des hyperparamètres suivent la configuration de BERT, sauf le taux d'apprentissage maximal et la durée du préchauffage, adaptés à chaque essai.\n\nLes auteurs constatent que l'entraînement est très sensible au paramètre epsilon d'Adam : le modifier peut améliorer les performances ou la stabilité. Pour les grands lots, fixer $\\beta_2 = 0.98$ peut aussi stabiliser l'entraînement.\n\nLes séquences de préentraînement comptent au plus 512 tokens. À la différence de travaux précédents, aucun court passage n'est inséré au hasard et la longueur n'est pas réduite pendant les premiers 90 % des mises à jour : seules des séquences de longueur complète sont employées.\n\nLes auteurs entraînent en précision mixte sur des machines DGX-1, chacune équipée de huit GPU Nvidia V100 de 32 Go.\n\n### Optimiser les données d'entraînement\n\nLe préentraînement de type BERT dépend de grandes quantités de texte ; des travaux précédents montrent qu'en ajouter peut améliorer les tâches finales.\n\nBeaucoup d'études emploient des corpus plus vastes et plus variés que ceux de BERT, mais tous ne peuvent pas être publiés. Les auteurs rassemblent donc autant de données de qualité adéquate que possible pour leurs comparaisons.\n\nIls utilisent cinq corpus anglophones de tailles et domaines différents, totalisant plus de 160 Go de texte non compressé. Les deux premiers sont réunis dans la première ligne ci-dessous :\n\n1. **BOOKCORPUS** et **WIKIPEDIA** : les jeux d'entraînement du BERT d'origine (16 Go).\n2. **CC-NEWS** : la partie anglaise de CommonCrawl News, avec 63 millions d'articles publiés de septembre 2016 à février 2019 (76 Go après filtrage).\n\n3. **OPENWEBTEXT** : une reconstruction ouverte du WebText décrit par Radford et ses collègues en 2019, à partir des pages liées depuis Reddit par des URL ayant reçu au moins trois votes positifs (38 Go).\n\n4. **STORIES** : le corpus de Trinh et Le (2018), composé de textes de CommonCrawl sélectionnés pour leur style proche des histoires du Winograd Schema (31 Go).\n\n\n> [!TIP]\n> \n> J'ai fait énormément d'efforts, ajouté dix fois plus de données, et obtenu un meilleur modèle !\n> \n> C'est une plaisanterie entre nous : les auteurs montrent plus loin que changer la méthode d'entraînement peut améliorer le modèle même sans ajouter de données.\n\n\n## Discussion\n\nLes auteurs répartissent leurs principaux changements en plusieurs axes :\n\n### Masquage statique ou dynamique\n\n\n\n![Static vs. Dynamic Masking](/content/papers/assets/cbf2bba8a99ec32ddf52a845f831eada66fc53f6337cd22a4fff68e4fc6bb2e4.jpg)\n\n\n\nDans l'implémentation de BERT d'origine, le masquage est statique : les positions masquées sont préparées une fois et la même configuration revient à chaque époque. Pour varier les masques, les données sont dupliquées dix fois : sur quarante époques, chaque séquence est masquée de dix façons et chacune est revue quatre fois.\n\nLe masquage dynamique produit un nouveau motif chaque fois que la séquence entre dans le modèle. Il devient particulièrement intéressant si l'on prolonge l'entraînement ou si l'on augmente le corpus.\n\nSur les ensembles de développement du tableau BERTBASE, le masquage dynamique augmente légèrement SQuAD 2.0 F1 et SST-2, mais MNLI-m passe de 84,3 à 84,0. L'ensemble reste comparable au masquage statique ; les auteurs retiennent ensuite la version dynamique.\n\n### Prédiction de la phrase suivante (NSP)\n\n![NSP](/content/papers/assets/64f4d750632789b23d7794c48b711c6dfa6e1770ccceb912f7cfe24b2c4ed304.jpg)\n\nLe BERT d'origine reçoit deux passages qui peuvent provenir d'un même document ou de documents différents ; l'objectif NSP auxiliaire entraîne le modèle à reconnaître cette origine.\n\nDes travaux antérieurs avaient contesté l'utilité de NSP et proposé que son retrait puisse ne pas nuire aux performances.\n\nPour le vérifier, les auteurs comparent plusieurs formes d'entrée :\n\n- **SEGMENT-PAIR+NSP** : comme BERT d'origine, deux passages en entrée et conservation de la perte NSP.\n- **SENTENCE-PAIR+NSP** : deux phrases naturelles, avec NSP ; chaque exemple étant nettement plus court que 512 tokens, le lot est augmenté pour garder un nombre comparable de tokens.\n- **FULL-SENTENCES** : remplissage continu avec des phrases complètes, sans NSP ; la séquence peut traverser une frontière de document, marquée alors par un séparateur.\n- **DOC-SENTENCES** : comme FULL-SENTENCES, mais sans traverser les frontières de documents et sans NSP ; près de la fin d'un document, la taille du lot est adaptée dynamiquement.\n\nDans les résultats de développement BERTBASE, retirer NSP tout en remplissant les entrées avec des phrases complètes permet généralement d'égaler ou d'améliorer légèrement les tâches aval. Mais le format des entrées change en même temps : les différences ne peuvent pas être attribuées à la seule suppression de NSP. DOC-SENTENCES fait un peu mieux que FULL-SENTENCES ; les auteurs choisissent pourtant ce dernier pour faciliter les comparaisons suivantes.\n\n### Entraînement avec de grands lots\n\n\n\n![Batch Size](/content/papers/assets/4e006daaf348ac16e03edf1c05d264438854dccd02ba33620446647604ec9e76.jpg)\n\n\n\nLes grands lots se parallélisent plus facilement. BERTBASE utilisait des lots de 256 séquences pendant un million d'étapes. Les auteurs ajustent aussi taux d'apprentissage et nombre d'étapes afin que les trois configurations du tableau parcourent autant de fois les mêmes données, avec un calcul approximativement égal.\n\nEn passant de 256 à 2K séquences, la perplexité MLM sur le corpus de préentraînement conservé et les exactitudes de développement MNLI-m et SST-2 s'améliorent. À 8K, ces trois mesures sont un peu moins bonnes qu'à 2K : augmenter le lot n'améliore donc pas tout de façon monotone. Comme les grands lots facilitent aussi l'entraînement distribué en parallèle sur les données, les auteurs utilisent 8K séquences dans les expériences suivantes.\n\n### Encodage du texte\n\nByte-Pair Encoding (BPE) permet de représenter un vaste vocabulaire à partir de sous-mots.\n\nLe BERT d'origine utilise un vocabulaire de 30K sous-mots WordPiece. Les auteurs étudient plutôt un vocabulaire d'environ 50K unités BPE au niveau des octets, sans prétraitement ni segmentation supplémentaires des entrées.\n\nLes premiers essais montrent de faibles écarts de performance ; le BPE au niveau des octets est un peu moins bon sur certaines tâches. Les auteurs le retiennent tout de même pour son caractère plus général.\n\n### Quantité de données d'entraînement\n\n![Data Size](/content/papers/assets/a5ecbc74409ef7cc74de8b085d8b88bcf61ee5e9cf6c45f3fcab303cc1204248.jpg)\n\nLes auteurs prennent d'abord la configuration $BERT_{\\text{LARGE}}$ (L = 24, H = 1024, A = 16 ; environ 355 M de paramètres dans l'architecture d'origine) et la préentraînent 100K étapes sur BOOKCORPUS et WIKIPEDIA. Le vocabulaire BPE au niveau des octets, plus grand, ajoute environ 20 M de paramètres à cette étude.\n\nL'entraînement dure environ une journée sur 1 024 GPU V100.\n\nLa première ligne du tableau, limitée à BOOKCORPUS et WIKIPEDIA, dépasse déjà le $BERT_{\\text{LARGE}}$ cité. Mais les deux lignes indiquent respectivement 16 et 13 Go de données, avec des tailles de lot et nombres d'étapes différents. On ne peut donc attribuer l'écart à un seul choix. Les trois lignes suivantes de RoBERTa comparent ensuite l'ajout de données jusqu'à 160 Go, puis la prolongation de l'entraînement à 300K et 500K étapes.\n\n\n> [!TIP]\n> \n> 1 024 GPU V100. (???)\n\n\n## Conclusion\n\nRécapitulons les améliorations présentées dans l'article :\n\n1. Entraîner le modèle plus longtemps.\n2. Utiliser des lots plus grands et davantage de données.\n3. Retirer l'objectif NSP.\n4. Employer des séquences d'entrée plus longues.\n5. Modifier dynamiquement les motifs de masquage des données d'entraînement.\n\nRoBERTa obtient les meilleurs résultats de l'époque sur GLUE, RACE et SQuAD, sans ajustement multitâche pour GLUE ni données supplémentaires pour SQuAD. Ces résultats montrent l'importance de choix de conception auparavant négligés.\n\nLe principe peut aussi inspirer d'autres architectures : une bonne méthode d'entraînement peut améliorer les résultats d'un modèle. Cela peut compter dans bien d'autres domaines.\n","imageSizes":{"/content/papers/assets/cbf2bba8a99ec32ddf52a845f831eada66fc53f6337cd22a4fff68e4fc6bb2e4.jpg":{"width":1064,"height":452},"/content/papers/assets/64f4d750632789b23d7794c48b711c6dfa6e1770ccceb912f7cfe24b2c4ed304.jpg":{"width":1386,"height":646},"/content/papers/assets/4e006daaf348ac16e03edf1c05d264438854dccd02ba33620446647604ec9e76.jpg":{"width":858,"height":316},"/content/papers/assets/a5ecbc74409ef7cc74de8b085d8b88bcf61ee5e9cf6c45f3fcab303cc1204248.jpg":{"width":3854,"height":1595}}}
