BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
- Publication
- NAACL-HLT 2019Conférence
- Premier dépôt sur arXiv
- arXiv:1810.04805
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{transformersbert2018,
title = {{BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding}},
author = {Jacob Devlin and Ming-Wei Chang and Kenton Lee and Kristina Toutanova},
year = {2018},
eprint = {1810.04805},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1810.04805}
}
Après la publication de Transformer, beaucoup de chercheurs ont cherché à mieux exploiter cette architecture.
GPT-1, dont nous avons parlé précédemment, avait choisi une architecture entièrement décodeur (decoder-only). BERT prend le chemin inverse : entièrement encodeur (encoder-only).
Définir le problème
Deux stratégies permettent généralement d'appliquer un modèle de langage préentraîné à des tâches ultérieures :
-
1. Les méthodes fondées sur les caractéristiques
Dans une méthode comme ELMo (Peters et coll., 2018a), une architecture adaptée à la tâche utilise les représentations préentraînées comme caractéristiques supplémentaires.
-
2. Les méthodes d'ajustement fin
Une méthode comme OpenAI GPT ajoute peu de paramètres propres à la tâche et ajuste simplement tous les paramètres préentraînés sur la tâche visée.
Ces deux approches utilisent un objectif de modèle de langage pendant le préentraînement pour apprendre des représentations générales du texte.
Parmi leurs limites, les auteurs jugent celle de l'« unidirectionnalité » particulièrement sérieuse.
Unidirectionnalité
Dans OpenAI GPT, évoqué dans notre article précédent, l'architecture va de gauche à droite : dans chaque couche d'auto-attention du Transformer, un token ne peut porter attention qu'aux tokens antérieurs.
Cette contrainte ne convient pas toujours aux tâches portant sur la phrase entière. Elle peut surtout nuire à l'ajustement sur des tâches au niveau du token, comme la recherche d'une réponse dans un passage : le contexte situé des deux côtés aide à en reconnaître les limites.
Résoudre le problème
Architecture du modèle
Cette figure montre les entrées de BERT : à chaque position, l'embedding du token, celui du segment et celui de la position sont additionnés avant d'être transmis à l'encodeur. BERT-Base, présenté ci-dessous, a douze couches ; BERT-Large en a vingt-quatre.
Voici leurs configurations :
-
BERT-Base
- Douze couches d'encodeur, chacune fondée sur les blocs de base du Transformer.
- Une représentation de dimension 768 et douze têtes d'attention par couche.
- Environ 110 millions de paramètres.
-
BERT-Large
- Vingt-quatre couches d'encodeur, chacune fondée sur les blocs de base du Transformer.
- Une représentation de dimension 1 024 et seize têtes d'attention par couche.
- Environ 340 millions de paramètres.
BERT utilise aussi plusieurs conventions pour ses entrées :
-
Définition souple de la séquence : chez BERT, une « phrase » n'est pas forcément une phrase au sens grammatical ; elle peut désigner n'importe quel passage continu. La « séquence » est la suite de tokens traitée par le modèle, contenant un ou deux passages.
-
Embeddings WordPiece : un vocabulaire d'environ 30 000 tokens WordPiece (Wu et coll., 2016) permet notamment de traiter les mots rares ou inconnus.
-
Tokens spéciaux :
- [CLS] : premier token de chaque séquence ; son état caché final sert de représentation pour les tâches de classification de la séquence.
- [SEP] : sépare les deux passages afin que BERT distingue les informations de chacun.
- [MASK] : remplace certains tokens sélectionnés pendant le préentraînement pour que le modèle prédise leur valeur d'origine.
-
Marqueurs des segments : en plus de [SEP], un embedding de segment appris est ajouté à chaque token pour indiquer s'il appartient au passage A ou B. L'embedding positionnel visible sur la figure s'y ajoute également.
Stratégie de préentraînement
Dans la figure ci-dessus, la partie gauche illustre le préentraînement de BERT, et la droite son ajustement fin.
Cette stratégie de préentraînement est devenue un classique qui a influencé beaucoup de modèles ultérieurs.
BERT est préentraîné sur BooksCorpus et Wikipédia en anglais, avec deux objectifs simultanés.
-
Masked Language Model (MLM)
BERT utilise la modélisation du langage masqué, parfois comparée à un texte à trous, pour apprendre une représentation profondément bidirectionnelle. Une partie des tokens de la séquence est choisie au hasard ; le modèle doit retrouver leur valeur d'origine.
-
Choix des tokens et masquage : environ 15 % des tokens WordPiece de chaque séquence sont sélectionnés. Parmi eux, 80 % sont remplacés par [MASK], 10 % par un token aléatoire et les 10 % restants ne sont pas modifiés.
-
Prédiction des tokens sélectionnés : pour chacun, BERT utilise son vecteur caché final et une couche softmax sur le vocabulaire pour retrouver le token d'origine.
-
Décalage possible lors de l'ajustement : les tokens [MASK] employés au préentraînement ne figurent pas dans les véritables entrées des tâches ultérieures. Ne pas remplacer systématiquement les positions sélectionnées par [MASK] atténue cette différence.
-
-
Next Sentence Prediction (NSP)
Pour apprendre à reconnaître l'adjacence des passages, BERT ajoute la tâche de prédiction de la phrase suivante.
Pendant le préentraînement, la moitié des paires A-B utilisent un passage B qui suit réellement A (IsNext). Pour l'autre moitié, B est tiré au hasard dans le corpus (NotNext). Le modèle décide à partir de [CLS] si B suit A ; cette étiquette décrit leur succession dans le corpus.
Les auteurs souhaitent ainsi exposer BERT aux paires de passages dès le préentraînement. L'effet de NSP sur les tâches ultérieures doit toutefois être jugé à la lumière des ablations ci-dessous.
Stratégie d'ajustement fin
À l'ajustement fin, BERT reçoit une sortie adaptée à la tâche et ses paramètres préentraînés sont mis à jour en même temps. La classification exploite [CLS] ; la question-réponse utilise les représentations de chaque token.
-
Question-réponse (SQuAD) :
BERT traite la question et le passage contenant la réponse comme une seule séquence, avec des embeddings de segment distincts. Pendant l'ajustement, deux vecteurs appris lui permettent de prédire les positions de début et de fin de la réponse dans le passage.
-
Inférence en langage naturel (NLI) :
La prémisse et l'hypothèse sont séparées par [SEP] dans une même séquence ; les deux passages peuvent donc interagir dans l'encodeur, et la représentation de [CLS] sert ensuite à la classification.
D'après l'article, les tâches ultérieures peuvent être ajustées à partir des mêmes poids préentraînés en une heure au plus sur un seul Cloud TPU, ou en quelques heures sur GPU. Ces durées concernent l'ajustement, pas le coût du préentraînement.
Discussion
Dans le tableau GLUE test de la figure, la moyenne excluant WNLI est de 82,1 pour BERT-Large et de 75,1 pour OpenAI GPT. Pour MNLI-m, les scores sont respectivement de 86,7 % et de 82,1 %. L'article rapporte aussi des scores globaux de 80,5 et 72,8 dans le classement officiel GLUE de l'époque : ce ne sont pas des scores MNLI. BERT-Large dépasse BERT-Base sur les tâches du tableau. L'ajustement sur de petits jeux de données peut toutefois être instable ; les auteurs répètent les essais avec plusieurs initialisations aléatoires et choisissent le modèle sur l'ensemble de développement.
BERT établit en outre de nouveaux meilleurs résultats sur onze tâches de traitement du langage, signe que cette méthode peut servir dans plusieurs contextes.
Études d'ablation
La figure reproduit la Table 5 : elle compare les objectifs de préentraînement avec la configuration BERT-Base. Toutes les valeurs sont mesurées sur les ensembles de développement ; SQuAD emploie F1, les quatre autres tâches l'exactitude.
-
Sans NSP
- Le modèle conserve un MLM bidirectionnel, mais supprime NSP. Comparé au BERT-Base complet, QNLI passe de 88,4 à 84,9, MNLI-m de 84,4 à 83,9 et SQuAD 1.1 F1 de 88,5 à 87,9 ; ces baisses n'ont pas la même ampleur.
-
De gauche à droite, sans NSP
- Le modèle est préentraîné uniquement de gauche à droite (LTR), sans MLM bidirectionnel ni NSP ; la limitation au contexte de gauche reste en place pendant l'ajustement.
- Ses résultats sont inférieurs à ceux du MLM sur toutes les tâches du tableau, notamment MRPC et SQuAD, où les baisses sont plus marquées.
- Sur SQuAD, la prédiction au niveau du token est nettement moins bonne, car les états cachés des tokens n'ont pas accès au contexte situé à droite.
-
Ajout d'un BiLSTM
- Pour améliorer le système LTR, les auteurs ajoutent au moment de l'ajustement un BiLSTM initialisé au hasard. SQuAD F1 passe de 77,8 à 84,9, tout en restant inférieur aux 87,9 du modèle bidirectionnel ; aucune des quatre tâches GLUE du tableau ne s'améliore par rapport à LTR.
-
Comparaison avec l'approche ELMo
- Les auteurs discutent aussi de l'entraînement séparé d'un modèle LTR et d'un modèle de droite à gauche, suivi de la concaténation des sorties, comme chez ELMo. Il faut alors deux modèles unidirectionnels ; cette configuration n'est pas testée dans la Table 5 reproduite ici.
Conclusion
BERT doit sa renommée à ses performances élevées.
À l'époque, voir un modèle rafler ainsi les classements était rare. BERT a donc suscité une grande attention et accéléré la place prise par les Transformers dans la recherche en langage. Dire qu'il ne restait plus aucune place pour les LSTM est évidemment une formule excessive, mais c'était bien l'impression que donnait cette série de résultats.
Le succès de BERT montre le potentiel du schéma « préentraînement puis ajustement fin » pour des tâches variées de compréhension du langage et ouvre la voie à des modèles ultérieurs plus grands et plus performants.