Longformer: The Long-Document Transformer
- Publication
- Lieu de publication non encore vérifié
- Premier dépôt sur arXiv
- arXiv:2004.05150
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{transformerslongformer2020,
title = {{Longformer: The Long-Document Transformer}},
author = {Iz Beltagy and Matthew E. Peters and Arman Cohan},
year = {2020},
eprint = {2004.05150},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2004.05150}
}
La complexité de calcul de l'auto-attention d'un Transformer est de .
Quand un algorithme présente une telle complexité, on sait qu'il reste beaucoup de place pour l'optimiser.
Tiens, cette entrée en matière ne vous rappelle rien ?
Définir le problème
Pour réduire la complexité du Transformer original, les chercheurs explorent sans cesse d'autres méthodes.
Certains suivent l'idée de Transformer-XL : traiter un long document par segments et réutiliser une mémoire des segments précédents.
Cette manière d'avancer par segments et de garder une mémoire du passé s'adapte cependant mal à une attention bidirectionnelle.
Une autre famille de travaux utilise une attention clairsemée, comme Sparse Transformer, paru un an avant cet article.
Ces travaux ont déjà tenté le préentraînement et certaines tâches en aval. Il reste toutefois à tester plus largement l'ajustement de modèles préentraînés sur de longs documents et leur capacité à se généraliser à plusieurs tâches.
La motivation des auteurs devient donc claire :
- Une attention clairsemée est une piste intéressante pour les longs contextes.
- Son motif de connexions doit être bien conçu.
- Il faut aussi l'inscrire dans un cadre de préentraînement et l'évaluer sur diverses tâches en aval.
Résoudre le problème
Architecture du modèle
Cet article se lit assez facilement : cette figure dit déjà presque tout.
L'attention complète sert de référence et trois motifs d'attention clairsemée sont représentés :
- En (a), chaque token peut consulter tous les autres : c'est l'attention complète.
- En (b), avec la fenêtre glissante (Sliding Window Attention), chaque token ne consulte que les tokens situés dans un voisinage fixe de part et d'autre.
- En (c), la fenêtre glissante dilatée (Dilated Sliding Window Attention) consulte des tokens espacés à intervalles réguliers.
- En (d), attention globale et fenêtre locale se combinent : certains tokens particuliers consultent tous les autres, et tous les autres peuvent aussi les consulter.
- Les positions marquées sur la figure ne sont que des exemples ; la tâche détermine les tokens globaux.
Modélisation autorégressive
Les auteurs utilisent ici la fenêtre dilatée de (c), avec des intervalles de dilatation différents selon les couches.
Les couches basses emploient de petits intervalles et les couches hautes des intervalles plus grands, ce qui leur donne des champs récepteurs différents.
L'entraînement suit également une progression : il ne commence pas d'emblée par un contexte immense, afin de faciliter la convergence.
Il débute avec une séquence et une fenêtre plus courtes, utiles pour apprendre les détails locaux. Aux phases suivantes, les auteurs doublent la longueur de séquence et la largeur de fenêtre, tout en divisant le taux d'apprentissage par deux. Le modèle aborde ainsi des calculs plus complexes après cette préparation.
L'entraînement compte cinq phases, au fil desquelles le modèle apprend à traiter des séquences de plus en plus longues.
La première commence à 2 048 positions ; la dernière atteint 23 040 positions, tout en respectant les limites de mémoire.
Modélisation par auto-encodage
Les auteurs souhaitent aussi comparer leur méthode aux modèles à auto-encodage comme BERT.
Comme un préentraînement complet serait coûteux, ils repartent des poids de RoBERTa, remplacent son auto-attention par celle de Longformer et poursuivent le préentraînement avec l'objectif MLM.
Cette version emploie la fenêtre glissante de (b).
L'attention clairsemée permet de passer des 512 tokens de RoBERTa à 4 096 ; pour les nouvelles positions, les auteurs initialisent les embeddings en recopiant les embeddings de position existants.
Certaines tâches désignent aussi des positions globales : le token [CLS] en classification, ou tous les tokens de la question en question-réponse. Les auteurs utilisent alors le motif de (d), qui associe attention globale et fenêtre glissante.
Discussion
Résultats autorégressifs
La partie haute de l'image reprend la Table 2 : avec de petits modèles de langage au niveau du caractère, Longformer obtient 1,10 BPC sur text8 et 1,00 BPC sur enwik8, les valeurs les plus basses du tableau.
La partie basse reprend la Table 3 : sur enwik8, le modèle Longformer de 102 millions de paramètres obtient 0,99 BPC, à égalité avec Sparse Transformer d'environ 100 millions de paramètres. Deux autres modèles, de 209 et 277 millions de paramètres, descendent à 0,98 et 0,97 ; on ne peut donc pas dire que Longformer rejoint tous les grands modèles au meilleur résultat.
Résultats du modèle à auto-encodage
Le tableau présente six résultats sur des ensembles de développement. WikiHop et IMDB utilisent l'exactitude ; TriviaQA et Hyperpartisan, le F1 ; HotpotQA, le F1 conjoint ; OntoNotes, le F1 moyen. Les colonnes ne mesurent donc pas toutes la même chose.
Les auteurs observent que Longformer dépasse chaque référence RoBERTa de ce tableau.
- Le gain est marqué sur les tâches demandant un long contexte, comme WikiHop et Hyperpartisan.
- Pour TriviaQA, il est plus faible : le contexte local suffit souvent pour trouver la réponse.
- Sur HotpotQA, la supervision auxiliaire des faits justificatifs aide déjà à repérer le contexte utile avant de se concentrer sur son voisinage ; le bénéfice est donc moindre.
- WikiHop ne fournit qu'une supervision distante de la chaîne de raisonnement intermédiaire. Longformer profite alors du raisonnement sur tout le contexte.
- Les gains sont aussi modestes sur IMDB et OntoNotes. Beaucoup d'avis IMDB sont courts ; dans OntoNotes, les mentions sont souvent proches, si bien qu'un modèle de référence par segments peut encore les relier en chaînes de coréférence.
Ablations autorégressives
Sur un petit modèle text8, les auteurs réalisent deux ablations de l'attention autorégressive après 150 000 étapes de la première phase. Le tableau donne le BPC de développement : plus bas est meilleur.
Le premier groupe compare la largeur de la fenêtre glissante selon la profondeur :
- Decreasing w (from 512 to 32) : la fenêtre se rétrécit des couches basses vers les hautes.
- Fixed w (=230) : la largeur reste constante.
- Increasing w (from 32 to 512) : la fenêtre s'élargit vers les couches hautes.
Le BPC de la fenêtre croissante est de 1,21, contre 1,23 pour la largeur fixe et 1,24 pour la décroissante. Dans cette ablation, donner une plus grande fenêtre aux couches hautes fonctionne mieux.
Le second groupe teste la dilatation : en l'ajoutant à deux têtes d'attention, le BPC passe de 1,21 à 1,20.
Ablations du modèle à auto-encodage
Les auteurs mènent aussi plusieurs expériences d'ablation sur cette version du modèle.
Toutes utilisent Longformer-base ; sauf indication contraire, elles reprennent les mêmes hyperparamètres et cinq époques d'ajustement.
- Intérêt des longues séquences : Longformer tire parti d'entrées plus longues pour améliorer ses résultats.
- Attention globale : sans les projections propres à l'attention globale, le score passe de 73,8 à 72,2 ; lorsqu'on retire ensuite l'attention globale elle-même, il tombe à 65,5. Ce dernier résultat change deux éléments et ne peut être attribué à l'un d'eux seul.
- Préentraînement : poursuivre le préentraînement MLM améliore le résultat.
- Durée d'entraînement : porter l'ajustement de cinq à quinze époques fait passer l'exactitude WikiHop de 73,8 à 75,0.
- Comparaison avec RoBERTa-base : en ramenant Longformer à 512 positions et à l'attention complète , on obtient 71,7, contre 72,4 pour RoBERTa-base. Cela appuie l'idée que le principal gain ne vient pas seulement du MLM supplémentaire, même si les entraînements ne sont pas entièrement identiques.
- Dégel des seuls nouveaux embeddings de position : lors de la poursuite du préentraînement à partir de RoBERTa, entraîner seulement les nouveaux embeddings dégrade légèrement le résultat. Longformer peut donc apprendre à exploiter le long contexte pendant l'ajustement propre à une tâche dotée d'assez de données, comme WikiHop.
Conclusion
À mon sens, le point central de cet article reste la conception de l'attention clairsemée.
Longformer laisse la tâche décider quels tokens reçoivent une vue globale. Sparse Transformer étendait la portée avec des connexions clairsemées à intervalles fixes, qui ressemblent à une forme de portée globale.
À en juger par les tableaux, Longformer fait mieux que plusieurs architectures clairsemées antérieures sur les comparaisons présentées, même si l'écart n'est pas toujours très grand.
Le choix dépend donc surtout de vos besoins. (Ou bien essayez chaque architecture, si vous en avez les moyens.)