RoFormer: Enhanced Transformer with Rotary Position Embedding
- Publication
- Neurocomputing 2024Revue
- Premier dépôt sur arXiv
- arXiv:2104.09864
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{transformersroformer2021,
title = {{RoFormer: Enhanced Transformer with Rotary Position Embedding}},
author = {Jianlin Su and Yu Lu and Shengfeng Pan and Ahmed Murtadha and Bo Wen and Yunfeng Liu},
year = {2021},
eprint = {2104.09864},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2104.09864}
}
Le nom RoPE est sans doute mieux connu que celui de RoFormer.
RoPE, pour « Rotary Position Embedding », est le principe central de RoFormer : une nouvelle manière d'encoder les positions.
Définir le problème
À la différence d'un RNN ou d'un CNN, le Transformer ne possède pas de biais inductif naturel pour la position.
Il faut donc lui fournir cette information pour qu'il puisse comprendre l'ordre des éléments d'une séquence.
En général, on convertit la position en vecteur, puis on l'« ajoute » à l'embedding du token d'entrée.
Positions absolues : fonctions trigonométriques
Le premier article sur le Transformer emploie une formule trigonométrique :
Elle combine la position dans la séquence et la dimension de la représentation pour attribuer à chaque position un encodage fixe.
Comme cet encodage suit une règle de génération déterministe, il possède une certaine capacité d'extrapolation.
Positions absolues : paramètres appris
Dans BERT et GPT, entre autres, l'encodage positionnel peut être appris pendant l'entraînement.
Si la longueur maximale vaut et que la dimension du modèle vaut , la matrice des positions a la taille .
Cette méthode est très simple : pas besoin de se creuser la tête. Son inconvénient est qu'elle n'offre pas directement de représentation pour les positions au-delà de la longueur prévue à l'entraînement.
Positions relatives : la méthode de Transformer-XL
Dans cet article, on développe le terme de l'attention :
Ce qui donne :
Puis on remplace par le vecteur de position relative , et par les vecteurs apprenables et :
Comme et sont eux aussi des paramètres apprenables, on peut les absorber dans et :
L'espace d'encodage de diffère de celui de . On remplace donc le terme qui lui est appliqué par :
Dans cette construction, on n'ajoute pas de code positionnel à la matrice des valeurs : l'information de position intervient dans les scores calculés avec et .
Positions relatives : la méthode de T5
T5 sépare le contenu et la position. Il place l'information relative à la position dans :
Et ce n'est pas tout
Nous n'allons pas passer en revue tous les encodages positionnels. Pour aller plus loin, voici un autre article de Su Jianlin :
Résoudre le problème
Les encodages de position absolue et relative ont donc chacun leurs atouts et leurs limites.
Les auteurs cherchent une méthode qui réunisse les deux.
Architecture du modèle
Dans un modèle de langage Transformer, l'attention exploite la position des tokens. Ici, les auteurs veulent que le produit scalaire exprime cette information sous une forme relative :
Il faut donc trouver des transformations et qui satisfont cette relation.
Après plusieurs étapes de calcul (voir l'article pour les détails), ils proposent :
Ici, prend la partie réelle, désigne le conjugué complexe et est une constante non nulle.
Extension aux grandes dimensions
La figure ci-dessus illustre RoPE.
Pour étendre le résultat en deux dimensions à tout avec pair, les auteurs décomposent l'espace de dimension en sous-espaces et utilisent la linéarité du produit scalaire :
Où la matrice de rotation vaut :
Ses paramètres sont fixés à l'avance : .
En appliquant RoPE à l'attention, on obtient :
Avec . La matrice de rotation est orthogonale ; cette propriété conserve les produits scalaires lors de la rotation.
Décroissance à longue distance
Les auteurs reprennent les fréquences du Transformer initial, avec des indices commençant à 1, pour étudier la décroissance à longue distance de RoPE.
La figure montre une borne supérieure relative du produit scalaire. Sa tendance générale diminue lorsque la distance entre positions augmente, mais la courbe oscille : on ne peut pas en déduire que le produit scalaire de n'importe quels deux tokens diminue de façon monotone. Cela rejoint l'intuition qu'en texte, les positions éloignées sont souvent moins étroitement liées.
Discussion
Comparaison avec d'autres encodages positionnels
La figure compare RoPE avec d'autres encodages de position.
À gauche, comparé à BERT, le modèle utilisant RoPE voit sa perte MLM diminuer plus vite pendant l'entraînement. À droite, l'ajout de RoPE à PerFormer accélère aussi la convergence et améliore le résultat en fin d'entraînement.
Benchmark GLUE
Les auteurs utilisent la bibliothèque Transformers de Hugging Face pour ajuster les modèles et les évaluer sur GLUE.
RoFormer fait mieux que BERT sur trois des six tâches présentées et moins bien sur les trois autres. RoPE est donc utile pour une partie de ces tâches de NLP, sans gagner partout.
Limites
Malgré l'appui théorique et les résultats encourageants, les auteurs signalent deux limites :
- La relation entre positions relatives est représentée mathématiquement par une rotation dans un sous-espace 2D. Mais on ne sait pas encore bien pourquoi cette méthode converge plus vite que les modèles de référence à d'autres encodages positionnels.
- Les auteurs analysent la décroissance à longue distance et observent de meilleurs résultats sur des textes longs que pour les modèles comparés, sans disposer encore d'une explication convaincante.
Conclusion
L'article n'est peut-être pas facile à lire, mais l'idée de RoPE est passionnante. Nous vous recommandons vivement de lire le texte original.
De nombreux travaux, comme LLaMA, emploient déjà RoPE ; cela montre à quel point cette méthode s'est répandue dans le traitement automatique des langues.
Beaucoup d'études l'ont ensuite examinée et améliorée. Nous en reparlerons quand nous les rencontrerons.