Retour à la bibliothèque
arXiv 2021Neurocomputing 2024Langage et TransformersNotes de lecture

RoFormer

L'encodage positionnel rotatif

Article original

RoFormer: Enhanced Transformer with Rotary Position Embedding

Auteurs de l’article

Jianlin Su · Yu Lu · Shengfeng Pan · Ahmed Murtadha · Bo Wen · Yunfeng Liu

Publication
Neurocomputing 2024Revue
Premier dépôt sur arXiv
arXiv:2104.09864
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{transformersroformer2021,
  title = {{RoFormer: Enhanced Transformer with Rotary Position Embedding}},
  author = {Jianlin Su and Yu Lu and Shengfeng Pan and Ahmed Murtadha and Bo Wen and Yunfeng Liu},
  year = {2021},
  eprint = {2104.09864},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2104.09864}
}
Sur cette page

Le nom RoPE est sans doute mieux connu que celui de RoFormer.

RoPE, pour « Rotary Position Embedding », est le principe central de RoFormer : une nouvelle manière d'encoder les positions.

Définir le problème

À la différence d'un RNN ou d'un CNN, le Transformer ne possède pas de biais inductif naturel pour la position.

Il faut donc lui fournir cette information pour qu'il puisse comprendre l'ordre des éléments d'une séquence.

En général, on convertit la position en vecteur, puis on l'« ajoute » à l'embedding du token d'entrée.

Positions absolues : fonctions trigonométriques

Le premier article sur le Transformer emploie une formule trigonométrique :

PE(pos,k)={sin⁡(pos/100002i/dmodel)if k=2icos⁡(pos/100002i/dmodel)if k=2i+1PE_{(pos, k)} = \begin{cases} \sin(pos/10000^{2i/d_{\text{model}}}) & \text{if } k = 2i \\ \cos(pos/10000^{2i/d_{\text{model}}}) & \text{if } k = 2i + 1 \end{cases}

Elle combine la position dans la séquence et la dimension de la représentation pour attribuer à chaque position un encodage fixe.

Comme cet encodage suit une règle de génération déterministe, il possède une certaine capacité d'extrapolation.

Positions absolues : paramètres appris

Dans BERT et GPT, entre autres, l'encodage positionnel peut être appris pendant l'entraînement.

Si la longueur maximale vaut NN et que la dimension du modèle vaut dmodeld_{\text{model}}, la matrice des positions a la taille N×dmodelN \times d_{\text{model}}.

Cette méthode est très simple : pas besoin de se creuser la tête. Son inconvénient est qu'elle n'offre pas directement de représentation pour les positions au-delà de la longueur prévue à l'entraînement.

Positions relatives : la méthode de Transformer-XL

Dans cet article, on développe le terme QKTQK^T de l'attention :

  • Qi=(xi+posi)WQQ_i=(x_i+pos_i)W_Q
  • Kj=(xj+posj)WKK_j=(x_j+pos_j)W_K
  • QiKjT=(xi+posi)WQWKT(xj+posj)TQ_iK_j^T=(x_i+pos_i)W_QW_K^T(x_j+pos_j)^T

Ce qui donne :

  • QiKjT=xiWQWKTxjT+xiWQWKTposjT+posiWQWKTxjT+posiWQWKTposjTQ_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^Tpos_j^T+pos_iW_QW_K^Tx_j^T+pos_iW_QW_K^Tpos_j^T

Puis on remplace posjpos_j par le vecteur de position relative Ri−jR_{i-j}, et posipos_i par les vecteurs apprenables uu et vv :

  • QiKjT=xiWQWKTxjT+xiWQWKTRi−jT+uWQWKTxjT+vWQWKTRi−jTQ_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^T{\color{red}{R_{i-j}^T}}+{\color{green}{u}}W_QW_K^Tx_j^T+{\color{green}{v}}W_QW_K^T{\color{red}{R_{i-j}^T}}

Comme uWQuW_Q et vWQvW_Q sont eux aussi des paramètres apprenables, on peut les absorber dans uu et vv :

  • QiKjT=xiWQWKTxjT+xiWQWKTRi−jT+uWKTxjT+vWKTRi−jTQ_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^T{\color{red}{R_{i-j}^T}}+{\color{green}{u}}W_K^Tx_j^T+{\color{green}{v}}W_K^T{\color{red}{R_{i-j}^T}}

L'espace d'encodage de Ri−jT{\color{red}{R_{i-j}^T}} diffère de celui de posjpos_j. On remplace donc le terme WKTW_K^T qui lui est appliqué par WK,RTW_{K, R}^T :

  • QiKjT=xiWQWKTxjT+xiWQWK,RTRi−jT+uWKTxjT+vWK,RTRi−jTQ_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_{K, R}^T{\color{red}{R_{i-j}^T}}+{\color{green}{u}}W_K^Tx_j^T+{\color{green}{v}}W_{K, R}^T{\color{red}{R_{i-j}^T}}

Dans cette construction, on n'ajoute pas de code positionnel à la matrice des valeurs VV : l'information de position intervient dans les scores calculés avec QQ et KK.

Positions relatives : la méthode de T5

T5 sépare le contenu et la position. Il place l'information relative à la position dans βi,j\beta_{i,j} :

  • QiKjT=xiWQWKTxjT+βi,jQ_iK_j^T=x_iW_QW_K^Tx_j^T + \beta_{i,j}

Et ce n'est pas tout

Nous n'allons pas passer en revue tous les encodages positionnels. Pour aller plus loin, voici un autre article de Su Jianlin :

Résoudre le problème

Les encodages de position absolue et relative ont donc chacun leurs atouts et leurs limites.

Les auteurs cherchent une méthode qui réunisse les deux.

Architecture du modèle

Dans un modèle de langage Transformer, l'attention exploite la position des tokens. Ici, les auteurs veulent que le produit scalaire exprime cette information sous une forme relative :

⟨fq(xm,m),fk(xn,n)⟩=g(xm,xn,m−n)\langle f_q(x_m, m), f_k(x_n, n) \rangle= g(x_m, x_n, m-n)

Il faut donc trouver des transformations fq(xm,m)f_q(x_m, m) et fk(xn,n)f_k(x_n, n) qui satisfont cette relation.

Après plusieurs étapes de calcul (voir l'article pour les détails), ils proposent :

  • fq(xm,m)=(Wqxm)eimθf_q(x_m, m) = (W_qx_m)e^{im\theta}
  • fk(xn,n)=(Wkxn)einθf_k(x_n, n) = (W_kx_n)e^{in\theta}
  • g(xm,xn,m−n)=ℜ[(Wqxm)(Wkxn)∗ei(m−n)θ]g(x_m, x_n, m - n) = \Re \left[ (W_q x_m)(W_k x_n)^* e^{i(m - n) \theta} \right]

Ici, ℜ\Re prend la partie réelle, ∗* désigne le conjugué complexe et θ\theta est une constante non nulle.

Extension aux grandes dimensions

La figure ci-dessus illustre RoPE.

Pour étendre le résultat en deux dimensions à tout xi∈Rdx_i \in R^d avec dd pair, les auteurs décomposent l'espace de dimension dd en d/2d/2 sous-espaces et utilisent la linéarité du produit scalaire :

f{q,k}(xm,m)=RΘ,mdW{q,k}xmf_{\{q,k\}}(x_m, m) = R^d_{\Theta,m} W_{\{q,k\}} x_m

Où la matrice de rotation vaut :

RΘ,md=(cos⁡mθ1−sin⁡mθ100⋯00sin⁡mθ1cos⁡mθ100⋯0000cos⁡mθ2−sin⁡mθ2⋯0000sin⁡mθ2cos⁡mθ2⋯00⋮⋮⋮⋮⋱⋮⋮0000⋯cos⁡mθd/2−sin⁡mθd/20000⋯sin⁡mθd/2cos⁡mθd/2)R^d_{\Theta,m} = \begin{pmatrix} \cos m\theta_1 & -\sin m\theta_1 & 0 & 0 & \cdots & 0 & 0 \\ \sin m\theta_1 & \cos m\theta_1 & 0 & 0 & \cdots & 0 & 0 \\ 0 & 0 & \cos m\theta_2 & -\sin m\theta_2 & \cdots & 0 & 0 \\ 0 & 0 & \sin m\theta_2 & \cos m\theta_2 & \cdots & 0 & 0 \\ \vdots & \vdots & \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & 0 & 0 & \cdots & \cos m\theta_{d/2} & -\sin m\theta_{d/2} \\ 0 & 0 & 0 & 0 & \cdots & \sin m\theta_{d/2} & \cos m\theta_{d/2} \end{pmatrix}

Ses paramètres sont fixés à l'avance : Θ={θi=10000−2(i−1)/d,i∈[1,2,...,d/2]}\Theta = \{\theta_i = 10000^{-2(i-1)/d}, i \in [1, 2, ..., d/2]\}.

En appliquant RoPE à l'attention, on obtient :

qm⊤kn=(RΘ,mdWqxm)⊤(RΘ,ndWkxn)=xm⊤Wq⊤RΘ,n−mdWkxnq^\top_m k_n = (R^d_{\Theta,m} W_q x_m)^\top (R^d_{\Theta,n} W_k x_n) = x_m^\top W_q^\top R^d_{\Theta,n-m} W_k x_n

Avec RΘ,n−md=(RΘ,md)⊤RΘ,ndR^d_{\Theta,n-m} = (R^d_{\Theta,m})^\top R^d_{\Theta,n}. La matrice de rotation RΘdR^d_\Theta est orthogonale ; cette propriété conserve les produits scalaires lors de la rotation.

Décroissance à longue distance

Les auteurs reprennent les fréquences du Transformer initial, θi=10000−2(i−1)/d\theta_i=10000^{-2(i-1)/d} avec des indices ii commençant à 1, pour étudier la décroissance à longue distance de RoPE.

La figure montre une borne supérieure relative du produit scalaire. Sa tendance générale diminue lorsque la distance entre positions augmente, mais la courbe oscille : on ne peut pas en déduire que le produit scalaire de n'importe quels deux tokens diminue de façon monotone. Cela rejoint l'intuition qu'en texte, les positions éloignées sont souvent moins étroitement liées.

Discussion

Comparaison avec d'autres encodages positionnels

La figure compare RoPE avec d'autres encodages de position.

À gauche, comparé à BERT, le modèle utilisant RoPE voit sa perte MLM diminuer plus vite pendant l'entraînement. À droite, l'ajout de RoPE à PerFormer accélère aussi la convergence et améliore le résultat en fin d'entraînement.

Benchmark GLUE

Les auteurs utilisent la bibliothèque Transformers de Hugging Face pour ajuster les modèles et les évaluer sur GLUE.

RoFormer fait mieux que BERT sur trois des six tâches présentées et moins bien sur les trois autres. RoPE est donc utile pour une partie de ces tâches de NLP, sans gagner partout.

Limites

Malgré l'appui théorique et les résultats encourageants, les auteurs signalent deux limites :

  1. La relation entre positions relatives est représentée mathématiquement par une rotation dans un sous-espace 2D. Mais on ne sait pas encore bien pourquoi cette méthode converge plus vite que les modèles de référence à d'autres encodages positionnels.
  2. Les auteurs analysent la décroissance à longue distance et observent de meilleurs résultats sur des textes longs que pour les modèles comparés, sans disposer encore d'une explication convaincante.

Conclusion

L'article n'est peut-être pas facile à lire, mais l'idée de RoPE est passionnante. Nous vous recommandons vivement de lire le texte original.

De nombreux travaux, comme LLaMA, emploient déjà RoPE ; cela montre à quel point cette méthode s'est répandue dans le traitement automatique des langues.

Beaucoup d'études l'ont ensuite examinée et améliorée. Nous en reparlerons quand nous les rencontrerons.