論文ノートライブラリに戻る
arXiv 2021Neurocomputing 2024言語モデルと Transformer論文ノート

RoFormer

回転位置エンコーディング

原論文

RoFormer: Enhanced Transformer with Rotary Position Embedding

論文の著者

Jianlin Su · Yu Lu · Shengfeng Pan · Ahmed Murtadha · Bo Wen · Yunfeng Liu

発表先
Neurocomputing 2024学術誌
arXiv への初回投稿
arXiv:2104.09864
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{transformersroformer2021,
  title = {{RoFormer: Enhanced Transformer with Rotary Position Embedding}},
  author = {Jianlin Su and Yu Lu and Shengfeng Pan and Ahmed Murtadha and Bo Wen and Yunfeng Liu},
  year = {2021},
  eprint = {2104.09864},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2104.09864}
}
このページの内容

RoFormer という名前よりも、実際には RoPE の方がよく知られているかもしれません。

RoPE は RoFormer のコア概念であり、正式名称は「Rotary Position Embedding」で、新しいタイプの位置エンコーディング方法です。

問題の定義

位置エンコーディングや因果 mask など順序を与える仕組みがなければ、純粋な自己注意だけでは token の並び順を区別できません。

そのため、モデルがシーケンス内の順序を理解できるように、追加で位置情報を提供する必要があります。

一般的には、位置エンコーディングは位置情報をベクトル形式に変換し、それを入力のトークン埋め込みに「加える」ことによって行われます。

絶対位置:三角式

最初の Transformer 論文では、三角関数を用いた位置エンコーディングが採用されました。

PE(pos,k)={sin⁡(pos/100002i/dmodel)if k=2icos⁡(pos/100002i/dmodel)if k=2i+1PE_{(pos, k)} = \begin{cases} \sin(pos/10000^{2i/d_{\text{model}}}) & \text{if } k = 2i \\ \cos(pos/10000^{2i/d_{\text{model}}}) & \text{if } k = 2i + 1 \end{cases}

位置インデックスと特徴次元から固定ベクトルを作る関数で、系列全体の長さを入力する必要はありません。

訓練時より先の位置でも値は計算できます。

絶対位置:訓練式

BERT や GPT などのモデルでは、位置エンコーディングは訓練を通じて得られます。

最大シーケンス長をNNとした場合、位置エンコーディングの次元はdmodeld_{\text{model}}であり、位置エンコーディングの行列はN×dmodelN \times d_{\text{model}}となります。

単純で扱いやすい設計ですが、表に定義されるのは NN 個の位置です。それを超えるには拡張や補間などの対応が必要です。既存の範囲内で入力長を変えるだけなら、再訓練は不要です。

相対位置:XL 式

この論文では、自己注意機構におけるQKTQK^Tの展開を行っています:

  • Qi=(xi+posi)WQQ_i=(x_i+pos_i)W_Q
  • Kj=(xj+posj)WKK_j=(x_j+pos_j)W_K
  • QiKjT=(xi+posi)WQWKT(xj+posj)TQ_iK_j^T=(x_i+pos_i)W_QW_K^T(x_j+pos_j)^T

最終的に、次の式が得られます:

  • QiKjT=xiWQWKTxjT+xiWQWKTposjT+posiWQWKTxjT+posiWQWKTposjTQ_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^Tpos_j^T+pos_iW_QW_K^Tx_j^T+pos_iW_QW_K^Tpos_j^T

次に、posjpos_jを相対位置ベクトルRi−jR_{i-j}に置き換え、posipos_iを学習可能なベクトルuu, vvに置き換えた結果、次のようになります:

  • QiKjT=xiWQWKTxjT+xiWQWKTRi−jT+uWQWKTxjT+vWQWKTRi−jTQ_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^T{\color{red}{R_{i-j}^T}}+{\color{green}{u}}W_QW_K^Tx_j^T+{\color{green}{v}}W_QW_K^T{\color{red}{R_{i-j}^T}}

次に uWQuW_Q と vWQvW_Q を、それぞれ新たな学習ベクトル uu、vv としてまとめ直します。

  • QiKjT=xiWQWKTxjT+xiWQWKTRi−jT+uWKTxjT+vWKTRi−jTQ_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^T{\color{red}{R_{i-j}^T}}+{\color{green}{u}}W_K^Tx_j^T+{\color{green}{v}}W_K^T{\color{red}{R_{i-j}^T}}

Ri−jT{\color{red}{R_{i-j}^T}}のエンコーディング空間と元々のposjpos_jのエンコーディング空間が異なるため、WKTW_K^TをWK,RTW_{K, R}^Tに置き換えて次の式が得られます:

  • QiKjT=xiWQWKTxjT+xiWQWK,RTRi−jT+uWKTxjT+vWK,RTRi−jTQ_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_{K, R}^T{\color{red}{R_{i-j}^T}}+{\color{green}{u}}W_K^Tx_j^T+{\color{green}{v}}W_{K, R}^T{\color{red}{R_{i-j}^T}}

Transformer-XL は value 項に位置情報を追加しません。T5 などにも同様の選択が見られますが、すべての後続研究に当てはまる規則ではありません。

相対位置:T5 式

T5 では、著者はコンテンツ情報と位置情報を分離し、位置に関連する情報をすべてβi,j\beta_{i,j}に格納しました。これにより、次の式が得られます:

  • QiKjT=xiWQWKTxjT+βi,jQ_iK_j^T=x_iW_QW_K^Tx_j^T + \beta_{i,j}

さらに多くの内容

ここではすべての位置エンコーディング方法を振り返るつもりはありません。さらに詳細な内容については、蘇劍林のウェブサイトの記事を参照してください:

解決問題

過去の研究を振り返ると、絶対位置エンコーディングと相対位置エンコーディングはそれぞれに利点と欠点があります。

本研究では、絶対位置エンコーディングと相対位置エンコーディングを融合する方法を提案することを目指しています。

モデルアーキテクチャ

Transformer ベースの言語モデリングでは、通常、自己注意機構を通じて各トークンの位置情報を活用します。著者は、内積が相対的な形でのみ位置情報をエンコードすることを希望しました:

⟨fq(xm,m),fk(xn,n)⟩=g(xm,xn,m−n)\langle f_q(x_m, m), f_k(x_n, n) \rangle = g(x_m, x_n, m - n)

最終的な目標は、関数 fq(xm,m)f_q(x_m, m) と fk(xn,n)f_k(x_n, n) が上記の関係式を満たすような等価なエンコーディング機構を見つけることです。

一連の導出の結果(詳細は論文をご参照ください)、著者が提案する解は次の通りです:

  • fq(xm,m)=(Wqxm)eimθf_q(x_m, m) = (W_q x_m) e^{im\theta}
  • fk(xn,n)=(Wkxn)einθf_k(x_n, n) = (W_k x_n) e^{in\theta}
  • g(xm,xn,m−n)=ℜ[(Wqxm)(Wkxn)∗ei(m−n)θ]g(x_m, x_n, m - n) = \Re \left[ (W_q x_m)(W_k x_n)^* e^{i(m - n) \theta} \right]

これは 2 次元の場合の複素数表現で、射影後の各ベクトルを 1 つの複素数とみなします。ℜ\Re は実部、∗* は共役、θ\theta は事前に決めたゼロでない回転周波数です。

高次元拡張

RoPE の図による説明は上の通りです。

2 次元空間での結果を任意の xi∈Rdx_i \in R^d (ddが偶数の場合)に拡張するために、著者は dd 次元空間を d/2d/2 のサブ空間に分割し、内積の線形特性を利用して f{q,k}f_{\{q,k\}} を次のように変換しました:

f{q,k}(xm,m)=RΘ,mdW{q,k}xmf_{\{q,k\}}(x_m, m) = R^d_{\Theta,m} W_{\{q,k\}} x_m

ここで、

RΘ,md=(cos⁡mθ1−sin⁡mθ100⋯00sin⁡mθ1cos⁡mθ100⋯0000cos⁡mθ2−sin⁡mθ2⋯0000sin⁡mθ2cos⁡mθ2⋯00⋮⋮⋮⋮⋱⋮⋮0000⋯cos⁡mθd/2−sin⁡mθd/20000⋯sin⁡mθd/2cos⁡mθd/2)R^d_{\Theta,m} = \begin{pmatrix} \cos m\theta_1 & -\sin m\theta_1 & 0 & 0 & \cdots & 0 & 0 \\ \sin m\theta_1 & \cos m\theta_1 & 0 & 0 & \cdots & 0 & 0 \\ 0 & 0 & \cos m\theta_2 & -\sin m\theta_2 & \cdots & 0 & 0 \\ 0 & 0 & \sin m\theta_2 & \cos m\theta_2 & \cdots & 0 & 0 \\ \vdots & \vdots & \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & 0 & 0 & \cdots & \cos m\theta_{d/2} & -\sin m\theta_{d/2} \\ 0 & 0 & 0 & 0 & \cdots & \sin m\theta_{d/2} & \cos m\theta_{d/2} \end{pmatrix}

は、予め設定されたパラメータ Θ={θi=10000−2(i−1)/d,i∈[1,2,...,d/2]}\Theta = \{\theta_i = 10000^{-2(i-1)/d}, i \in [1, 2, ..., d/2]\} を持つ回転行列です。

RoPE を自己注意機構に適用した場合、次の式が得られます:

qm⊤kn=(RΘ,mdWqxm)⊤(RΘ,ndWkxn)=xm⊤Wq⊤RΘ,n−mdWkxnq^\top_m k_n = (R^d_{\Theta,m} W_q x_m)^\top (R^d_{\Theta,n} W_k x_n) = x_m^\top W_q^\top R^d_{\Theta,n-m} W_k x_n

ここで RΘ,n−md=(RΘ,md)⊤RΘ,ndR^d_{\Theta,n-m} = (R^d_{\Theta,m})^\top R^d_{\Theta,n} です。直交回転はノルムを保存します。原論文の式 (16) の右辺で抜けている mm の添字と WqW_q の転置も補い、左辺の展開と整合させています。

長距離減衰

著者らは原 Transformer と同じ周波数設計を使い、θi=10000−2i/d\theta_i=10000^{-2i/d} としています。ここでは添字を 0 から数えており、先ほどの 1 始まりの式と同じです。論文は Abel 変換で内積の相対的な上界を分析しています。上の図では距離が伸びるにつれて全体として下がる傾向がありますが、曲線には起伏があります。任意の query–key スコアが単調に減る、あるいは無制限に長さを外挿できるという保証ではありません。

討論

他の位置エンコーディングとの比較

上の図は、RoPE と他の位置エンコーディング方法の比較を示しています。

左側は BERT との比較です。RoPE を使用したモデルが訓練過程でより良い性能を示し、MLM Loss が速く減少していることがわかります。右側は RoPE を Performer に追加した場合で、訓練過程での収束速度が速く、訓練終了時により良い性能を達成しています。

GLUE ベンチマーク

著者は Hugging Face の Transformers ライブラリを使用して微調整し、GLUE データセットで実験を行いました。

Table 2 の 6 つの GLUE データセットでは、MRPC・STS-B・QQP は改善する一方、SST-2・QNLI・MNLI は低下しています。BERT に対して大半あるいは全タスクで優れる結果ではありません。

制限

この研究は強力な理論的サポートと励みになる実験結果を提供していますが、著者は以下の制限が存在すると考えています:

  1. 数学的には相対位置関係を 2D サブ空間内で回転として表現しましたが、この方法がなぜ他の位置エンコーディング戦略を使用したベースラインモデルよりも速く収束するのかについては、まだ深い説明が不足しています。
  2. 距離減衰の分析は、位置構造の理解に役立ちます。

結論

この論文は少し難解かもしれませんが、RoPE の概念は非常に興味深く、原著を読むことを強くお勧めします。

後の LLaMA などは RoPE を採用しています。ただし、元の Mamba を RoPE の採用例に含めるのは適切ではありません。

RoPE を検討し、改良する研究はその後もたくさん出ています。また出会ったときに続きを話しましょう。