RoFormer という名前よりも、実際には RoPE の方がよく知られているかもしれません。
RoPE は RoFormer のコア概念であり、正式名称は「Rotary Position Embedding」で、新しいタイプの位置エンコーディング方法です。
位置エンコーディングや因果 mask など順序を与える仕組みがなければ、純粋な自己注意だけでは token の並び順を区別できません。
そのため、モデルがシーケンス内の順序を理解できるように、追加で位置情報を提供する必要があります。
一般的には、位置エンコーディングは位置情報をベクトル形式に変換し、それを入力のトークン埋め込みに「加える」ことによって行われます。
最初の Transformer 論文では、三角関数を用いた位置エンコーディングが採用されました。
P E ( p o s , k ) = { sin ( p o s / 10000 2 i / d model ) if k = 2 i cos ( p o s / 10000 2 i / d model ) if k = 2 i + 1 PE_{(pos, k)} = \begin{cases}
\sin(pos/10000^{2i/d_{\text{model}}}) & \text{if } k = 2i \\
\cos(pos/10000^{2i/d_{\text{model}}}) & \text{if } k = 2i + 1
\end{cases} P E ( p os , k ) = { sin ( p os /1000 0 2 i / d model ) cos ( p os /1000 0 2 i / d model ) if k = 2 i if k = 2 i + 1
位置インデックスと特徴次元から固定ベクトルを作る関数で、系列全体の長さを入力する必要はありません。
訓練時より先の位置でも値は計算できます。
BERT や GPT などのモデルでは、位置エンコーディングは訓練を通じて得られます。
最大シーケンス長をN N N とした場合、位置エンコーディングの次元はd model d_{\text{model}} d model であり、位置エンコーディングの行列はN × d model N \times d_{\text{model}} N × d model となります。
単純で扱いやすい設計ですが、表に定義されるのは N N N 個の位置です。それを超えるには拡張や補間などの対応が必要です。既存の範囲内で入力長を変えるだけなら、再訓練は不要です。
この論文では、自己注意機構におけるQ K T QK^T Q K T の展開を行っています:
Q i = ( x i + p o s i ) W Q Q_i=(x_i+pos_i)W_Q Q i = ( x i + p o s i ) W Q
K j = ( x j + p o s j ) W K K_j=(x_j+pos_j)W_K K j = ( x j + p o s j ) W K
Q i K j T = ( x i + p o s i ) W Q W K T ( x j + p o s j ) T Q_iK_j^T=(x_i+pos_i)W_QW_K^T(x_j+pos_j)^T Q i K j T = ( x i + p o s i ) W Q W K T ( x j + p o s j ) T
最終的に、次の式が得られます:
Q i K j T = x i W Q W K T x j T + x i W Q W K T p o s j T + p o s i W Q W K T x j T + p o s i W Q W K T p o s j T Q_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^Tpos_j^T+pos_iW_QW_K^Tx_j^T+pos_iW_QW_K^Tpos_j^T Q i K j T = x i W Q W K T x j T + x i W Q W K T p o s j T + p o s i W Q W K T x j T + p o s i W Q W K T p o s j T
次に、p o s j pos_j p o s j を相対位置ベクトルR i − j R_{i-j} R i − j に置き換え、p o s i pos_i p o s i を学習可能なベクトルu u u , v v v に置き換えた結果、次のようになります:
Q i K j T = x i W Q W K T x j T + x i W Q W K T R i − j T + u W Q W K T x j T + v W Q W K T R i − j T Q_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^T{\color{red}{R_{i-j}^T}}+{\color{green}{u}}W_QW_K^Tx_j^T+{\color{green}{v}}W_QW_K^T{\color{red}{R_{i-j}^T}} Q i K j T = x i W Q W K T x j T + x i W Q W K T R i − j T + u W Q W K T x j T + v W Q W K T R i − j T
次に u W Q uW_Q u W Q と v W Q vW_Q v W Q を、それぞれ新たな学習ベクトル u u u 、v v v としてまとめ直します。
Q i K j T = x i W Q W K T x j T + x i W Q W K T R i − j T + u W K T x j T + v W K T R i − j T Q_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^T{\color{red}{R_{i-j}^T}}+{\color{green}{u}}W_K^Tx_j^T+{\color{green}{v}}W_K^T{\color{red}{R_{i-j}^T}} Q i K j T = x i W Q W K T x j T + x i W Q W K T R i − j T + u W K T x j T + v W K T R i − j T
R i − j T {\color{red}{R_{i-j}^T}} R i − j T のエンコーディング空間と元々のp o s j pos_j p o s j のエンコーディング空間が異なるため、W K T W_K^T W K T をW K , R T W_{K, R}^T W K , R T に置き換えて次の式が得られます:
Q i K j T = x i W Q W K T x j T + x i W Q W K , R T R i − j T + u W K T x j T + v W K , R T R i − j T Q_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_{K, R}^T{\color{red}{R_{i-j}^T}}+{\color{green}{u}}W_K^Tx_j^T+{\color{green}{v}}W_{K, R}^T{\color{red}{R_{i-j}^T}} Q i K j T = x i W Q W K T x j T + x i W Q W K , R T R i − j T + u W K T x j T + v W K , R T R i − j T
Transformer-XL は value 項に位置情報を追加しません。T5 などにも同様の選択が見られますが、すべての後続研究に当てはまる規則ではありません。
T5 では、著者はコンテンツ情報と位置情報を分離し、位置に関連する情報をすべてβ i , j \beta_{i,j} β i , j に格納しました。これにより、次の式が得られます:
Q i K j T = x i W Q W K T x j T + β i , j Q_iK_j^T=x_iW_QW_K^Tx_j^T + \beta_{i,j} Q i K j T = x i W Q W K T x j T + β i , j
ここではすべての位置エンコーディング方法を振り返るつもりはありません。さらに詳細な内容については、蘇劍林のウェブサイトの記事を参照してください:
過去の研究を振り返ると、絶対位置エンコーディングと相対位置エンコーディングはそれぞれに利点と欠点があります。
本研究では、絶対位置エンコーディングと相対位置エンコーディングを融合する方法を提案することを目指しています。
Transformer ベースの言語モデリングでは、通常、自己注意機構を通じて各トークンの位置情報を活用します。著者は、内積が相対的な形でのみ位置情報をエンコードすることを希望しました:
⟨ f q ( x m , m ) , f k ( x n , n ) ⟩ = g ( x m , x n , m − n ) \langle f_q(x_m, m), f_k(x_n, n) \rangle = g(x_m, x_n, m - n) ⟨ f q ( x m , m ) , f k ( x n , n )⟩ = g ( x m , x n , m − n )
最終的な目標は、関数 f q ( x m , m ) f_q(x_m, m) f q ( x m , m ) と f k ( x n , n ) f_k(x_n, n) f k ( x n , n ) が上記の関係式を満たすような等価なエンコーディング機構を見つけることです。
一連の導出の結果(詳細は論文をご参照ください )、著者が提案する解は次の通りです:
f q ( x m , m ) = ( W q x m ) e i m θ f_q(x_m, m) = (W_q x_m) e^{im\theta} f q ( x m , m ) = ( W q x m ) e im θ
f k ( x n , n ) = ( W k x n ) e i n θ f_k(x_n, n) = (W_k x_n) e^{in\theta} f k ( x n , n ) = ( W k x n ) e in θ
g ( x m , x n , m − n ) = ℜ [ ( W q x m ) ( W k x n ) ∗ e i ( m − n ) θ ] g(x_m, x_n, m - n) = \Re \left[ (W_q x_m)(W_k x_n)^* e^{i(m - n) \theta} \right] g ( x m , x n , m − n ) = ℜ [ ( W q x m ) ( W k x n ) ∗ e i ( m − n ) θ ]
これは 2 次元の場合の複素数表現で、射影後の各ベクトルを 1 つの複素数とみなします。ℜ \Re ℜ は実部、∗ * ∗ は共役、θ \theta θ は事前に決めたゼロでない回転周波数です。
オイラーの公式と回転
オイラーの公式の中心的な概念は回転です。複素数 z = x + i y z = x + iy z = x + i y に対して、これを平面上の点 ( x , y ) (x, y) ( x , y ) と見なすことも、ベクトル ( x , y ) (x, y) ( x , y ) と見なすこともできます。複素数 z z z に e i θ e^{i\theta} e i θ を掛けることは、ベクトル ( x , y ) (x, y) ( x , y ) を原点を中心に逆時計回りに θ \theta θ ラジアン回転させることと等価です。
一例として、マークダウンでざっくりした図を描いてみましょう:
これは、e i θ e^{i\theta} e i θ がオイラーの公式を使って次のように展開できるからです:
e i θ = cos ( θ ) + i sin ( θ ) e^{i\theta} = \cos(\theta) + i\sin(\theta) e i θ = cos ( θ ) + i sin ( θ )
この公式は、複平面上の単位ベクトルが原点を中心に θ \theta θ ラジアン逆時計回りに回転することを示しています。
特殊なケース
θ = π \theta = \pi θ = π の場合、次のようになります:
e i π = − 1 e^{i\pi} = -1 e iπ = − 1
これは、複素数 z z z を e i π e^{i\pi} e iπ で掛けることが、ベクトルを 180 度回転させて反対方向のベクトルを得ることを意味します。したがって、次の有名な恒等式が得られます:
e i π + 1 = 0 e^{i\pi} + 1 = 0 e iπ + 1 = 0
この公式はオイラーの恒等式として知られ、数学の中で最も美しい公式の一つであり、自然対数の底 e e e 、虚数単位 i i i 、円周率 π \pi π 、1、0 を巧妙に結びつけています。
論文中で、i n θ in\theta in θ という形式が登場しますが、ここでの n θ n\theta n θ は回転角度の倍率を表しています。
f q ( x m , m ) f_q(x_m, m) f q ( x m , m ) と f k ( x n , n ) f_k(x_n, n) f k ( x n , n ) の形式は、複平面上でそれぞれのベクトルが m θ m\theta m θ と n θ n\theta n θ の角度で回転していることを示しています。
ここで m m m と n n n は token の位置インデックスです。周波数は θ \theta θ が決め、高次元では 2 次元部分空間ごとに θ i \theta_i θ i を持ちます。
g ( x m , x n , m − n ) = ℜ [ ( W q x m ) ( W k x n ) ∗ e i ( m − n ) θ ] g(x_m, x_n, m - n) = \Re \left[ (W_q x_m)(W_k x_n)^* e^{i(m - n)\theta} \right] g ( x m , x n , m − n ) = ℜ [ ( W q x m ) ( W k x n ) ∗ e i ( m − n ) θ ]
ここで、i ( m − n ) θ i(m - n)\theta i ( m − n ) θ は 2 つの回転角度の差を示しています。
拡大
RoPE の図による説明は上の通りです。
2 次元空間での結果を任意の x i ∈ R d x_i \in R^d x i ∈ R d (d d d が偶数の場合)に拡張するために、著者は d d d 次元空間を d / 2 d/2 d /2 のサブ空間に分割し、内積の線形特性を利用して f { q , k } f_{\{q,k\}} f { q , k } を次のように変換しました:
f { q , k } ( x m , m ) = R Θ , m d W { q , k } x m f_{\{q,k\}}(x_m, m) = R^d_{\Theta,m} W_{\{q,k\}} x_m f { q , k } ( x m , m ) = R Θ , m d W { q , k } x m
ここで、
R Θ , m d = ( cos m θ 1 − sin m θ 1 0 0 ⋯ 0 0 sin m θ 1 cos m θ 1 0 0 ⋯ 0 0 0 0 cos m θ 2 − sin m θ 2 ⋯ 0 0 0 0 sin m θ 2 cos m θ 2 ⋯ 0 0 ⋮ ⋮ ⋮ ⋮ ⋱ ⋮ ⋮ 0 0 0 0 ⋯ cos m θ d / 2 − sin m θ d / 2 0 0 0 0 ⋯ sin m θ d / 2 cos m θ d / 2 ) R^d_{\Theta,m} =
\begin{pmatrix}
\cos m\theta_1 & -\sin m\theta_1 & 0 & 0 & \cdots & 0 & 0 \\
\sin m\theta_1 & \cos m\theta_1 & 0 & 0 & \cdots & 0 & 0 \\
0 & 0 & \cos m\theta_2 & -\sin m\theta_2 & \cdots & 0 & 0 \\
0 & 0 & \sin m\theta_2 & \cos m\theta_2 & \cdots & 0 & 0 \\
\vdots & \vdots & \vdots & \vdots & \ddots & \vdots & \vdots \\
0 & 0 & 0 & 0 & \cdots & \cos m\theta_{d/2} & -\sin m\theta_{d/2} \\
0 & 0 & 0 & 0 & \cdots & \sin m\theta_{d/2} & \cos m\theta_{d/2}
\end{pmatrix} R Θ , m d = cos m θ 1 sin m θ 1 0 0 ⋮ 0 0 − sin m θ 1 cos m θ 1 0 0 ⋮ 0 0 0 0 cos m θ 2 sin m θ 2 ⋮ 0 0 0 0 − sin m θ 2 cos m θ 2 ⋮ 0 0 ⋯ ⋯ ⋯ ⋯ ⋱ ⋯ ⋯ 0 0 0 0 ⋮ cos m θ d /2 sin m θ d /2 0 0 0 0 ⋮ − sin m θ d /2 cos m θ d /2
は、予め設定されたパラメータ Θ = { θ i = 10000 − 2 ( i − 1 ) / d , i ∈ [ 1 , 2 , . . . , d / 2 ] } \Theta = \{\theta_i = 10000^{-2(i-1)/d}, i \in [1, 2, ..., d/2]\} Θ = { θ i = 1000 0 − 2 ( i − 1 ) / d , i ∈ [ 1 , 2 , ... , d /2 ]} を持つ回転行列です。
RoPE を自己注意機構に適用した場合、次の式が得られます:
q m ⊤ k n = ( R Θ , m d W q x m ) ⊤ ( R Θ , n d W k x n ) = x m ⊤ W q ⊤ R Θ , n − m d W k x n q^\top_m k_n = (R^d_{\Theta,m} W_q x_m)^\top (R^d_{\Theta,n} W_k x_n) = x_m^\top W_q^\top R^d_{\Theta,n-m} W_k x_n q m ⊤ k n = ( R Θ , m d W q x m ) ⊤ ( R Θ , n d W k x n ) = x m ⊤ W q ⊤ R Θ , n − m d W k x n
ここで R Θ , n − m d = ( R Θ , m d ) ⊤ R Θ , n d R^d_{\Theta,n-m} = (R^d_{\Theta,m})^\top R^d_{\Theta,n} R Θ , n − m d = ( R Θ , m d ) ⊤ R Θ , n d です。直交回転はノルムを保存します。原論文の式 (16) の右辺で抜けている m m m の添字と W q W_q W q の転置も補い、左辺の展開と整合させています。
拡大
著者らは原 Transformer と同じ周波数設計を使い、θ i = 10000 − 2 i / d \theta_i=10000^{-2i/d} θ i = 1000 0 − 2 i / d としています。ここでは添字を 0 から数えており、先ほどの 1 始まりの式と同じです。論文は Abel 変換で内積の相対的な上界を分析しています。上の図では距離が伸びるにつれて全体として下がる傾向がありますが、曲線には起伏があります。任意の query–key スコアが単調に減る、あるいは無制限に長さを外挿できるという保証ではありません。
拡大
上の図は、RoPE と他の位置エンコーディング方法の比較を示しています。
左側は BERT との比較です。RoPE を使用したモデルが訓練過程でより良い性能を示し、MLM Loss が速く減少していることがわかります。右側は RoPE を Performer に追加した場合で、訓練過程での収束速度が速く、訓練終了時により良い性能を達成しています。
拡大
著者は Hugging Face の Transformers ライブラリを使用して微調整し、GLUE データセットで実験を行いました。
Table 2 の 6 つの GLUE データセットでは、MRPC・STS-B・QQP は改善する一方、SST-2・QNLI・MNLI は低下しています。BERT に対して大半あるいは全タスクで優れる結果ではありません。
この研究は強力な理論的サポートと励みになる実験結果を提供していますが、著者は以下の制限が存在すると考えています:
数学的には相対位置関係を 2D サブ空間内で回転として表現しましたが、この方法がなぜ他の位置エンコーディング戦略を使用したベースラインモデルよりも速く収束するのかについては、まだ深い説明が不足しています。
距離減衰の分析は、位置構造の理解に役立ちます。
この論文は少し難解かもしれませんが、RoPE の概念は非常に興味深く、原著を読むことを強くお勧めします。
後の LLaMA などは RoPE を採用しています。ただし、元の Mamba を RoPE の採用例に含めるのは適切ではありません。
RoPE を検討し、改良する研究はその後もたくさん出ています。また出会ったときに続きを話しましょう。