比起 RoFormer 這個名字,其實 RoPE 應該更廣為人知。
RoPE 是 RoFormer 的核心概念,全名為「Rotary Position Embedding」,是一種新型的位置編碼方法。
和 RNN 或 CNN 不同,Transformer 沒有對於位置的歸納偏差。
因此,我們必須額外提供位置信息,以便模型能夠理解序列中的順序。
一般來說,位置編碼是透過將位置信息轉換為向量形式,然後「加」到輸入的 token embedding 中。
在第一篇 Transformer 的論文中,採用的方法為三角函數式。
P E ( p o s , k ) = { sin ( p o s / 10000 2 i / d model ) if k = 2 i cos ( p o s / 10000 2 i / d model ) if k = 2 i + 1 PE_{(pos, k)} = \begin{cases}
\sin(pos/10000^{2i/d_{\text{model}}}) & \text{if } k = 2i \\
\cos(pos/10000^{2i/d_{\text{model}}}) & \text{if } k = 2i + 1
\end{cases} P E ( p os , k ) = { sin ( p os /1000 0 2 i / d model ) cos ( p os /1000 0 2 i / d model ) if k = 2 i if k = 2 i + 1
這個函數同時考慮了序列的長度和特徵維度,給予每個位置一個固定的位置編碼。
三角函數式由於有固定的生成規律,因此有一定的外推能力。
那個數學式中的 10000 是什麼?
這個 10000 的物理意義可以被解釋為位置編碼的尺度。我們將位置編碼的尺度限制在一個合適的範圍內,以便它能夠有效地捕捉到不同位置之間的關係,同時避免了太高或太低的頻率造成的不良影響。
如果將位置編碼中的 10000 改為 100,將會改變正弦和餘弦函數的頻率,正弦和餘弦函數的頻率將增加,每個位置的位置編碼將在更短的距離內週期性地重複。這可能會導致模型對於較遠位置之間的關係感知能力下降,因為它們的位置編碼會顯示出更大的相似性。
在 BERT 和 GPT 等模型中,位置編碼是透過訓練來獲得的。
假設最大序列長度為 N N N ,則位置編碼的維度為 d model d_{\text{model}} d model ,則位置編碼的矩陣為 N × d model N \times d_{\text{model}} N × d model 。
這樣的設計優點是非常簡單,完全不需經過大腦思考,但缺點是無法泛化到更長的序列,如果序列長度改變,就必須重新訓練。
在這篇論文中,對自注意力機制中的 Q K T QK^T Q K T 展開:
Q i = ( x i + p o s i ) W Q Q_i=(x_i+pos_i)W_Q Q i = ( x i + p o s i ) W Q
K j = ( x j + p o s j ) W K K_j=(x_j+pos_j)W_K K j = ( x j + p o s j ) W K
Q i K j T = ( x i + p o s i ) W Q W K T ( x j + p o s j ) T Q_iK_j^T=(x_i+pos_i)W_QW_K^T(x_j+pos_j)^T Q i K j T = ( x i + p o s i ) W Q W K T ( x j + p o s j ) T
最後,得到了下式:
Q i K j T = x i W Q W K T x j T + x i W Q W K T p o s j T + p o s i W Q W K T x j T + p o s i W Q W K T p o s j T Q_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^Tpos_j^T+pos_iW_QW_K^Tx_j^T+pos_iW_QW_K^Tpos_j^T Q i K j T = x i W Q W K T x j T + x i W Q W K T p o s j T + p o s i W Q W K T x j T + p o s i W Q W K T p o s j T
接著,將 p o s j pos_j p o s j 替換成相對位置向量 R i − j R_{i-j} R i − j ;將 p o s i pos_i p o s i 替換成可學習的向量 u u u , v v v ,得到:
Q i K j T = x i W Q W K T x j T + x i W Q W K T R i − j T + u W Q W K T x j T + v W Q W K T R i − j T Q_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^T{\color{red}{R_{i-j}^T}}+{\color{green}{u}}W_QW_K^Tx_j^T+{\color{green}{v}}W_QW_K^T{\color{red}{R_{i-j}^T}} Q i K j T = x i W Q W K T x j T + x i W Q W K T R i − j T + u W Q W K T x j T + v W Q W K T R i − j T
然後 u W Q uW_Q u W Q 和 v W Q vW_Q v W Q 都是可學習的參數,可以合併成一個,得到:
Q i K j T = x i W Q W K T x j T + x i W Q W K T R i − j T + u W K T x j T + v W K T R i − j T Q_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^T{\color{red}{R_{i-j}^T}}+{\color{green}{u}}W_K^Tx_j^T+{\color{green}{v}}W_K^T{\color{red}{R_{i-j}^T}} Q i K j T = x i W Q W K T x j T + x i W Q W K T R i − j T + u W K T x j T + v W K T R i − j T
考慮到 R i − j T {\color{red}{R_{i-j}^T}} R i − j T 的編碼空間和原本 p o s j pos_j p o s j 的編碼空間不同,因此把 W K T W_K^T W K T 換成 W K , R T W_{K, R}^T W K , R T ,得到:
Q i K j T = x i W Q W K T x j T + x i W Q W K , R T R i − j T + u W K T x j T + v W K , R T R i − j T Q_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_{K, R}^T{\color{red}{R_{i-j}^T}}+{\color{green}{u}}W_K^Tx_j^T+{\color{green}{v}}W_{K, R}^T{\color{red}{R_{i-j}^T}} Q i K j T = x i W Q W K T x j T + x i W Q W K , R T R i − j T + u W K T x j T + v W K , R T R i − j T
最後,在這篇論文中,沒有在 QKV 的 V 矩陣中添加位置編碼,之後的研究也都只在 QK 矩陣(也就是注意力矩陣)中添加位置編碼。
在 T5 中,作者解耦了內容資訊和位置資訊,把跟位置有關的資訊全部放到 β i , j \beta_{i,j} β i , j ,得到:
Q i K j T = x i W Q W K T x j T + β i , j Q_iK_j^T=x_iW_QW_K^Tx_j^T + \beta_{i,j} Q i K j T = x i W Q W K T x j T + β i , j
我們沒有要回顧所有的位置編碼方法,更多內容可以參考蘇劍林的網站文章:
可以看到過去的研究,絕對位置編碼和相對位置編碼都有各自的優點和缺點。
本研究期望可以提出一個融合絕對位置編碼和相對位置編碼的方法。
基於 Transformer 的語言建模通常透過自注意力機制利用各個 token 的位置資訊,作者希望內積僅以相對形式編碼位置資訊:
⟨ f q ( x m , m ) , f k ( x n , n ) ⟩ = g ( x m , x n , m − n ) \langle f_q(x_m, m), f_k(x_n, n) \rangle= g(x_m, x_n, m-n) ⟨ f q ( x m , m ) , f k ( x n , n )⟩ = g ( x m , x n , m − n )
最終目標是找到一個等價的編碼機制來解函數 f q ( x m , m ) f_q(x_m, m) f q ( x m , m ) 和 f k ( x n , n ) f_k(x_n, n) f k ( x n , n ) 以符合上述關係式。
經過一串推導之後(細節請詳閱論文 ),作者提出的公式的解是:
f q ( x m , m ) = ( W q x m ) e i m θ f_q(x_m, m) = (W_qx_m)e^{im\theta} f q ( x m , m ) = ( W q x m ) e im θ
f k ( x n , n ) = ( W k x n ) e i n θ f_k(x_n, n) = (W_kx_n)e^{in\theta} f k ( x n , n ) = ( W k x n ) e in θ
g ( x m , x n , m − n ) = ℜ [ ( W q x m ) ( W k x n ) ∗ e i ( m − n ) θ ] g(x_m, x_n, m - n) = \Re \left[ (W_q x_m)(W_k x_n)^* e^{i(m - n) \theta} \right] g ( x m , x n , m − n ) = ℜ [ ( W q x m ) ( W k x n ) ∗ e i ( m − n ) θ ]
在上式中,ℜ \Re ℜ 表示取實部,∗ * ∗ 表示共軛複數,θ \theta θ 是一個不為零的常數。
歐拉公式與旋轉
歐拉公式的核心概念是旋轉。對於一個複數 z = x + i y z = x + iy z = x + i y ,我們可以將其看作平面上的一個點 ( x , y ) (x, y) ( x , y ) ,也可以視作一個向量 ( x , y ) (x, y) ( x , y ) 。當我們對複數 z z z 乘上 e i θ e^{i\theta} e i θ 時,相當於將向量 ( x , y ) (x, y) ( x , y ) 逆時針旋轉 θ \theta θ 角度。
舉個例子來看一下,我們用 markdown 畫個潦草的圖:
這是因為 e i θ e^{i\theta} e i θ 可以用歐拉公式展開為:
e i θ = cos ( θ ) + i sin ( θ ) e^{i\theta} = \cos(\theta) + i\sin(\theta) e i θ = cos ( θ ) + i sin ( θ )
這個公式表示的是一個單位向量在複平面上繞原點逆時針旋轉 θ \theta θ 角度。
特殊情況
當 θ = π \theta = \pi θ = π 時,我們得到:
e i π = − 1 e^{i\pi} = -1 e iπ = − 1
這意味著將複數 z z z 乘以 e i π e^{i\pi} e iπ 就是將其旋轉了 180 度,得到相反方向的向量。因此,我們可以得到著名的恆等式:
e i π + 1 = 0 e^{i\pi} + 1 = 0 e iπ + 1 = 0
這個公式被稱為歐拉恆等式,是數學中最優美的公式之一,將自然對數的底數 e e e 、虛數單位 i i i 、圓周率 π \pi π 、1 和 0 巧妙地聯繫在一起。
在論文中,出現了 i n θ in\theta in θ 這樣的形式,這裡的 n θ n\theta n θ 表示在旋轉角度上的多重倍數。
f q ( x m , m ) f_q(x_m, m) f q ( x m , m ) 和 f k ( x n , n ) f_k(x_n, n) f k ( x n , n ) 的形式表示了兩個向量在複平面上分別旋轉 m θ m\theta m θ 和 n θ n\theta n θ 角度。
這裡的 m m m 和 n n n 是位置索引,分別決定兩個向量的旋轉角度;θ \theta θ 才是預先設定的角度參數。
g ( x m , x n , m − n ) = ℜ [ ( W q x m ) ( W k x n ) ∗ e i ( m − n ) θ ] g(x_m, x_n, m - n) = \Re \left[ (W_q x_m)(W_k x_n)^* e^{i(m - n)\theta} \right] g ( x m , x n , m − n ) = ℜ [ ( W q x m ) ( W k x n ) ∗ e i ( m − n ) θ ]
這裡 i ( m − n ) θ i(m - n)\theta i ( m − n ) θ 則表示兩個旋轉角度的差異。
放大
RoPE 的圖形說明如上圖。
為了將在二維空間中的結果推廣到任何 x i ∈ R d x_i \in R^d x i ∈ R d 且 d d d 為偶數的情況,作者將 d d d 維空間分為 d / 2 d/2 d /2 個子空間,並利用內積的線性特性將 f { q , k } f_{\{q,k\}} f { q , k } 轉化為:
f { q , k } ( x m , m ) = R Θ , m d W { q , k } x m f_{\{q,k\}}(x_m, m) = R^d_{\Theta,m} W_{\{q,k\}} x_m f { q , k } ( x m , m ) = R Θ , m d W { q , k } x m
其中
R Θ , m d = ( cos m θ 1 − sin m θ 1 0 0 ⋯ 0 0 sin m θ 1 cos m θ 1 0 0 ⋯ 0 0 0 0 cos m θ 2 − sin m θ 2 ⋯ 0 0 0 0 sin m θ 2 cos m θ 2 ⋯ 0 0 ⋮ ⋮ ⋮ ⋮ ⋱ ⋮ ⋮ 0 0 0 0 ⋯ cos m θ d / 2 − sin m θ d / 2 0 0 0 0 ⋯ sin m θ d / 2 cos m θ d / 2 ) R^d_{\Theta,m} =
\begin{pmatrix}
\cos m\theta_1 & -\sin m\theta_1 & 0 & 0 & \cdots & 0 & 0 \\
\sin m\theta_1 & \cos m\theta_1 & 0 & 0 & \cdots & 0 & 0 \\
0 & 0 & \cos m\theta_2 & -\sin m\theta_2 & \cdots & 0 & 0 \\
0 & 0 & \sin m\theta_2 & \cos m\theta_2 & \cdots & 0 & 0 \\
\vdots & \vdots & \vdots & \vdots & \ddots & \vdots & \vdots \\
0 & 0 & 0 & 0 & \cdots & \cos m\theta_{d/2} & -\sin m\theta_{d/2} \\
0 & 0 & 0 & 0 & \cdots & \sin m\theta_{d/2} & \cos m\theta_{d/2}
\end{pmatrix} R Θ , m d = cos m θ 1 sin m θ 1 0 0 ⋮ 0 0 − sin m θ 1 cos m θ 1 0 0 ⋮ 0 0 0 0 cos m θ 2 sin m θ 2 ⋮ 0 0 0 0 − sin m θ 2 cos m θ 2 ⋮ 0 0 ⋯ ⋯ ⋯ ⋯ ⋱ ⋯ ⋯ 0 0 0 0 ⋮ cos m θ d /2 sin m θ d /2 0 0 0 0 ⋮ − sin m θ d /2 cos m θ d /2
是帶有預定參數 Θ = { θ i = 10000 − 2 ( i − 1 ) / d , i ∈ [ 1 , 2 , . . . , d / 2 ] } \Theta = \{\theta_i = 10000^{-2(i-1)/d}, i \in [1, 2, ..., d/2]\} Θ = { θ i = 1000 0 − 2 ( i − 1 ) / d , i ∈ [ 1 , 2 , ... , d /2 ]} 的旋轉矩陣。
將 RoPE 應用於自注意力機制的方程式,我們可以得到:
q m ⊤ k n = ( R Θ , m d W q x m ) ⊤ ( R Θ , n d W k x n ) = x m ⊤ W q ⊤ R Θ , n − m d W k x n q^\top_m k_n = (R^d_{\Theta,m} W_q x_m)^\top (R^d_{\Theta,n} W_k x_n) = x_m^\top W_q^\top R^d_{\Theta,n-m} W_k x_n q m ⊤ k n = ( R Θ , m d W q x m ) ⊤ ( R Θ , n d W k x n ) = x m ⊤ W q ⊤ R Θ , n − m d W k x n
其中 R Θ , n − m d = ( R Θ , m d ) ⊤ R Θ , n d R^d_{\Theta,n-m} = (R^d_{\Theta,m})^\top R^d_{\Theta,n} R Θ , n − m d = ( R Θ , m d ) ⊤ R Θ , n d 。需要注意的是,R Θ d R^d_\Theta R Θ d 是一個正交矩陣,這確保了在編碼位置資訊過程中的穩定性。
放大
作者沿用原始 Transformer 的頻率設計,設定 θ i = 10000 − 2 ( i − 1 ) / d \theta_i=10000^{-2(i-1)/d} θ i = 1000 0 − 2 ( i − 1 ) / d (i i i 從 1 開始),分析 RoPE 的長距離衰減特性,如上圖。
圖中畫的是內積的相對上界:隨著位置距離增加,整體趨勢下降,但曲線有起伏,不能解讀為任意兩個 token 的內積都會單調減少。這與文本中較遠位置通常關聯較弱的直覺相符。
放大
上圖展示了 RoPE 和其他位置編碼方法的比較。
左邊是和 BERT 對比,可以看出使用 RoPE 的模型在訓練過程中展現出更好的性能,MLM Loss 下降更快。右邊是把 RoPE 加入 PerFormer,可以看到訓練過程的收斂速度更快,並且在訓練結束時有更好的性能。
放大
作者使用 Hugging Face 的 Transformers 庫進行微調,並在 GLUE 數據集上進行了實驗。
實驗結果看來 RoFormer 在列出的六個 GLUE 任務中有三個優於 BERT,其餘三個則較低,顯示 RoPE 在部分自然語言處理任務中有效。
儘管本論文的研究提供了強有力的理論支持和令人鼓舞的實驗結果,但作者認為仍然存在一些限制:
在數學上將相對位置關係表示為 2D 子空間中的旋轉,但對於為什麼這種方法比採用其他位置編碼策略的基線模型收斂更快,還缺乏深入的解釋。
雖然分析了模型的長距離衰減特性,且在長文本處理方面的性能優於比較模型,但作者尚未找到令人信服的解釋。
這篇論文可能不太容易閱讀,但 RoPE 的概念非常有趣,我們強烈推薦閱讀原文。
目前已經有大量的工作(ex. LLaMA, Mamba)已經使用了 RoPE 這個方法,這表明 RoPE 在自然語言處理領域的應用前景非常廣闊。
後續有很多工作探討和改進 RoPE 了的方法,我們之後遇到再接著聊。