返回論文筆記資料庫
arXiv 2021Neurocomputing 2024語言模型與 Transformer論文筆記

RoFormer

旋轉位置編碼

原始論文

RoFormer: Enhanced Transformer with Rotary Position Embedding

論文作者

Jianlin Su · Yu Lu · Shengfeng Pan · Ahmed Murtadha · Bo Wen · Yunfeng Liu

發表版本
Neurocomputing 2024期刊
arXiv 首次提交
arXiv:2104.09864
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{transformersroformer2021,
  title = {{RoFormer: Enhanced Transformer with Rotary Position Embedding}},
  author = {Jianlin Su and Yu Lu and Shengfeng Pan and Ahmed Murtadha and Bo Wen and Yunfeng Liu},
  year = {2021},
  eprint = {2104.09864},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2104.09864}
}
本頁內容

比起 RoFormer 這個名字,其實 RoPE 應該更廣為人知。

RoPE 是 RoFormer 的核心概念,全名為「Rotary Position Embedding」,是一種新型的位置編碼方法。

定義問題

和 RNN 或 CNN 不同,Transformer 沒有對於位置的歸納偏差。

因此,我們必須額外提供位置信息,以便模型能夠理解序列中的順序。

一般來說,位置編碼是透過將位置信息轉換為向量形式,然後「加」到輸入的 token embedding 中。

絕對位置:三角式

在第一篇 Transformer 的論文中,採用的方法為三角函數式。

PE(pos,k)={sin⁡(pos/100002i/dmodel)if k=2icos⁡(pos/100002i/dmodel)if k=2i+1PE_{(pos, k)} = \begin{cases} \sin(pos/10000^{2i/d_{\text{model}}}) & \text{if } k = 2i \\ \cos(pos/10000^{2i/d_{\text{model}}}) & \text{if } k = 2i + 1 \end{cases}

這個函數同時考慮了序列的長度和特徵維度,給予每個位置一個固定的位置編碼。

三角函數式由於有固定的生成規律,因此有一定的外推能力。

絕對位置:訓練式

在 BERT 和 GPT 等模型中,位置編碼是透過訓練來獲得的。

假設最大序列長度為 NN,則位置編碼的維度為 dmodeld_{\text{model}},則位置編碼的矩陣為 N×dmodelN \times d_{\text{model}}。

這樣的設計優點是非常簡單,完全不需經過大腦思考,但缺點是無法泛化到更長的序列,如果序列長度改變,就必須重新訓練。

相對位置:XL 式

在這篇論文中,對自注意力機制中的 QKTQK^T 展開:

  • Qi=(xi+posi)WQQ_i=(x_i+pos_i)W_Q
  • Kj=(xj+posj)WKK_j=(x_j+pos_j)W_K
  • QiKjT=(xi+posi)WQWKT(xj+posj)TQ_iK_j^T=(x_i+pos_i)W_QW_K^T(x_j+pos_j)^T

最後,得到了下式:

  • QiKjT=xiWQWKTxjT+xiWQWKTposjT+posiWQWKTxjT+posiWQWKTposjTQ_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^Tpos_j^T+pos_iW_QW_K^Tx_j^T+pos_iW_QW_K^Tpos_j^T

接著,將 posjpos_j 替換成相對位置向量 Ri−jR_{i-j};將 posipos_i 替換成可學習的向量 uu, vv,得到:

  • QiKjT=xiWQWKTxjT+xiWQWKTRi−jT+uWQWKTxjT+vWQWKTRi−jTQ_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^T{\color{red}{R_{i-j}^T}}+{\color{green}{u}}W_QW_K^Tx_j^T+{\color{green}{v}}W_QW_K^T{\color{red}{R_{i-j}^T}}

然後 uWQuW_Q 和 vWQvW_Q 都是可學習的參數,可以合併成一個,得到:

  • QiKjT=xiWQWKTxjT+xiWQWKTRi−jT+uWKTxjT+vWKTRi−jTQ_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_K^T{\color{red}{R_{i-j}^T}}+{\color{green}{u}}W_K^Tx_j^T+{\color{green}{v}}W_K^T{\color{red}{R_{i-j}^T}}

考慮到 Ri−jT{\color{red}{R_{i-j}^T}} 的編碼空間和原本 posjpos_j 的編碼空間不同,因此把 WKTW_K^T 換成 WK,RTW_{K, R}^T,得到:

  • QiKjT=xiWQWKTxjT+xiWQWK,RTRi−jT+uWKTxjT+vWK,RTRi−jTQ_iK_j^T=x_iW_QW_K^Tx_j^T+x_iW_QW_{K, R}^T{\color{red}{R_{i-j}^T}}+{\color{green}{u}}W_K^Tx_j^T+{\color{green}{v}}W_{K, R}^T{\color{red}{R_{i-j}^T}}

最後,在這篇論文中,沒有在 QKV 的 V 矩陣中添加位置編碼,之後的研究也都只在 QK 矩陣(也就是注意力矩陣)中添加位置編碼。

相對位置:T5 式

在 T5 中,作者解耦了內容資訊和位置資訊,把跟位置有關的資訊全部放到 βi,j\beta_{i,j},得到:

  • QiKjT=xiWQWKTxjT+βi,jQ_iK_j^T=x_iW_QW_K^Tx_j^T + \beta_{i,j}

還有更多

我們沒有要回顧所有的位置編碼方法,更多內容可以參考蘇劍林的網站文章:

解決問題

可以看到過去的研究,絕對位置編碼和相對位置編碼都有各自的優點和缺點。

本研究期望可以提出一個融合絕對位置編碼和相對位置編碼的方法。

模型架構

基於 Transformer 的語言建模通常透過自注意力機制利用各個 token 的位置資訊,作者希望內積僅以相對形式編碼位置資訊:

⟨fq(xm,m),fk(xn,n)⟩=g(xm,xn,m−n)\langle f_q(x_m, m), f_k(x_n, n) \rangle= g(x_m, x_n, m-n)

最終目標是找到一個等價的編碼機制來解函數 fq(xm,m)f_q(x_m, m) 和 fk(xn,n)f_k(x_n, n) 以符合上述關係式。

經過一串推導之後(細節請詳閱論文),作者提出的公式的解是:

  • fq(xm,m)=(Wqxm)eimθf_q(x_m, m) = (W_qx_m)e^{im\theta}
  • fk(xn,n)=(Wkxn)einθf_k(x_n, n) = (W_kx_n)e^{in\theta}
  • g(xm,xn,m−n)=ℜ[(Wqxm)(Wkxn)∗ei(m−n)θ]g(x_m, x_n, m - n) = \Re \left[ (W_q x_m)(W_k x_n)^* e^{i(m - n) \theta} \right]

在上式中,ℜ\Re 表示取實部,∗* 表示共軛複數,θ\theta 是一個不為零的常數。

高維拓展

RoPE 的圖形說明如上圖。

為了將在二維空間中的結果推廣到任何 xi∈Rdx_i \in R^d 且 dd 為偶數的情況,作者將 dd 維空間分為 d/2d/2 個子空間,並利用內積的線性特性將 f{q,k}f_{\{q,k\}} 轉化為:

f{q,k}(xm,m)=RΘ,mdW{q,k}xmf_{\{q,k\}}(x_m, m) = R^d_{\Theta,m} W_{\{q,k\}} x_m

其中

RΘ,md=(cos⁡mθ1−sin⁡mθ100⋯00sin⁡mθ1cos⁡mθ100⋯0000cos⁡mθ2−sin⁡mθ2⋯0000sin⁡mθ2cos⁡mθ2⋯00⋮⋮⋮⋮⋱⋮⋮0000⋯cos⁡mθd/2−sin⁡mθd/20000⋯sin⁡mθd/2cos⁡mθd/2)R^d_{\Theta,m} = \begin{pmatrix} \cos m\theta_1 & -\sin m\theta_1 & 0 & 0 & \cdots & 0 & 0 \\ \sin m\theta_1 & \cos m\theta_1 & 0 & 0 & \cdots & 0 & 0 \\ 0 & 0 & \cos m\theta_2 & -\sin m\theta_2 & \cdots & 0 & 0 \\ 0 & 0 & \sin m\theta_2 & \cos m\theta_2 & \cdots & 0 & 0 \\ \vdots & \vdots & \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & 0 & 0 & \cdots & \cos m\theta_{d/2} & -\sin m\theta_{d/2} \\ 0 & 0 & 0 & 0 & \cdots & \sin m\theta_{d/2} & \cos m\theta_{d/2} \end{pmatrix}

是帶有預定參數 Θ={θi=10000−2(i−1)/d,i∈[1,2,...,d/2]}\Theta = \{\theta_i = 10000^{-2(i-1)/d}, i \in [1, 2, ..., d/2]\} 的旋轉矩陣。

將 RoPE 應用於自注意力機制的方程式,我們可以得到:

qm⊤kn=(RΘ,mdWqxm)⊤(RΘ,ndWkxn)=xm⊤Wq⊤RΘ,n−mdWkxnq^\top_m k_n = (R^d_{\Theta,m} W_q x_m)^\top (R^d_{\Theta,n} W_k x_n) = x_m^\top W_q^\top R^d_{\Theta,n-m} W_k x_n

其中 RΘ,n−md=(RΘ,md)⊤RΘ,ndR^d_{\Theta,n-m} = (R^d_{\Theta,m})^\top R^d_{\Theta,n}。需要注意的是,RΘdR^d_\Theta 是一個正交矩陣,這確保了在編碼位置資訊過程中的穩定性。

長距離衰減

作者沿用原始 Transformer 的頻率設計,設定 θi=10000−2(i−1)/d\theta_i=10000^{-2(i-1)/d}(ii 從 1 開始),分析 RoPE 的長距離衰減特性,如上圖。

圖中畫的是內積的相對上界:隨著位置距離增加,整體趨勢下降,但曲線有起伏,不能解讀為任意兩個 token 的內積都會單調減少。這與文本中較遠位置通常關聯較弱的直覺相符。

討論

對比其他位置編碼

上圖展示了 RoPE 和其他位置編碼方法的比較。

左邊是和 BERT 對比,可以看出使用 RoPE 的模型在訓練過程中展現出更好的性能,MLM Loss 下降更快。右邊是把 RoPE 加入 PerFormer,可以看到訓練過程的收斂速度更快,並且在訓練結束時有更好的性能。

GLUE benchmark

作者使用 Hugging Face 的 Transformers 庫進行微調,並在 GLUE 數據集上進行了實驗。

實驗結果看來 RoFormer 在列出的六個 GLUE 任務中有三個優於 BERT,其餘三個則較低,顯示 RoPE 在部分自然語言處理任務中有效。

限制

儘管本論文的研究提供了強有力的理論支持和令人鼓舞的實驗結果,但作者認為仍然存在一些限制:

  1. 在數學上將相對位置關係表示為 2D 子空間中的旋轉,但對於為什麼這種方法比採用其他位置編碼策略的基線模型收斂更快,還缺乏深入的解釋。
  2. 雖然分析了模型的長距離衰減特性,且在長文本處理方面的性能優於比較模型,但作者尚未找到令人信服的解釋。

結論

這篇論文可能不太容易閱讀,但 RoPE 的概念非常有趣,我們強烈推薦閱讀原文。

目前已經有大量的工作(ex. LLaMA, Mamba)已經使用了 RoPE 這個方法,這表明 RoPE 在自然語言處理領域的應用前景非常廣闊。

後續有很多工作探討和改進 RoPE 了的方法,我們之後遇到再接著聊。