論文ノートライブラリに戻る
arXiv 2021ICLR 2022モデル適応論文ノート

LoRA

万分之一の LLM

原論文

LoRA: Low-Rank Adaptation of Large Language Models

論文の著者

Edward J. Hu · Yelong Shen · Phillip Wallis …

著者全 8 名を表示

Edward J. Hu · Yelong Shen · Phillip Wallis · Zeyuan Allen-Zhu · Yuanzhi Li · Shean Wang · Lu Wang · Weizhu Chen

発表先
ICLR 2022国際会議
arXiv への初回投稿
arXiv:2106.09685
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{modeltuninglora2021,
  title = {{LoRA: Low-Rank Adaptation of Large Language Models}},
  author = {Edward J. Hu and Yelong Shen and Phillip Wallis and Zeyuan Allen-Zhu and Yuanzhi Li and Shean Wang and Lu Wang and Weizhu Chen},
  year = {2021},
  eprint = {2106.09685},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2106.09685}
}
このページの内容

ほとんどの人は LLM を訓練できないと、認めざるを得ません。

世界は広いですが、LLM を繰り返し改良できる企業は数えるほどしかありません。

研究者たちは、こうした巨大なモデルを使ってさまざまな問題を解きたいと強く望んでいます。だからこそ、それらをどう効率よく微調整するかが重要な課題になります。

問題の定義

もしあなたが今日、モデル全体を微調整したいと思った場合、具体的な手順は次のようになります:

  1. モデルはまず事前訓練された重み Φ0\Phi_0 で初期化されます。

  2. 勾配最適化を通じて Φ0+ΔΦ\Phi_0 + \Delta \Phi に更新され、条件付き言語モデルの目的を最大化します:

    max⁡Φ∑(x,y)∈Z∑t=1∣y∣log⁡PΦ(yt∣x,y<t)\max_\Phi \sum_{(x,y) \in Z} \sum_{t=1}^{|y|} \log P_\Phi(y_t | x, y_{<t})

各ダウンストリームタスクは異なるパラメータ ΔΦ\Delta \Phi を学習し、その次元 ∣ΔΦ∣|\Delta \Phi| は元のモデルパラメータの大きさ ∣Φ0∣|\Phi_0| と等しくなります。大型モデル、例えば GPT-3 のようなモデルでは、∣Φ0∣|\Phi_0| は約 1750 億のパラメータを持ち、微調整された複数のモデルを保存・展開することは非常に困難です。

これまでの研究では、主流の解決策は Adapter でした。以前に次の論文も取り上げています:

しかし、関連する研究はこれだけにとどまらず、以下のいくつかの論文も参考になるでしょう。時間があればぜひ確認してください:

ただし、これらの方法には大規模で遅延が敏感な生産シーンにおいて制約があります。なぜなら、パラメータ量を増加させる必要があり、元々並列計算を基盤としたモデルに干渉する可能性があるからです。以下の表のように、GPT-2 にアダプターを追加すると、顕著な遅延の増加が観察されます:

層の剪定や多タスク学習で遅延を減らすことはできますが、Adapter の追加計算を完全にはなくせません。ボトルネック次元を小さくすれば、パラメータ数を元のモデルの 1% 未満に抑えられる場合もあります。上の表は Quadro RTX8000 上の GPT-2 Medium の単一 forward 測定です。

理論的には計算量(FLOPs)は大きくないはずですが?

でも、うまくいきません。

なぜなら、大規模なニューラルネットワークは低遅延を維持するためにハードウェア並列計算に依存していますが、アダプターは順次処理しなければならないため、オンライン推論(通常のバッチサイズは 1)では遅延が顕著に増加するからです。

では、Prefix-Tuning に切り替えますか?

Prefix-Tuning のような技術は別の適応戦略を表していますが、prefix tuning の最適化過程ではパラメータ効率が単調でない変化を示し、最適化が難しいことがあります。また、調整のために一部のシーケンス長を prefix に割り当てなければならないため、ダウンストリームタスクを処理するために使用できるシーケンス長が減少します。

さらに悪化した感じです。

著者はこの問題を解決するために、パラメータの低ランク分解法を提案しました。タスク特定のパラメータ増分 ΔΦ\Delta \Phi をより小さなパラメータ集合 Θ\Theta でエンコードし、次のように

∣Θ∣≪∣Φ0∣|\Theta| \ll |\Phi_0|

目標は、より小さなパラメータ集合 Θ\Theta を最適化することに変換されます:

max⁡Θ∑(x,y)∈Z∑t=1∣y∣log⁡PΦ0+ΔΦ(Θ)(yt∣x,y<t)\max_\Theta \sum_{(x,y) \in Z} \sum_{t=1}^{|y|} \log P_{\Phi_0 + \Delta \Phi(\Theta)}(y_t | x, y_{<t})

問題解決

方法論を見る前に、まずは高校の数学を復習する必要があります。

秩、全秩、低秩

数学において、行列 (Matrix) は数字で構成された表のことを指します。例えば:

A=[123456789]\mathbf{A} = \begin{bmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \\ 7 & 8 & 9 \end{bmatrix}

行列はデータ処理や計算において非常に重要な役割を果たしており、秩 (Rank) は行列の重要な指標の一つです。

  1. 秩 (Rank) とは何か?

    秩 (Rank) は、行列の行ベクトルまたは列ベクトルの独立性を示します。

    ベクトルの独立性とは、ある行(または列)が他の行(または列)の線形結合で表せないことを意味します。もし、いくつかの行または列が他の行や列の組み合わせで表されるなら、それらは独立していないことになります。言い換えれば、行列の秩はその行列にどれだけの「有用な独立情報」があるかを教えてくれます。

    行列 AA が m×nm \times n の行列(つまり mm 行と nn 列を持つ)であるとき、行列の秩 (Rank) はその行列における最大の独立した行数または列数です。最大秩は行列の行数 mm または列数 nn を超えることはなく、次のように表されます:

    rank(A)≤min⁡(m,n)\text{rank}(A) \leq \min(m, n)

  1. 全秩 (Full-rank) 行列

    全秩行列は、行列の秩が行数または列数の最小値と等しい行列です。つまり、rank(A)=min⁡(m,n)\text{rank}(A) = \min(m, n) です。

    これは、行数と列数のうち少ない方のベクトルがすべて線形独立であることを意味します。例えば、次のような行列です:

    I=[1001]\mathbf{I} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}

    これは 2×22 \times 2 の行列で、2 つの行ベクトルが独立しています。したがって、その秩は 2(min⁡(2,2)\min(2, 2) に等しい)であり、これは全秩行列です。各行または列が新しい情報を提供し、他の行や列の組み合わせで表すことはできません。


  1. 低秩 (Low-rank) 行列

    低秩行列の秩は、行数と列数の最小値より小さく、一部の行や列が他の行や列の組み合わせで表せます。行列のサイズが大きくても、独立した情報は相対的に少ないかもしれません。保存量を減らすには、低秩の因子に分けて保持する必要があります。

    例えば、次の行列を考えてみましょう:

    B=[1224]\mathbf{B} = \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix}

    この行列では、2 行目は 1 行目の 2 倍です。したがって、2 つの行ベクトルは独立していません。この行列の秩は 1(独立したベクトルが 1 つだけ)であり、2 ではありません。したがって、これは低秩行列です。秩が低いため、この行列はより小さな行列で近似または表現することができます。

なぜ低秩行列は有用なのか?

多くのアプリケーションにおいて、私たちが直面する行列は非常に大きい場合がありますが、その中には冗長な情報が多く含まれていることがあります。この場合、低秩行列を用いて元の行列を近似することで、次の目的を達成することができます:

  1. 計算コストの削減:低秩の因子を使って行列演算を行えば、計算量が減り、処理を速くできる場合があります。
  2. ストレージの削減:低秩の因子として保存すれば、必要なメモリを減らせる場合があります。
  3. データの次元削減:高次元のデータを低次元に投影し、主要な情報を保持します。例えば、PCA(主成分分析)などです。
  4. 容量の制約:低ランク制約は正則化として働き得るが、表現不足にもなり得る。

なじみ深い例は特異値分解(SVD)です。行列を分解し、上位の特異値とベクトルだけを残すと、低秩近似が得られます。画像圧縮や推薦システムなどにも使われます。

低秩分解:LoRA

ニューラルネットワークの密な層(Dense Layer)は行列積を使用しており、そこにおける重み行列は通常、全秩です。過去の研究は、事前訓練された言語モデルが低い「内因次元(Intrinsic Dimension)」を持っていることを示しており、ランダムに小さな部分空間に射影しても学習効率を維持できることがわかっています。

したがって、ここで著者は、モデルの調整プロセスにおいて、重みの更新も「低い内因秩(Low Intrinsic Rank)」を持つと仮定しています。すなわち、事前訓練された重み行列 W0∈Rd×kW_0 \in \mathbb{R}^{d \times k} に対して、その更新は低秩分解として表現されます:

W0+ΔW=W0+BAW_0 + \Delta W = W_0 + BA

ここで B∈Rd×rB \in \mathbb{R}^{d \times r}、A∈Rr×kA \in \mathbb{R}^{r \times k} であり、秩 r≪min⁡(d,k)r \ll \min(d, k) です。

訓練プロセスでは、事前訓練された重み行列 W0W_0 は凍結され、その重みは更新されません。一方で、AA と BB は訓練可能なパラメータであり、これらの行列は入力ベクトル xx と掛け算され、結果を要素ごとに加算します。式は次の通りです:

h=W0x+ΔWx=W0x+BAxh = W_0 x + \Delta W x = W_0 x + BA x

AA はガウスランダム分布で初期化され、BB はゼロで初期化されるため、訓練開始時には ΔW=BA\Delta W = BA はゼロです。

安定性のため、更新 ΔWx\Delta Wx には α/r\alpha/r を掛けます。α\alpha は rr とは別に設定する定数です。Adam を使う場合、α\alpha の調整は学習率の調整におおむね似ています。著者は最初に試す rr の値に α\alpha を設定し、その後 rr を変えても固定しています。

すべての重み行列に LoRA を適用し、バイアスも学習し、秩 rr を元の重み行列の秩まで上げれば、全モデル微調整に近い表現力を持てます。訓練過程や結果、一部の注意重みだけを調整する場合は、それぞれ評価する必要があります。

Transformer における LoRA

LoRA は任意のニューラルネットワークの重み行列に適用可能です。Transformer アーキテクチャでは、主に自己注意モジュール内の重み行列に適用されます:

  • 四つの重み行列:WqW_q、WkW_k、WvW_v、WoW_o
  • 各行列の次元は dmodel×dmodeld_{model} \times d_{model} です(その出力が複数の注意ヘッドに分割されることがよくあります)。

本論文では、著者は注意重みにのみ調整を加え、MLP モジュールは凍結してパラメータ数を減らしました。

これにより、いくつかの利点が得られます:

  • メモリとストレージの需要を減らす:大規模な Transformer モデル(例えば GPT-3 175B)では:
    • VRAM 使用量が 1.2TB から 350GB に減少します(r≪dmodelr \ll d_{model} の場合)。
    • r=4r = 4 でクエリとバリューの投影行列だけを調整すると、タスク別チェックポイントは 350GB から 35MB に減ります(約 10,000 倍の縮小)。推論には共有する本体の重みも必要です。
  • GPU 使用量を減少させ、I/O ボトルネックを回避:ストレージ需要が減少することで、より少ない GPU で訓練が可能になります。
  • タスクの迅速な切り替え:LoRA 重みを交換するだけでタスクを切り替えることができ、モデル全体を再読み込みする必要はありません。
  • 訓練の加速:論文では GPT-3 175B の訓練が約 25% 速くなったと述べています。脚注の V100 一枚当たりのスループットは 32.5 から 43.1 tokens/s で、こちらは約 32.6% の増加です。

ただし、AA と BB を WW に統合して推論の遅延を消す場合、異なるタスクのバッチ入力は扱いにくくなります。遅延に敏感でないシーンでは、重みを統合せず、動的に対応する LoRA モジュールを選択して異なるバッチ入力を処理することができます。

考察

実験基準

著者は RoBERTa、DeBERTa、GPT-2、GPT-3 に対して実験を行い、以下のいくつかの基準を設定しました:

  1. 微調整 (Fine-Tuning, FT)

    • 全モデル微調整:事前訓練された重みとバイアスで初期化し、すべてのパラメータの勾配を更新します。
    • 部分層微調整 (FTTop2):GPT-2 の最後の 2 層のパラメータのみを更新します(Li & Liang, 2021)。
    • バイアス微調整 (BitFit):バイアスベクトルのみを訓練し、その他のパラメータは凍結します(Zaken et al., 2021)。

  1. プロンプト埋め込み調整 (Prefix-Embedding Tuning, PreEmbed)

    入力の前または後に特殊なトークンを加え、その単語埋め込みを学習します。

    • 戦略:
      • プレフィックス (Prefix):プロンプトの前に特殊なトークンを追加します。
      • インフィックス (Infix):プロンプトの後に特殊なトークンを追加します。
    • パラメータ数: ∣Θ∣=dmodel×(lp+li)|\Theta| = d_{model} \times (l_p + l_i) ここで、lpl_p と lil_i はそれぞれプレフィックスとインフィックスのトークン数です。

  1. プロンプト層調整 (Prefix-Layer Tuning, PreLayer)

    単語埋め込みを調整するだけでなく、各 Transformer 層に対応する活性化値を学習します。

    • パラメータ数: ∣Θ∣=L×dmodel×(lp+li)|\Theta| = L \times d_{model} \times (l_p + l_i) ここで、LL は Transformer の層数です。

  1. アダプタ層微調整 (Adapter Tuning)

    • AdapterH:Houlsby らの元の設計(Houlsby et al., 2019)。各 Transformer ブロックで自己注意と MLP の後、それぞれの残差接続の前に Adapter 層を挿入します。
    • AdapterL:MLP モジュール後および LayerNorm 後に適用します(Lin et al., 2020)。
    • AdapterP:AdapterL に似ています(Pfeiffer et al., 2021)。
    • AdapterD:効率を向上させるために一部のアダプタ層を削除します(Rücklé et al., 2020)。
    • パラメータ数: ∣Θ∣=L^Adpt×(2×dmodel×r+r+dmodel)+2×L^LN×dmodel|\Theta| = \hat{L}_{Adpt} \times (2 \times d_{model} \times r + r + d_{model}) + 2 \times \hat{L}_{LN} \times d_{model} ここで、L^Adpt\hat{L}_{Adpt} はアダプタ層の数、L^LN\hat{L}_{LN} は訓練可能な LayerNorm の数です。

  1. LoRA 調整 (LoRA Tuning)

    元の重み行列の隣に低秩分解行列を加えて更新し、元の重み行列と並列に計算を行います。ほとんどの実験では、クエリ行列 WqW_q と値行列 WvW_v に LoRA を適用します。

    • パラメータ数:

      ∣Θ∣=2×L^LoRA×dmodel×r|\Theta| = 2 \times \hat{L}_{LoRA} \times d_{model} \times r

      ここで、L^LoRA\hat{L}_{LoRA} は LoRA を適用する重み行列の数、rr は秩です。

他の微調整方法との比較

著者は Hugging Face の RoBERTa Base (125M) と RoBERTa Large (355M) を使用してテストを行いました。

Adapter と公平に比較するため、表で † が付いた実験には次の二つの設定を使いました:

  1. 同じバッチサイズとシーケンス長:すべてのタスクにおいて、バッチサイズを同じにし、シーケンス長は 128 に設定しました。これはアダプタ層のベンチマーク設定に合わせるためです。
  2. モデルの初期化方法:MRPC、RTE、STS-B タスクでは、事前訓練されたモデルから初期化しました。これは、微調整ベンチマークのように既に MNLI に適応したモデルから開始するのではありません。

実験結果は上表に示されており、LoRA は RoBERTa Base と RoBERTa Large において、全モデル微調整に近い性能を発揮し、ほとんどのタスクで Adapter や他の効率的な適応方法を上回っています。

DeBERTa は BERT のより新しい変種で、トレーニング規模が大きく、GLUE や SuperGLUE などのベンチマークで非常に競争力のある性能を示します。著者は DeBERTa 上で LoRA を実験し、結果は上表の最下層に示されています。LoRA は多くのタスクで全モデル微調整を超えるパフォーマンスを発揮しています。

GPT-3 の微調整

最後に、ついに GPT-3 の微調整部分に到達しました!

上の表に示した WikiSQL、MultiNLI-matched、SAMSum の設定では、LoRA は Adapter などの効率的な適応方法より全体として良い結果を得ており、全モデル微調整とも同等以上です。

さらに、訓練可能なパラメータ数と性能の関係も比較しています。下のグラフに示す通りです:

Prefix-embedding tuning は、256 個を超える特殊トークンを使用した場合に、性能が明らかに低下します。Prefix-layer tuning は、32 個を超える特殊トークンを使用した場合にも性能の低下が見られます。この現象は、特殊トークンの数が多すぎることで、入力分布が事前訓練データの分布から逸脱するために起こる可能性があります。

Transformer において LoRA を適用すべき重み行列はどれか?

限られたパラメータ予算の中で、どのタイプの重み行列を調整することで、下流タスクで最適な性能を得られるのでしょうか?

著者は GPT-3 175B を用いて実験を行い、GPT-3 175B に対して 1800 万パラメータ(約 35MB、FP16 で保存した場合)を設定しました。すべての 96 層に対して、1 種類の注意重みを調整する場合、秩 r=8r = 8;2 種類を調整する場合、秩 r=4r = 4 としました。

結果は上表の通りです。数値は WikiSQL と MultiNLI の検証セットでの正解率です:

  • ΔWq\Delta W_q または ΔWk\Delta W_k のみを調整:性能が著しく低下しました。
  • WqW_q と WvW_v を同時に調整:WikiSQL では 73.7% で四種類すべてを調整した場合と同点です。MultiNLI では 91.3% で、四種類すべてを調整した 91.7% が最高でした。

この二つのタスクと同じパラメータ予算では、秩 r=4r = 4 でも ΔW\Delta W が十分な情報を捉えられました。つまり、一種類の重み行列に大きな秩を割り当てるより、小さな秩で複数種類を調整する方が効果的でした。

LoRA の最適秩 rr はいくつか?

図の WikiSQL と MultiNLI の検証セットでは、LoRA は非常に小さな秩 rr でも近い性能を得ています。特に、{Wq,Wv}\{W_q, W_v\} を調整する場合に顕著です。

この比較では、rr を大きくしても精度は一貫して上がりませんでした。そこで著者は、部分空間の分析で、増やした分だけ意味のある方向が増えているのかを調べます。

部分空間の類似性分析

著者は、異なる rr 値間の部分空間の類似性や、異なるランダムシード間の部分空間の類似性を知りたかったと述べています。ここで採用された手法は、これらの行列を特異値分解(SVD)し、右特異行列を得る方法です:

UAr=8とUAr=64U_{A_{r=8}} \quad \text{と} \quad U_{A_{r=64}}

著者の目標は、UAr=8U_{A_{r=8}} の最初の ii 個の特異ベクトルが形成する部分空間が、UAr=64U_{A_{r=64}} の最初の jj 個の特異ベクトルが形成する部分空間にどれだけ含まれているかを調べることです。

計算された類似度は、Grassmann 距離に基づく正規化部分空間類似度を使用して計算されます:

ϕ(Ar=8,Ar=64,i,j)=∥(UAr=8i)⊤UAr=64j∥F2min⁡(i,j)∈[0,1]\phi(A_{r=8}, A_{r=64}, i, j) = \frac{\left\| \left(U_{A_{r=8}}^{i}\right)^\top U_{A_{r=64}}^{j} \right\|_F^2}{\min(i, j)} \in [0, 1]

ここで、UAr=8iU_{A_{r=8}}^{i} は UAr=8U_{A_{r=8}} の最初の ii 個の特異ベクトルの列を意味します。

ここでは論文の記法に合わせ、右特異ベクトルを UAU_A と書いています。通常の A=UΣV⊤A=U\Sigma V^\top では VV の列に当たります。

結果は以下の図の通りです:

上位の特異ベクトルの方向は Ar=8A_{r=8} と Ar=64A_{r=64} の間で高い重なりを示し、他の方向はあまり重なっていません。全体的に見ると、Ar=8A_{r=8} と Ar=64A_{r=64} の ΔWv\Delta W_v(または ΔWq\Delta W_q)は一つの次元の部分空間を共有しており、その類似度 ϕ\phi は >0.5> 0.5 です。

この結果は、今回の下流タスクで秩 r=1r = 1 でも良い結果が得られる理由の一つかもしれません。有用な情報が上位の特異ベクトルに集中している可能性があります。


最後に、著者が論文で述べた数点をまとめます:

  1. 低秩の適応行列が十分である:本文で試したタスクでは、秩 rr が非常に小さくても、LoRA は全モデル微調整に匹敵する性能を得ました。
  2. より多くの重み行列を適応する方が秩を増加させるより効果的:表 5 のタスクとパラメータ予算では、より多くのタイプの重み行列を調整(例えば WqW_q と WvW_v を同時に調整)する方が、少ない秩で性能を上げるのに効果的でした。

結論

ほかの微調整方法と比べると、LoRA は本当に太っ腹です!

GPT-3 175B の設定では、訓練可能なパラメータ数を最大約 1 万分の 1 に減らしながら、モデルの性能を保ちました。ただし、共有する巨大な本体の重みは引き続き必要です。

  • ついに私たちも LLM を微調整できるようになった!

2021 年のこの時点で、LLM の微調整は以前よりずっと現実的な目標になりました。これで、大規模モデルの力をもっと多くのアプリケーションや場面で活かせるかもしれません。

これからの十年は、きっとにぎやかになるでしょう。さらに面白い研究成果を期待したいですね!