ブログに戻る
一般記事

512から100万トークンへ:LLM のコンテキストはどう広がった?

上限にゼロを足せば、小説を丸ごと読めるのでしょうか。位置を扱い、計算を終え、読解テストにも答える。100万トークンまでの道には、それぞれの難所があります。

最初は大した話ではありませんでした。ただ、小説を読みたかっただけです。

ところが登場人物は増える一方。序盤の伏線も思い出せなくなってきました。

そこで思いつきます。いっそ言語モデルを作ろう!(いや、そうはならない)

文章の分類、二つの文の関連性の判定、文章からの答えの抽出。こうしたタスクは、学習の出発点を共有できます。Google が2018年10月に公開した BERT は、この流れで重要な役割を果たした文章理解モデルです。Transformer のエンコーダーで文章を変換し、さまざまなタスクに使える表現を作ります。 BERT 原論文

手順は二段階で、大量のラベルなしテキストで事前学習し、その後、特定のタスクに合わせてファインチューニングします。分類なら分類用の出力層を追加し、読解なら文章中の答えの位置を予測します。ファインチューニングではタスク用の層と BERT 本体の重みを一緒に更新します。各タスクは同じ事前学習済みの重みから出発し、それぞれのモデルを学習できます。 BERT §3、Figure 1

Transformer の事前学習とファインチューニングは、BERT より前に GPT でも使われていました。BERT の要点は、左右両方の文脈を使う表現を学ぶ双方向の事前学習です。原論文は11の自然言語処理タスクで当時の最高性能を報告しました。 GPT 原論文 §3、BERT 要旨と §1

土台はできました。標準の BERT に少しまとまった文書を渡すと、エンジニアはすぐ、文書を読み終える前に512トークンを使い切ってしまうことに気づきます。

その後、モデルの仕様には32K、128K、100万と並び、研究報告では1,000万にも到達しました。数字だけ眺めると、昔の問題は設定ファイルにゼロを書き足し忘れただけに見えます。

それほど簡単なら、GPU メーカーの売上はずいぶん減っていたでしょう。

512から100万へ。系列長は約1,953倍になります。上限だけを変えて、位置のパラメーター、アテンションの計算、学習データはどう追いつくのでしょう。

ゼロを書き足す前に、元の512という扉がどこで閉まっているのかを調べましょう。

512という扉は、どこで閉まる?

512トークンは512文字でしょうか。まずはトークナイザーの切り方次第です。

トークンは、トークナイザーが切り出す単位です。1文字の場合も、単語の一部や句読点の場合もあります。同じ文章でも切り方は異なるため、512トークンを一定の中国語の文字数に換算することはできません。

一度の計算でモデルが参照できるトークンの範囲を、通常はコンテキストウィンドウと呼びます。生成モデルでは、プロンプト、添付文書、すでに生成した文章もこの範囲を使います。製品によっては入力と出力に別々の上限もあります。

文章をトークン ID に分けると、モデルは各 ID を数値の列、トークン埋め込みに置き換えます。これは内容を表す数値で、位置の情報は別途与える必要があります。

BERT の入力には内容と位置の両方が必要です。標準実装には学習可能な位置埋め込みテーブルがあり、位置0に一つ、位置1に別のベクトル、と続きます。元の設定では512位置分が用意され、最後のインデックスは511です。 BERT §3、公式 modeling.py

そこへ513個目のトークンが来ます。位置512のベクトルが必要ですが、元のテーブルにその行はありません。

POSITION TABLE512 の位置に、もう 1 人

513 個目には位置 512 が必要です。元の表は位置 511 までです。

さらに [CLS] や [SEP] も席を使います。入口には「定員512名」と書かれていても、スタッフがすでに何席か座っているわけです。

追加した位置には、どう仕事を覚えてもらえばよいのでしょう。

テーブルを拡張し、新しい位置を初期化して、再学習やファインチューニングを行うことはできます。ただし、新しい行のパラメーターはまだ働き方を学んでいません。利用可能な位置と、処理するデータの範囲を同時に変えることになります。長さの上限を変えたあとも、新しい位置への適応が必要です。

BERT の原論文には、事前学習ステップの90%では長さ128を使い、最後の10%だけ512を使ったことも書かれています。長い系列のアテンション計算が高価だったことも理由の一つです。 BERT 付録 A.2

つまり、512という上限は、位置と学習の問題であると同時に、計算とメモリの問題でもあります。先に住所を整えてから、グラフィックスカードの話に戻りましょう。

BERT は双方向エンコーダーで文章を読み、表現を作ります。一般的な生成 LLM は因果マスク付きのデコーダーで、前の文章をもとに続きを生成します。どちらにも長い系列の位置と計算の問題がありますが、この先に登場する長文脈モデルにはそれぞれ独自の構造と学習の出発点があります。

位置テーブルをなくしたら、住所はどうする?

「箱の中に鍵」と「鍵の中に箱」を比べてみましょう。使う語は同じでも、入れる側と入れられる側が逆です。後者の鍵は、さぞ大きいのでしょう。

位置信号も因果マスクもない自己アテンションでは、入力を並べ替えると対応する出力も並べ替わります。これが置換同変性です。内容に基づく計算は内容についていきますが、「その語が元々どこにいたか」という追加の手掛かりがありません。生成モデルの因果マスクは見える方向を与えますが、ここでは外して位置信号だけの役割を見ます。 Transformer §3.2–3.5

CONTENT + POSITION同じ語でも、位置が変わる
p = 0p = 1p = 2
S1
箱A—
の中にB—
鍵C—
S2
鍵C—
の中にB—
箱A—

入力例は「箱に鍵が入っている」と「鍵に箱が入っている」。内容ベクトルA、B、Cは同じ語に対応する。位置を加えると、箱は最初の文でA+P0、次の文でA+P2になる。各語句を1つの位置として示し、実際の分かち書きはさらに細かい場合がある。

図では三つの句を三枚のカードとして扱っています。実際のトークン分割はもっと細かくなり得ます。箱の内容ベクトルは A。反対側へ移しても A のままですが、位置ベクトルと組み合わせると、一つ目の文では A + P₀、二つ目では A + P₂ です。同じ内容に、異なる居場所が付きました。

これが加算型の絶対位置エンコーディングの基本です。トークン埋め込み xpx_p と位置ベクトル PpP_p は同じ次元数で、足してからモデルに渡します。

x~p=xp+Pp\widetilde x_p=x_p+P_p

入力に位置ベクトルを混ぜると、モデルは学習を通じてその信号の使い方を覚えます。特定の次元を「ページ番号専用」に指定しているわけではありません。

BERT は各位置のベクトルを学習可能なテーブルに置きます。行ごとの位置パラメーターの学習を省くには、別の生成方法が必要です。

BERT より前の2017年の Transformer では、すでに異なる周波数の正弦と余弦を使い、位置ベクトルを直接生成していました。 Transformer §3.5

一つの位置を、なぜ何本もの波にする?

位置は0、1、2です。まず思いつくのは、その整数をそのまま入力する方法でしょう。

一つの番号から得られるのは一つの数値です。モデルに使ってほしい情報には、隣接位置の変化や、異なる尺度の距離もあります。Sinusoidal エンコーディングは、同じ位置を変化速度の異なる関数群に入力します。

まず [sin⁡(pω),cos⁡(pω)][\sin(p\omega),\cos(p\omega)] の一組だけを見ます。p は位置で、ω は一歩ごとに位相がどれだけ進むかを決めます。位相は波のどこにいるか、と考えてください。2πラジアン進むと一周期です。ω が大きければ速く、小さければゆっくり変化します。同じ p から、周波数ごとに異なる値が取り出されます。

SINUSOIDAL / d_model = 8位置を4つの数にする
P0[0:4]8次元のうち先頭4次元
[0]
0.00
[1]
1.00
[2]
0.00
[3]
1.00

8次元の正弦波位置表現で、0–3次元のみ表示。位置0–7で周波数1と0.1のsin、cosを取り出す。残りの4次元は省略。値は式で計算し、小数点以下2桁に丸める。

カーソルがこの範囲を進むと、速い波は一周期を終え、遅い波は少しだけ進みます。下の四つの数値は、二組の波から取り出した sin と cos を順に並べたものです。図は dmodel=8d_{\text{model}}=8 の小さな例で、最初の四次元だけを表示しています。残る四次元も完全なエンコーディングの一部です。

原論文は二次元ずつを一組にします。

Pp,2i=sin⁡(pωi)Pp,2i+1=cos⁡(pωi)ωi=10000−2i/dmodel\begin{aligned} P_{p,2i}&=\sin(p\omega_i)\\ P_{p,2i+1}&=\cos(p\omega_i)\\ \omega_i&=10000^{-2i/d_{\text{model}}} \end{aligned}

i は0から始まる組の番号で、dmodeld_{\text{model}} は入力位置ベクトル全体の次元数です。八次元の例には四組あり、周波数は順に1、0.1、0.01、0.001。図には最初の二組を表示しています。位置 p は一つのまま、それを記述する尺度が増えています。 Transformer §3.5

sin に cos を組み合わせるのはなぜでしょう。一つの波の同じ数値は複数の位相に現れますが、二つを組にすれば位相を一緒に表せます。さらに加法定理を使うと、位置を一定歩数ずらす操作を、各 sin/cos ペアへの同じ二次元線形変換として書けます。相対変位を利用するための構造が得られます。 Transformer §3.5

内容に足し、投影したあと、位置の関係はアテンションのスコアにどう残るのでしょう。

何ページ目かと、何ページ離れているか

モデルが最終章から鍵を探しています。「答えは3ページ目」は絶対位置、「答えは自分より20ページ前」は相対位置です。物語の前に序文を挟むとページ番号は変わりますが、二つの手掛かりの距離は保てます。

アテンションの三役を紹介しましょう。各位置の隠れベクトルを三つの学習済み投影に通すと、Query、Key、Value ができます。

  • Query(Q):現在の位置が、他の位置との比較に使うベクトル。
  • Key(K):他の位置が、その比較に差し出すベクトル。
  • Value(V):得られた重みで集約する内容ベクトル。

最後の質問を Q、文章中の手掛かりの目印を K、関連する内容を V と考えてみてください。実際はモデルが学んだ数値ベクトルで、「鍵の場所」という手入力の欄はありません。Q と K は対応する要素を掛けて足す内積でスコアを作ります。マルチヘッドアテンションには複数組の投影と比較がありますが、ここでは一つのヘッドを追います。 Transformer §3.2

位置を先に内容へ足すと、Q と K の内積には何が混ざるでしょう。投影を恒等変換として、一つの数値だけで計算します。一方は内容2と位置1、他方は内容3と位置4です。

ADDITIVE PE / A = 1位置を加えると4つの相互作用
x: 内容P: 位置
xn = 3Pn = 4
xm = 22 × 362 × 48
Pm = 11 × 331 × 44
(2 + 1)(3 + 4)= 6 + 8 + 3 + 4 = 21

混ぜたあとの内積は (2+1)(3+4)=21(2+1)(3+4)=21。展開すると、内容同士の6、内容と位置の8、位置と内容の3、位置同士の4という四つに分かれます。

実際のモデルには投影行列もあります。その合成を A=WQ⊤WKA=W_Q^\top W_K と書くと、同様に四種類の相互作用になります。

qm⊤kn=(xm+Pm)⊤A(xn+Pn)=xm⊤Axn⏟内容と内容+xm⊤APn⏟内容と位置+Pm⊤Axn⏟位置と内容+Pm⊤APn⏟位置と位置\begin{aligned} &q_m^\top k_n\\ &=(x_m+P_m)^\top A(x_n+P_n)\\ &=\underbrace{x_m^\top Ax_n}_{\text{内容と内容}}\\ &\quad+\underbrace{x_m^\top AP_n}_{\text{内容と位置}}\\ &\quad+\underbrace{P_m^\top Ax_n}_{\text{位置と内容}}\\ &\quad+\underbrace{P_m^\top AP_n}_{\text{位置と位置}} \end{aligned}

位置ベクトルだけの性質でわかるのは、計算の一部です。実際の Q、K のスコアには内容と位置の相互作用も入ります。この展開は、位置情報をどの項に、どう入れるかという後続研究の議論にもつながります。 RoFormer §2.2–2.3、Equation 6

蘇剣林の「研究者を悩ませる Transformer の位置エンコーディング」(2021)は、こうした設計の観点を整理した参考記事です。ほかの位置設計を比較したければ、そこで引用されている原著もたどれます。

次は、位置による比較の変化を、相対変位を通じて直接スコアに入れる配置を考えましょう。

2021年の RoFormer は Rotary Position Embedding、RoPE を提案しました。先に Q と K を作り、その次元を二つずつ組にして、位置に応じて二次元ベクトルを回転させます。ここで扱うのは各ヘッド内で実際に回転する次元で、先ほどの入力位置ベクトルの次元とは区別してください。 RoFormer §3.1–3.2

二次元回転を R(θ)R(\theta) とします。ある組の周波数が ω なら、位置 m では mω、位置 n では nω 回転します。投影後の内容 q、k を固定し、この回転だけを見ます。両方を mω だけ逆回転しても内積は変わりません。q は元の方向へ戻り、k には (n−m)ω の角度が残ります。

(R(mω)q)⊤(R(nω)k)=q⊤R((n−m)ω)k\begin{aligned} & (R(m\omega)q)^\top(R(n\omega)k)\\ &=q^\top R((n-m)\omega)k \end{aligned}

右辺に n−mn-m が現れました。二つの位置を一緒に後ろへ動かしても差は変わらず、回転が与える相対関係も保たれます。内容 q、k も引き続きスコアに関わります。 RoFormer §3.2、Equations 13–16

RoPE / q = k = (0,1)2 つの時計、同じ相対距離

q=k=(0,1)を固定し、2つの位置を差2のまま移動する。周波数1と0.1の内積はcos(2)≈−0.416、cos(0.2)≈0.980を保つ。固定した内容ベクトルに対する回転の位置効果を示す。

図では q=k=(0,1)q=k=(0,1) に固定し、針の長さをそろえています。位置は0/2から2/4、4/6へ一緒に動き、距離は常に2です。周波数1の組の内積は cos⁡2≈−0.416\cos 2\approx-0.416、周波数0.1の組は cos⁡0.2≈0.980\cos0.2\approx0.980 のまま。絶対位置が変わっても、各組の比較値は保たれます。これは内容固定の回転だけの観察で、モデル全体では内容表現も更新されます。

加算型の位置エンコーディングは、入力に位置ベクトルを足します。RoPE は位置を Q、K の回転角に変えます。どちらも位置信号を与えますが、計算に入る場所と数式の形が異なります。

位置100,000も回転の式へ代入できます。その先でモデルは、学習時に慣れていない位置の組み合わせに出会います。

回り続ける針と、見知らぬ位置

長さ2,048の系列だけで学習したモデルを考えましょう。見てきたのは、その範囲の位置の組み合わせ、相対距離、それらと内容が作るアテンションのスコアです。

そこへ32,768トークンをそのまま入れます。式は動きますが、距離と角度の組み合わせは元の学習範囲を超えます。

これが長さの外挿(length extrapolation)です。既存の RoPE モデルを直接長くすると、品質が大きく下がることがあります。相対位置の構造は役立ちますが、外挿の品質には方法と実験による確認が必要です。

2023年の Position Interpolation(PI) は、こう考えました。

元の座標範囲に慣れているなら、新しい位置をそこへ押し戻そう。

元の位置を pp、延長倍率を ss とすると、RoPE へ渡す位置は次のようになります。

p′=psp'=\frac{p}{s}

元は0、1、2、3の四位置で、今度は八トークンを入れたいとします。直接延長するなら0から7。二倍の補間なら0、0.5、1、1.5と並び、最後は3.5です。

ちょっと待ってください。3.5は元の最後の位置3より大きいですね。倍率はウィンドウの長さで決まり、8÷4=2なので、変換後の座標は [0,4)[0,4) に入ります。元の学習で使ったのは整数0、1、2、3だけ。PI は途中の目盛りを増やし、最後の点を3と4の間に置きます。この密な位置への適応は必要です。

p → p / sトークンを増やし、位置の目盛りを調整

8 トークンをすべて保持します。座標を 2 で割ると隣接位置の距離は半分になり、最後の座標は 3.5 となって、訓練時の最後の点 3 を越えます。

押し縮めると、二つのトークンが一つになるのでしょうか。

図の八トークンは全部残っています。変えるのは位置エンコーディングへ渡す座標です。位置は密になりますが、小説の本文はそのまま。アテンションも八位置を処理します。

原論文の Figure 1 も見ましょう。上段左は元の2,048の範囲で、右の赤い点は未知の位置へ直接延長しています。下段では新しい系列の位置サンプルを元の範囲へ縮めています。位置のスケーリングを示す図で、縦軸は RoPE の模式的な波形です。 PI Figure 1

原論文 Figure 1。Chen ら、2023年、CC BY 4.0。

この配置で、モデルは延長後の系列に適応しやすくなります。PI §3.1 の標準設定は1,000ステップのファインチューニングです。Tables 1–2 では LLaMA 7B/13B が2,048から32,768へ、33B は16,384まで、65B は8,192までの結果を掲載しています。 PI §3.1–3.2、Tables 1–2

同じ頃、llama.cpp コミュニティでも RoPE の位置スケーリングを試し、変更コードとパープレキシティの比較を共有していました。PI の原論文もこの議論を引用しています。 llama.cpp の議論、2023年6月

ただし、八位置を四位置の目盛りに収めると、隣同士の距離も縮みます。

2,048の範囲に100万以上の位置を詰め込んだら、局所的な差を見分けていた目盛りはどうなるでしょう。

地図を縮めても、近所の目盛りは残したい

PI はすべての回転周波数に一律で同じ倍率を適用します。

ところが RoPE の各周波数は、元々異なる尺度の位置変化を扱っています。速く回る秒針まで遅くすると、モデルが慣れた近距離の差も変わります。

遠距離へ範囲を広げながら、局所の目盛りをどう保つのでしょう。

RoPE の周波数を書き出すと違いが見えます。よく使われる形は ωi=b−2i/d\omega_i=b^{-2i/d}。b は基数、d は回転するベクトルの次元数、i は二次元ペアの番号です。PI は各組の角度を一律に s で割りますが、基数 b を変えると i ごとに異なる量だけ周波数が変わります。

例えば i=0 なら周波数は1で、基数を変えても影響を受けません。後ろの周波数は変わります。そこで、速い変化はあまり崩さず、遅い成分に延長を多く受け持たせる余地があります。YaRN が扱う NTK-aware の流れも、この非一様なスケーリングの考え方です。 YaRN §3.1、付録 A.2

2023年の YaRN は問題をさらに分解しました。一様な補間が高周波情報や局所の相対距離へ与える影響を検討し、周波数領域ごとに処理を変えます。高周波では元の局所変化をできるだけ保ち、低周波は補間し、その間を滑らかにつなぎます。さらにアテンションスコアのスケールも調整します。 YaRN §3

YaRN は NTK-aware や NTK-by-parts などのコミュニティの試行も整理しています。これらのスケーリング手法はいずれも、遠距離へ広げるとき、元の有用な局所位置情報をできるだけ崩さないよう工夫しています。

2024年の LongRoPE はさらに、周波数の違いに加えて、系列の先頭の位置まで同じ規則で縮める必要があるのかを問います。

著者らは二種類の非一様性を観察しました。適した縮尺は RoPE の次元ごとに異なり、系列冒頭の一部の位置にも別の扱いが適します。そこで縮尺と、元の位置を保つ冒頭範囲を探索に含め、段階的な延長と組み合わせます。 LongRoPE §2–3

LongRoPE は PI、NTK、YaRN に対応する縮尺を初期候補に入れ、突然変異、交叉、選択を通じて各設定のパープレキシティを比較します。この指標は次のトークンの予測確率を評価します。探索では位置設定を調整し、重みのファインチューニングは段階的な延長の中で行います。 LongRoPE §3.2、Algorithm 1

POSITION EXTENSION位置を延長する3つの方法
PI位置を一律に縮小
LLaMA · 1,000 ステップ7B/13B → 32K
33B → 16K · 65B → 8K
YaRN周波数帯ごとに調整
Llama 2 7B/13B · 64K 訓練系列400 + 200 ステップ → 128K
LongRoPE倍率探索と段階延長
LLaMA2-7B · 400 + 600 ステップ128K → 256K → 2048K

PI:Tables 1–2 · YaRN:§4 · LongRoPE:§4

論文中の LLaMA2-7B の一手順では、128Kで400ステップ、256Kで600ステップ学習します。その後、学習済みモデルの位置設定を再探索して2048Kへ延ばします。最後の段階では200万長の系列による重みのファインチューニングは行いません。この論文では 1K=1,0241K=1,024 なので、2048Kは 2,097,152トークンです。 LongRoPE §3.3–4.1、Table 6

ステップ数にはコストも添えて読みましょう。付録 A.2 では、二段階のファインチューニングにそれぞれ A100 を8枚で一週間、16枚で二週間使っています。位置探索の計算コストは別にかかります。 LongRoPE 付録 A.2–A.3

学習に使った最長系列と、延長後に評価した最長系列は異なる場合があります。「200万対応」とあれば、延長設定、評価タスク、各長さの結果まで調べましょう。

位置手法には別の枝もあります。ALiBi は softmax の前に距離に比例するバイアスを加えます。各ヘッドの傾きはあらかじめ固定され、遠い位置ほど大きく減点されます。ここまでの PI、YaRN、LongRoPE は RoPE を使う既存モデルを扱っています。 ALiBi §3、Figure 3

座標が整っても、小説には100万トークンが残っています。PI は文字を消さず、RoPE も完全な組み合わせ計算を減らしてはいません。

座標は整った。それでも GPU があふれる理由

小説最後の質問へ戻ります。その位置の Q と、前の各位置の K を比較してスコアを出します。softmax で重みに変え、それを使って V を集約します。

一つのヘッドでは通常、Q と K の内積を計算して d\sqrt d で割ります。ここで d は Key ベクトルの次元数で、スコアの尺度を調整します。 Transformer §3.2.1

S=QK⊤dS=\frac{QK^\top}{\sqrt d}

候補が四位置だけなら、スケーリング後の一行のスコアを s1,s2,s3,s4s_1,s_2,s_3,s_4 と書けます。各位置の重みは次のとおりです。

ai=esi∑jesj,o=∑iaivia_i=\frac{e^{s_i}}{\sum_j e^{s_j}},\qquad o=\sum_i a_i v_i

指数を取った相対重みが1、1、2、4、内容の値が10、20、30、40だとします。重み付き内容を u に足し、総重みで割って出力を得ます。

u=1×10+1×20+2×30+4×40=250o=u1+1+2+4=31.25\begin{aligned} u&=1\times10+1\times20\\ &\quad+2\times30+4\times40=250\\ o&=\frac{u}{1+1+2+4}=31.25 \end{aligned}
Q → K → SOFTMAX → V1 つの Query で 4 つの位置をまとめる
Ksexp(s)αVαV
K1010.125101.25
K2010.125202.5
K3ln 220.25307.5
K4ln 440.54020
Σ81—31.25
s
スコアを比較
α
重みを正規化
αV
V を加重して集約

α = exp(s) / Σ exp(s)

算表は各段階を左から右へ残しています。スコア s の指数を取ると1、1、2、4。合計8で割ると正規化重み α。各 V を掛けると1.25、2.5、7.5、20です。最後の列を足すと31.25になります。

これは本記事の説明用の数値です。実際の V はベクトルですが、まず一成分で計算を見ています。ブロックの説明でも同じ数値を使います。

一つの Q と四つの K なら簡単です。ただし入力全体を処理すると、各位置に Q があり、他の位置と比較します。

系列長を NN とすると、一つのヘッドの完全なスコア行列は N×NN\times N 要素です。Q と K は N×dN\times d、内積で N×NN\times N を作り、さらに N×dN\times d の V を掛けて、各位置の集約結果を得ます。 Transformer §3.2、Table 1

N × N長さが2倍、組み合わせは4倍
トークン数FP16
5120.5 MiB
32,7682 GiB
131,07232 GiB
1,000,0001.82 TiB

右表:1層・1ヘッドの完全なFP16スコア行列。

まず小さな例で見ると、4位置なら4 × 4で16マスです。長さを8にすると縦横が両方二倍になり、元の16マスは新しい行列の四分の一です。右の表は実際の長さをメモリ量へ換算しています。100万位置を小さな図へ無理に詰め込む必要はありません。

100万トークンでは、一層、一つのアテンションヘッド、一枚の完全な FP16 スコア行列だけで 1012×210^{12}\times2 bytes、つまり 2 TB、約1.82 TiB が必要です。

モデルの重み、Q/K/V、他の層の中間結果、学習の勾配、オプティマイザー状態はまだ含んでいません。途中の大きな表が一枚あるだけで2 TBです。

512から100万で、長さは約1,953倍。しかし組み合わせ数は約381万倍です。位置テーブルのパラメーター追加と、アテンション行列の拡大では、コストの桁が違います。

生成モデルの因果マスクは未来を隠し、見える組み合わせを三角形にします。それでも N に対して二乗で増えます。実際のカーネルはマスク部分を省略できますが、二乗の増え方は残ります。

接続を減らすと、何が節約できる?

自然な方向です。小説の多くの文はまず近くの文に依存します。すべてのトークンについて、何十万語も先の風景描写と関連度を計算するのは、効率がよいとは限りません。

2020年の Longformer は主に近傍の局所ウィンドウへ接続し、少数の指定位置に大域接続を与えます。BigBird は局所、大域、ランダム接続を組み合わせ、領域をまたぐ情報の経路を追加します。 Longformer §3、BigBird §2

DENSE / SPARSEどの位置をつなぐ?

完全接続なら、オレンジの行の Query はすべての Key に届きます。局所と大域の接続なら、主に近傍と大域位置を見ます。疎な接続を追加すれば、遠くの一部にも届きます。同じ Query の接続数は16から6、さらに8へ変わります。

これは接続規則の説明図です。実際のウィンドウ、大域位置、ランダムブロック、マスクは各論文の設定に従います。

大域位置は系列全体を読み、他の位置からも読まれます。局所幅、大域位置の数、非大域位置ごとの追加ランダム接続数を固定すると、総組み合わせ数は系列長に対して線形に増えます。各大域位置には依然 N 本の接続がありますが、その位置数が固定なので合計も線形です。

その代償として、最後の質問から第一章の引き出しへ届くには、残された直接接続や複数層を通る経路に頼ることになります。モデルをその構造に合わせて学習し、必要な情報を取れるかタスクで確かめます。

もう一つの方向はセグメント間のリレーです。2019年の Transformer-XL は前のセグメントの隠れ状態を保持し、次のセグメントから参照できるようにします。相対位置の設計で、セグメント間の位置も扱います。 Transformer-XL §3

前後のつながりはできますが、状態とメモリには容量があります。小説の第一章の手掛かりが、現在参照できる状態に直接残るのか、何度も伝達されて最後の答えへ届くのかを確認する必要があります。

このように長系列モデルには、接続を変える、状態を保持するなどの道があります。情報の伝わり方はそれぞれ違うため、具体的な仕組みを評価します。

では、小説の末尾から過去の全位置へ直接スコアを出す完全なアテンションを残したい場合、ほかに節約する場所はあるでしょうか。

研究者の視線は、「何回比較するか」から「何回データを運ぶか」へ移りました。

全体を見ながら、大きな表は保存しない

素直な実装では QK⊤QK^\top を計算してスコア行列を保存し、softmax、重みの保存、V との積へ進みます。教科書の式と対応させやすい手順です。

ただ、式に中間行列があると、実装でもその全体を同時にメモリへ置く必要があるのでしょうか。

2022年の FlashAttention はここを見直しました。GPU には大容量の HBM と、小さく高速なオンチップ SRAM があります。どこから読み、どこで計算し、どこへ書き戻すかが実際の速度を左右します。 FlashAttention §2–3、NeurIPS 2022 版

小説を箱に分け、必要な Q、K、V のブロックだけを運び込むと考えましょう。各ブロックの計算後に十分な統計量を残せば、最後に完全な結果を作れます。N×NN\times N の表全体を実体化せずに済みます。

ただし softmax の分母は候補位置すべての合計です。前半を読み終えた時点では、後半の重要度はまだわかりません。

先ほどの数値、重み1、1、2、4と内容10、20、30、40に戻ります。

最初のブロックで前の二位置を読み、二つの量を残します。

分子1=1×10+1×20=30分母1=1+1=2\begin{aligned} \text{分子}_1&=1\times10+1\times20=30\\ \text{分母}_1&=1+1=2 \end{aligned}

二番目のブロックでは、次を残します。

分子2=2×30+4×40=220分母2=2+4=6\begin{aligned} \text{分子}_2&=2\times30+4\times40=220\\ \text{分母}_2&=2+4=6 \end{aligned}

最後に分子同士、分母同士を足します。

30+2202+6=31.25\frac{30+220}{2+6}=31.25

四位置を一度に処理した結果と一致しました。

FLASHATTENTION分割して計算し、結果を統合

両ブロックの読み取り完了:(30 + 220) / (2 + 6) = 31.25。全体をまとめて計算した結果と一致します。

図では一行の Q を固定し、分子を u、分母を ℓ とします。青い KV₁ を HBM から SRAM へ運び、30と2を計算します。累積値を残して作業ブロックを解放し、オレンジの KV₂ へ交代。220と6を加えて250/8 = 31.25です。ここでは Q の一行だけを追いますが、層全体ではほかの Q ブロックや統計量の読み書きも行います。

各ブロックで平均を出して、最後に二つの平均を取る方法はどうでしょう。

試すと、別の結果になります。

15+36.672≈25.83\frac{15+36.67}{2}\approx25.83

これは誤りです。二番目の総重みは6、最初は2。それぞれに半票ずつ与えることはできません。

各ブロックの総重みを保って統合すれば、出力への寄与を正しく配分できます。

本当の FlashAttention は数値安定性も扱います。スコアを直接指数化するとオーバーフローし得るため、それまでの最大スコアを保持します。新しいブロックが最大値を更新したら、古い分子と分母を再スケーリングしてから累積を続けます。 FlashAttention Algorithm 1

各 Q 行で残すのは、更新可能な統計量と出力の累積ベクトルです。完全なスコア行列は計算後に手放し、学習の逆伝播では再計算も使って中間保存を減らします。

完全なアテンションの数学的な結果を保つ方法で、実際の浮動小数点計算には丸め誤差が残ります。改善するのはメモリ使用量、HBM 転送、カーネル効率です。完全な組み合わせの計算量は O(N2d)O(N^2d) のままです。

後の FlashAttention-2 は GPU の仕事配分と並列化を改善し、行列積以外の一部の処理を減らして、ハードウェアをより有効に使います。 FlashAttention-2 §3

スコア表を省いても、100万トークン分の Q、K、V、出力、他層の中間結果は大きく、二乗の組み合わせ計算も残ります。次は、より大きなシステムへ仕事を分けます。

技術補足と論文の出典を開く

最大値更新時の統合を確かめたい場合、ブロックの統計量を m=max⁡isim=\max_i s_i、ℓ=∑iesi−m\ell=\sum_i e^{s_i-m}、u=∑iesi−mviu=\sum_i e^{s_i-m}v_i と書けます。

二つのブロックをまとめるときは、まず m′=max⁡(m1,m2)m'=\max(m_1,m_2) を取り、次を計算します。

ℓ′=em1−m′ℓ1+em2−m′ℓ2u′=em1−m′u1+em2−m′u2\begin{aligned} \ell'&=e^{m_1-m'}\ell_1\\ &\quad+e^{m_2-m'}\ell_2\\ u'&=e^{m_1-m'}u_1\\ &\quad+e^{m_2-m'}u_2 \end{aligned}

最終出力は u′/ℓ′u'/\ell' です。先ほどの二番目のブロックで最大スコアが log⁡4\log4 なら、統合後の分子は62.5、分母は2で、やはり31.25になります。実際のカーネルは複数行と多次元をまとめて処理します。ここでは一行、一出力成分だけを見ています。

一枚の GPU で足りなければ、分担する

まず一台の中で、ほかに何を減らせるか見ましょう。

Transformer にはアテンションの後にフィードフォワードネットワーク、FFN があります。位置ごとに独立して計算できますが、中間では通常、特徴の次元を広げます。長系列全体の中間特徴を同時に残すと、メモリ負荷は大きいままです。

Blockwise Parallel Transformer(BPT) は、ブロック単位のアテンションと FFN を一続きの流れにします。あるアテンション出力ブロックができたら、対応する FFN を続けて計算します。再計算なども組み合わせ、系列全体の中間特徴を保存する量を減らします。 BPT §3、Figure 2

FlashAttention が一つのアテンション層のメモリを扱うのに対し、BPT はアテンションと FFN を合わせた層へ視野を広げます。

それでも一台の容量と速度には限界があります。そこで系列を複数台へ分けます。

小説を A、B、C の三つに分け、三枚の GPU で保管するとしましょう。GPU A は自分の部分の Q を持ちますが、完全なアテンションには他の部分の K、V との比較も必要です。

ほかの部分を全部集めるのが単純な方法です。しかし各装置が大きな K、V をまた保存することになります。分担したはずが、全員の机に同じ小説が積まれてしまいました。

Ring Attention は BPT の分割を拡張し、Q は各装置へ残し、K、V をリングに沿って順に渡します。今のブロックを計算する間に、次のブロックを転送できます。処理が終われば次を読み、アテンションの結果を累積します。 Ring Attention §3

RING ATTENTIONQ を固定し、K と V を順に渡す

3 台の装置による模式図。各装置は Q を保持し、3 ラウンドですべての KV ブロックを参照します。実際の手法では転送と計算も重ねます。

Q は各装置にとどまり、緑の K、V ブロックがリングを進みます。三回の処理で各装置が全ブロックに触れます。これは転送スケジュールの図です。生成モデルでは因果マスクを適用し、各 Q が実際に参照できる位置だけを処理します。

FlashAttention のブロック累積がここで役立つのは、新しい KV が届くたびに同じ統計量を更新できるからです。全 KV を同時に集めなくても結果を統合できます。

複数 GPU でどれだけ速くなるかは、ブロックの計算で転送時間を隠せるかに依存します。計算が短すぎたりネットワークが遅かったりすれば、データ待ちが生じます。通信との重ね合わせは、ブロックサイズ、装置数、帯域、計算性能を合わせて考える必要があります。

系列を分散して保存し、通信と計算を重ねることで、複数台が長い入力を協力して処理できます。許可された組み合わせの計算全体は、引き続き全装置で実行します。

システムが長さを扱えるようになったら、学習データには何を教えてもらうべきでしょう。

機械は動く。モデルは練習した?

まず思いつきやすい学習データとして、無関係な短い記事を一万本つなげ、一つの超長系列にします。

長さは十分で、位置も遠くまで進みます。次に、後ろのトークンを予測するとき、データが何を手掛かりとして与えるかを見ます。近くの数百文字で答えが出るなら、局所情報だけで課題をこなす機会がたくさんあります。

最終章から第一章へ戻ったり、人物の変化を章をまたいで追ったりするには、データと学習目標がその練習を与える必要があります。文書間のマスクや連結方法も、位置間で情報を伝えられる範囲に影響します。

だから長文脈の研究には、学習する長さ、長文書のデータ、適応の手順も必要です。位置補間は新しい目盛りへの接続を助け、長系列の学習はそこで実際に学ぶ機会を与えます。

LongRoPE では短い系列で重みを学習した後、位置探索でさらに延長できました。外挿とデータの使い方は手法によって異なり、延長後の性能を実験で確認する必要があります。

2024年の Large World Model(LWM) は、これらのシステム技術を長文と映像・音声のモデルへ応用しました。ここでは文章モデル LWM-Text の延長を見ます。

LLaMA-2 7B で初期化し、Ring Attention で長系列を分散処理します。アクセラレーター用カーネルを書く Pallas で RingAttention と FlashAttention を融合し、長さに合わせて RoPE の基数を大きくします。この学習では TPU v4-512 を使いました。 LWM §3.1、Table 1

LWM-Text の事前学習は32K、128K、256K、512K、1Mの五段階です。各段階で長さ条件により選別した Books3 の書籍を使い、前段階のモデルを引き継ぎます。Table 1 の長さは2のべき乗で、最後の1Mは 1,048,576トークンです。後のメモリ算例では、きりのよい100万を使います。 LWM §3.2、Table 1

LWM-TEXT / CHECKPOINTS前段階のモデルから訓練を続ける

LLaMA-2 7B → LWM-Text

  1. 32K01
  2. 128K02
  3. 256K03
  4. 512K04
  5. 1M05

各矢印は、前段階のモデルの重みを引き継ぐ。

各段階の総訓練トークン数
4.8B12B12B3B1.8B

TPU v4-512 · 1M = 1,048,576 Tokens · Table 1

五段階の矢印は、前段階のモデルの重みを引き継ぎます。下段は各段階で実際に学習した総トークン数です。32K段階で4.8B、1M段階ではさらに1.8Bを読みます。一系列の長さと、一段階で読んだ総トークン数は別の数値です。

段階を踏むのは、最長系列の一更新が高価だからです。最初からすべてを最長にすると、一定の計算資源と時間で処理できるデータ量や更新の組み方が制約されます。短く始めて少しずつ伸ばすのは、この研究での費用配分の方法です。

後の学習で長文脈の性能が下がる場合もあります。

Llama 3 の報告では、長文脈の事前学習後に短いデータだけで教師ありファインチューニングをすると、長文の能力が低下します。そのため長文書の質疑応答、要約、コード推論などを追加し、後の段階でも能力を維持しています。 Llama 3 §4.3.4

同報告には、405Bモデルを8Kから128Kへ六段階で延ばし、各段階で検索能力と短文脈の性能を確かめる手順もあります。 Llama 3 §3.4.2

長く読めるだけでなく、元の短い質問にも答えてほしいところです。LongRoPE も短い範囲の位置設定を別途探索し、短文脈の性能回復を試みます。延長中は長いタスクと短いタスクを一緒に観察します。 LongRoPE §3.3

さて、小説を読み終え、モデルが「青い引き出し」と答えようとしているとしましょう。

答え始めたら、どの計算を残せる?

長い入力を処理する生成モデルの仕事は、二つに分けて考えられます。

最初の段階は prefill で、プロンプトと文書を入力し、各層の表現を計算して、回答に必要な状態を作ります。完全なスコア行列、FlashAttention、長系列の分担はこの段階の費用と深く関係します。これらは学習時などにも使われます。

次の段階は decode で、一トークンずつ回答を生成します。新しい位置ごとに Q、K、V があり、それ以前の内容を参照します。

モデルと位置設定が固定された因果アテンションでは、過去の位置は未来を見ません。回答が一トークン増えても、過去の K、V は再利用できます。保存したデータが KV キャッシュです。

なぜ Q を含めず KV キャッシュなのでしょう。新しい位置が使うのは自分の Q だからです。過去の Q は当時の出力をすでに作り終えており、以降、新しい位置からは過去の K、V だけを参照します。

新しい Q を既存の K と比較し、その重みで V をまとめます。一つの新しい位置から見ると、一行対 N 位置の計算です。過去の再計算は省けますが、参照可能な K、V の読み出しは残ります。

こうして、小説が長いほど各層に残る KV も増えます。

各層が全系列を保持し、KV ヘッド数と次元数が同じとします。一リクエストの KV キャッシュは、次で見積もれます。

2×層数×KV ヘッド数×ヘッド次元数×トークン数×一値の bytes\begin{aligned} &2\times\text{層数}\times\text{KV ヘッド数}\\ &\quad\times\text{ヘッド次元数}\times\text{トークン数}\\ &\quad\times\text{一値の bytes} \end{aligned}

先頭の2は K と V です。32層、8 KV ヘッド、一ヘッド128次元、一値2 bytes なら、100万トークンで約 122.1 GiB。KV だけの値で、モデルの重みは別です。

KV CACHE / GQA系列が伸びるとメモリも増える

32 層 · 128 次元 · 値当たり 2 バイト

1 リクエスト、32 層、KV ヘッド当たり 128 次元、値当たり 2 バイト。8 ヘッドと 32 ヘッドを比較。重みは別計算です。

同じ100万トークンで、ほかを固定して KV ヘッド数を8から32へ増やすと約 488.3 GiB になります。二本の曲線は長さとともに増え、32ヘッドは常に8ヘッドの四倍です。本記事の説明用構成なので、実際の層数、KV ヘッド数、データ型は各モデルの構造を確認してください。

Grouped-Query Attention(GQA) は複数の Q ヘッドで一つの K ヘッドと V ヘッドを共有し、保存・読み出しする KV を減らします。Query と KV のヘッド数を別にできますが、それに対応する構造と学習が必要です。既存のマルチヘッドモデルを変換する場合、原論文はグループ内の K、V 投影行列をそれぞれ平均し、追加学習を行います。 GQA §2.2–3.1

同時に多数のリクエストを受けるなら、メモリ割り当ても問題になります。始まったばかりの会話も、何ページも進んだ会話もあります。全員に大きな連続領域を予約すると、無駄が出やすくなります。

PagedAttention は KV キャッシュをブロックに分け、論理ブロックと物理ブロックの対応で管理します。予約領域、断片化、共有時のコピーなどを改善します。キャッシュ管理の改善であり、一トークンの KV 量は構造と数値の保存形式で決まります。 PagedAttention §3–4

長文脈システムでは、少なくとも小説全体を渡して最初の答えが出るまでの時間と、答え始めてから一秒に生成するトークン数を分けて測りましょう。

完全な因果アテンションの prefill には二乗の組み合わせ計算があります。KV キャッシュを使う一ステップの decode は過去の K、V を参照し、系列が伸びるほど読み出しと計算も増えます。仕事の形が違うので、ボトルネックも異なり得ます。

長さの上限、回答前の待ち時間、回答速度、同時利用者数について、それぞれのボトルネックがどこにあるのかは、ここまでの各節で見てきました。

このキャッシュは今回の生成用の中間状態です。入力した小説は現在の計算の文脈になります。一方、モデルのパラメーターは学習で更新します。保存するものも寿命も異なります。

最後に、いちばん読解テストらしい関門として、モデルが結局何を正しく答えられたのかを確かめます。

100万トークンで、どんな読解を試す?

第一章の鍵へ戻りましょう。

言語モデルでよく使われる成績指標のパープレキシティ(perplexity)は、実際の文章の次のトークンにモデルがどれだけよい確率を与えたかを測ります。LongRoPE も長文のパープレキシティで延長後の言語モデル性能を確かめ、文脈長を比較します。 LongRoPE §4.2、Tables 5–7

ただ、多くの次の語は近くの内容から予測できます。「最後に第一章の鍵を探し出せるか」を知りたければ、隠す位置、距離、妨害文を制御して、その問いを直接作る必要があります。

長い文章に固有の情報を入れ、モデルが取り出せるか尋ねるのが最も直接的な方法です。LongRoPE の実験には、大量の妨害文にコードを埋め、最後にそれを答えさせる五桁のパスキー検索も含まれます。

論文の LongRoPE-LLaMA2-7B(ft=256K)は、この試験で4K–2048Kまで90%以上の正解率を維持しています。各長さで位置をランダムにして十回試行し、九回正解ならこの設定で90%です。同じ図の LongRoPE-Mistral-7B(ft=128K)は2048Kで60%に下がります。ft はファインチューニング時に設定したウィンドウです。Mistral が実際に学習した系列は16Kで、先の LLaMA2 の学習長とは異なります。 LongRoPE §4.1–4.2、Figure 4

この結果から、モデルが非常に遠い入力位置からある種類の情報を実際に取り出せることが分かります。

鍵がずっと引き出しにあるなら話は単純です。今度は置き方を変えます。

第一章には「鍵を箱に入れた」とだけ書きます。第八章には「箱を上着に入れた」。第十五章には「上着を小美に渡した」。最後の質問は「今、鍵を受け取るには誰を探す?」です。

最後の一文だけでは、小美が上着を持つことしかわかりません。鍵との関係を知るには、鍵から箱、箱から上着、そして小美へたどる必要があります。一つでも欠けるとつながりません。

RETRIEVE / TRACE / AGGREGATE問いが変わると、使う情報も変わる

3つの独立した手掛かり:鍵を箱に入れ、箱を上着に入れ、上着を小美に渡す。直接検索では箱を見つける。3つの関係をつなぐと、鍵が小美の所にあると分かる。最後の文には上着しか出てこない。集約では最初の格納も含め、入れる・渡す操作を数える。1 + 1 + 1 = 3。教育用の例。

単一情報の検索なら「鍵が直接入っている容器は?」で、第一章だけで十分です。章をまたぐ追跡には「鍵 → 箱 → 上着 → 小美」を保持してつなぎます。「三章で何回、入れる・渡す操作があった?」なら、一章一操作で1 + 1 + 1 = 3。第一章の収納も数えます。本記事の説明用の例です。

同じ手掛かりでも、置く場所で結果が変わることがあります。

Lost in the Middle は位置を比較しました。下は TACL 正式版の Figure 1。複数文書の質疑応答の設定を固定し、二十文書の中で答えを含む文書の位置を変えています。 原論文 Figure 1

原論文 Figure 1。Liu ら、TACL 2024、CC BY 4.0。

横軸の左から右へ、答えの文書が先頭から末尾へ動きます。縦軸は質疑応答の正解率です。紫はこの GPT-3.5-Turbo-0613 実験、赤い破線は文書を渡さない closed-book の基準値です。

曲線の中央を見ると、同じ答えの文書でも中央に置くと成績が下がります。全長は約4Kで、このモデルとタスクでの位置感度を示しています。100万長のモデルは、自分の実際の範囲で改めて試す必要があります。

2024年の RULER は、検索の各設定、多段の変数追跡、情報集約、質疑応答へ試験を分けました。最初の三種類は合成タスクです。質疑応答は SQuAD と HotpotQA の問題に妨害文書を加えて長さを制御します。v1 の十モデル、十三タスクでは、単純な情報検索が得意でも、入力が長い場合や複雑なタスクで大きく成績を落とすことがありました。 RULER §3–4

公称長、有効長、各テスト長での得点を見比べてください。

得点は13タスクの平均です。下線はLlama2-7Bの4Kでの基準得点以上を示し、この基準から有効長を求めています。 RULER: What's the Real Context Size of Your Long-Context Language Models? — Table 3, Hsieh, Cheng-Ping et al., CC BY 4.0.

だから「100万」のあとには、もう一文が必要です。

100万トークンを、どのタスク、どの情報位置、どの正解率とコストで使えるのでしょう。

2024年の Gemini 1.5 Pro の報告は、最大1,000万トークン規模の文章中の情報検索と、コードの次トークン予測の実験を示しています。他の長文書質疑応答やコードタスクには、それぞれ別の長さと指標があります。長文脈の実装手順すべては公開されていません。 Gemini 1.5 §2、§4.2

それでは、もう一度あの小説を開こう

512から100万へは、位置エンコーディング、アテンション計算、メモリ、学習のすべてが追いつく必要があります。受け入れる長さ、処理コスト、回答に使える手掛かりは別々に確かめます。

次に1M、2Mという仕様を見たら、まず学習系列長を探し、その後で実際のタスクの長さ、答えの位置、正解率、コストを見ましょう。自分の文書と条件を照らすことで、手元の仕事に使えるかを見積もれます。

そして第一章へ戻ります。鍵は箱の中、箱は上着の中、上着は小美の手元です。

やれやれ、大変な旅でした。次はおとなしく小説を読むことにします。