其實一開始也沒什麼事,你就是想看個小說。
隨著人物越來越多,前面埋過什麼伏筆,也開始記不清楚。
於是你想:不如來做個語言模型吧!(並沒有)
做文字分類、判斷兩句話是否相關、從文章裡找出答案,這些任務可以共用同一個學習起點。2018 年 10 月 Google 公開的 BERT,就是這條路線上一個重要的文字理解模型,用 Transformer 編碼器,把文字轉成能供不同任務使用的表示。BERT 原論文
流程分兩段,先在大量未標註文字上預訓練,再針對特定任務微調。做分類就接上分類輸出層,做閱讀理解就預測答案在文章中的位置;微調時,任務層與 BERT 的權重一起更新。各個任務可以從同一套預訓練權重出發,分別訓練自己的模型。BERT §3、Figure 1
GPT 在 BERT 之前,就已採用 Transformer 的預訓練與微調。BERT 的關鍵在於雙向預訓練,讓文字表示同時利用左右文;原論文在十一項自然語言處理任務報告了當時最佳成績。GPT 原論文 §3、BERT 摘要與 §1
底座準備好了,把一份稍微像樣的文件交給標準 BERT,工程師很快就會發現,文件還沒看完,512 個 Token 已經用完了。
後來,模型規格開始寫 32K、128K、一百萬,研究報告甚至做到一千萬。數字一路往上長,彷彿當年的問題只是有人忘記把設定檔多補幾個零。
如果事情這麼簡單,GPU 廠商大概會少賣不少顯卡。
從 512 到一百萬,序列長度增加約 1,953 倍。只是把上限改大,原本的位置參數、注意力計算和訓練資料,要怎麼一起跟上?
要補上那些零,得先知道原來的 512 鎖在哪裡。
512 這道門,究竟鎖在哪裡?
512 Tokens,就是 512 個字嗎?還得看分詞器怎麼切。
Token 是分詞器切出的單位,可能是一個字、一段詞,也可能是標點。不同分詞器對同一段文字的切法可以不同,因此 512 Tokens 不能直接換算成固定的中文字數。
模型這一次能參考的 Token 範圍,通常稱為上下文視窗(context window)。對生成式模型來說,提示詞、附上的文件,以及已經生成的內容,都可能占用這個範圍;產品還可能另外限制輸入與輸出長度。
文字切成 Token ID 後,模型會把 ID 換成一串數字,稱為詞元嵌入。這串數字描述內容,位置資訊則要另外提供。
BERT 的輸入不只包含文字內容,還需要位置。它的標準實作準備了一張可學習的位置嵌入表,位置 0 有一個向量、位置 1 有另一個,依此類推。原版設定準備了 512 個位置,最後一個索引是 511。BERT §3、官方 modeling.py
於是,第 513 個 Token 來了。它需要位置 512 的向量,但原本那張表已經沒有這一列。
第 513 個 Token 要用索引 512;原本的位置表到 511 就結束了。
而且,[CLS]、[SEP] 這些特殊符號也占位置。你在門口看到「可容納 512 人」,工作人員早就在裡面占了幾個座位。
多加的那些位置,接下來要怎麼學?
工程上確實可以改表、初始化新位置,再重新訓練或微調。新加的那幾列參數還沒有學過如何工作;我們同時改動了模型的可用位置與它要面對的資料範圍。長度上限改好了,模型仍得適應新位置。
BERT 原作也提到,它有 90% 的預訓練步數只使用長度 128,最後 10% 才使用 512,原因之一就是長序列的注意力成本太高。BERT 附錄 A.2
所以,512 這個上限同時卡在位置與訓練,也卡在運算與記憶體。我們先解決地址,再回頭處理顯卡。
BERT 用雙向 encoder 讀文字、產生表示;常見生成式 LLM 則用帶因果遮罩的 decoder,根據前文往後生成。它們都得處理長序列帶來的位置與計算問題,後面的長上下文模型則各自有自己的架構與訓練來源。
把位置表拿掉,地址要怎麼記?
先看兩句話:「盒子裝著鑰匙」、「鑰匙裝著盒子」。用到的詞一樣,誰包住誰卻反過來了。後一句的鑰匙,體積大概很驚人。
對沒有位置訊號、沒有因果遮罩的自注意力來說,把輸入換個排列,對應的輸出也會跟著換位。這叫排列等變性,內容相關的運算跟著內容走,模型還缺少「這個詞原本坐在哪裡」的額外線索。生成式模型的因果遮罩會提供可見方向,這裡先把它拿開,單獨看位置訊號的作用。Transformer §3.2–3.5
| p = 0 | p = 1 | p = 2 | |
|---|---|---|---|
| S1 | 盒子A — | 裝著B — | 鑰匙C — |
| S2 | 鑰匙C — | 裝著B — | 盒子A — |
輸入示意:盒子裝著鑰匙,以及鑰匙裝著盒子。內容向量 A、B、C 跟著相同詞語;加入位置後,盒子在第一句是 A+P0,在第二句是 A+P2。每個片語視為一個示意位置,實際分詞可能更細。
圖裡把三個片語當成三張卡,實際分詞可能更細。盒子的內容向量記為 A;換到另一頭,還是同一個 A。但它和位置向量結合後,第一句拿到的是 A + P₀,第二句拿到的是 A + P₂。同一個內容,現在有了不同的所在位置。
這就是加法式絕對位置編碼的基本做法。詞元嵌入 和位置向量 維度相同,相加後送進模型:
位置向量混進輸入後,模型透過訓練學會使用這組訊號;我們沒有另外指定某一維,叫它專門保存頁碼。
BERT 把各位置的向量放在可學習的表裡。若要省去逐列學習的位置參數,就得另找產生位置向量的方法。
早於 BERT 的 2017 年 Transformer,就已使用不同頻率的正弦與餘弦,直接產生位置向量。Transformer §3.5
一個位置,為什麼要畫成好幾條波?
位置本來就是 0、1、2。最容易想到的做法,是把這個整數當作輸入。
單一編號只提供一個數值。我們希望模型容易利用的訊號,還包括鄰近位置如何變化,以及不同尺度的距離。Sinusoidal 編碼選擇把同一個位置,送進一組變化速度不同的函數。
先只看一對 。p 是位置,ω 決定走一格時相位前進多少。相位先想成波形走到哪裡;相位走過 2π 弧度,波形就完成一個週期。ω 大,曲線變化快;ω 小,變化慢。同一個 p,會在各組頻率上取出不同數值。
- [0]
- 0.00
- [1]
- 1.00
- [2]
- 0.00
- [3]
- 1.00
八維 Sinusoidal 教學示例,只顯示第 0–3 維。位置 0–7 分別在頻率 1、0.1 取出 sin、cos;另外四維未繪出。數值由公式計算,顯示到小數兩位。
游標走完這段範圍,快波已經走過一整個週期,慢波還只走了一小段。下方四個數字,就是從兩組波形取出的 sin、cos,依序排進向量。這張圖使用 的小型示例,只畫前四維;另外四維仍屬於完整編碼。
原論文把每兩維配成一組:
i 是第幾組,從 0 開始; 是輸入位置向量的總維度。圖中的八維設定共有四組,頻率依序為 1、0.1、0.01、0.001,圖上顯示前兩組。位置 p 沒有變多份,變多的是描述它的尺度。Transformer §3.5
為什麼 sin 還要找 cos 作伴?因為只看單一波形,一個數值會出現在許多不同相位;配成一對後,可以一起描述相位。更有用的是三角函數的加角公式。位置一起平移固定步數時,每一對 sin、cos 都能用同一個二維線性變換更新。這提供了模型利用相對位移的結構。Transformer §3.5
加進內容、再經過投影後,哪些位置關係還留在注意力分數裡?
知道第幾頁,和知道隔幾頁,有什麼不同?
模型在小說最後一章找鑰匙。「答案在第 3 頁」是絕對位置;「答案在我前面 20 頁」是相對位置。若整段故事前面多插了一段序,所有頁碼都會改變,兩條線索之間的距離卻可以保持。
先認識注意力裡的三個角色。每個位置的隱藏向量,經過三組學到的投影,產生 Query、Key、Value:
- Query(Q):目前這個位置,用來比對其他位置的向量。
- Key(K):其他位置拿來參與比對的向量。
- Value(V):關聯算好後,用來加權彙整的內容向量。
可以暫時把結尾的問題想成 Q,各段文字的線索標記想成 K,相關內容想成 V。它們實際上都是模型學到的數值向量,沒有人工填好的「鑰匙欄位」。Q、K 用內積產生分數,也就是對應項相乘,再加總。多頭注意力安排多組投影與比對;下面先沿一個頭看。Transformer §3.2
如果位置先加進內容,Q、K 的內積會把什麼混在一起?先把投影暫設為恆等,只留一個數字來算,一邊是內容 2、位置 1,另一邊是內容 3、位置 4。
| xn = 3 | Pn = 4 | |
|---|---|---|
| xm = 2 | 2 × 36 | 2 × 48 |
| Pm = 1 | 1 × 33 | 1 × 44 |
混合後,內積是 。把乘法展開,四塊分別是內容對內容的 6、內容對位置的 8、位置對內容的 3,以及位置對位置的 4。
實際模型還有投影矩陣。把兩組投影的合成記作 ,同樣可以寫出四類交互:
所以,檢查位置向量本身的性質,只看到了其中一部分。Q、K 的實際分數,還包含內容與位置之間的交互。這個展開也幫助後續研究討論:位置資訊應該放在哪些項裡、怎麼表示。RoFormer §2.2–2.3、Equation 6
蘇劍林的〈讓研究人員絞盡腦汁的 Transformer 位置編碼〉(2021)整理了這些設計角度,適合延伸閱讀。如果想比較更多位置設計,可以接著沿其中引用的原作往下讀。
接下來,能不能換一個安排,讓位置造成的比對變化,直接透過相對位移進入分數?
2021 年的 RoFormer 提出 Rotary Position Embedding,也就是 RoPE。它先得到 Q、K,再把維度兩兩分組,依位置旋轉每一組二維向量。這裡分組的是每個頭實際旋轉的維度,和前面輸入位置向量的維度要分開看。RoFormer §3.1–3.2
用 表示二維旋轉。某一組的頻率是 ω,位置 m 轉 mω,位置 n 轉 nω。先固定投影後的內容向量 q、k,只看這一層的旋轉。若兩個向量一起往回轉 mω,內積保持;q 回到原來方向,k 則留下 (n−m)ω 的轉角:
右邊出現 。兩個位置一起往後移,這個差值保持,旋轉帶來的相對關係也保持;內容 q、k 仍參與分數。RoFormer §3.2、Equations 13–16
固定 q=k=(0,1)。兩個位置一起移動,間距維持 2;頻率 1、0.1 的內積分別保持 cos(2)≈−0.416、cos(0.2)≈0.980。只觀察固定內容向量的旋轉位置因素。
圖裡固定 ,兩根指針一樣長。位置從 0/2,一起搬到 2/4、4/6,相對距離始終是 2。頻率為 1 的那組,旋轉後內積維持 ;頻率為 0.1 的那組,維持 。絕對位置會變,各組的比對數值卻保持。這裡只觀察固定內容的旋轉,完整模型還會更新內容表示。
前面的加法式位置編碼,把位置向量加進輸入;這裡的 RoPE,把位置轉成 Q、K 的旋轉角。兩種方法都提供位置訊號,進入計算的地方與數學形式不同。
位置 100,000 也能代入旋轉公式。模型接下來會遇到訓練時尚未熟悉的位置組合。
指針繼續轉,模型遇上陌生的位置
假設模型原本只在長度 2,048 的序列上訓練。它看過的是這個範圍裡的位置組合、相對距離,以及這些位置與文字內容共同形成的注意力分數。
現在直接送入 32,768 個 Token。旋轉公式照樣執行,但模型遇到的距離與角度組合,已經超出原本的訓練範圍。
這稱為長度外推(length extrapolation)。對使用 RoPE 的既有模型,直接把長度拉遠,品質可能明顯退步。RoPE 的相對位置形式提供了好用的結構,外推品質仍要靠方法與實驗確認。
2023 年的 Position Interpolation(PI) 選了一個做法:
既然模型熟悉的是原來那段座標,那就把新位置壓回去。
原位置是 ,延長倍率是 ,送進 RoPE 的位置改成:
例如,原本只有四個位置 0、1、2、3,現在要容納八個 Token。直接延長會用 0 到 7;做兩倍內插,則改用 0、0.5、1、1.5,一直到 3.5。
等等,3.5 還是比原本最後的位置 3 大。這裡的倍率按「視窗長度」計算,8 除以 4 得到 2,因此縮放後的座標落在 。原先訓練只用過 0、1、2、3 這些整數取樣點;PI 加入了中間刻度,也讓最後一點落在 3 與 4 之間。模型仍須適應這組變密的位置。
八個 Token 全部保留,兩倍縮放讓相鄰距離減半;最後座標是 3.5,超過原本最後的訓練取樣點 3。
這樣一擠,兩個 Token 被合成一個了嗎?
圖中八個 Token 都還在。改動的是送進位置編碼的座標;位置變密了,小說正文仍然完整,注意力也仍然要處理八個位置。
再看原論文的 Figure 1。上方左側是原本的 2,048 範圍,右側紅點直接延伸到陌生位置;下方把新序列的位置取樣壓回原本範圍。這張圖畫的是位置縮放的概念,縱軸呈現 RoPE 的示意波形。PI Figure 1
這樣的安排讓模型比較容易適應延長後的序列。PI 在 §3.1 預設使用 1,000 步微調;Tables 1–2 中,LLaMA 7B/13B 從 2,048 延伸到 32,768,33B 的結果列到 16,384,65B 則列到 8,192。PI §3.1–3.2、Tables 1–2
同一時期,llama.cpp 社群也在測試 RoPE 位置縮放,貼出修改程式與困惑度比較;PI 原作引用了這串討論。llama.cpp 討論,2023 年 6 月
不過,把八個位置塞進四個位置的刻度,鄰居之間的距離也變小了。
如果從 2,048 一路壓進上百萬個位置,原本用來辨識局部差異的刻度,會被擠成什麼樣子?
地圖壓得太密,巷口的刻度怎麼辦?
PI 讓所有旋轉頻率一律承受相同的縮放倍率。
但前面看過,RoPE 的每一組頻率,原本就在處理不同尺度的位置變化。把快速旋轉的秒針也一起放慢,模型熟悉的近距離差異就跟著變了。
要怎麼延長遠距離範圍,同時保住局部的刻度?
把 RoPE 的頻率寫開,會更容易看清楚這個差別。常見的形式是 ,其中 b 是基底,d 是旋轉向量的維度,i 是二維分組的編號。PI 把每組角度都除以 s;改變基底 b,則會讓不同 i 承受不同幅度的頻率變化。
例如,i 為 0 時,頻率是 1,改基底對它沒有影響;後面的頻率則會隨基底變化。這留下了調整空間,可以讓最快的變化少受影響,把更多延長需求分配給較慢的部分。YaRN 文中討論的 NTK-aware 路線,就沿這種非均勻縮放思路前進。YaRN §3.1、附錄 A.2
2023 年的 YaRN 繼續把這個問題往下拆。它討論均勻內插對高頻資訊與局部相對距離的影響,再依頻率區域安排不同處理:高頻部分盡量保留原本的局部變化,低頻部分做內插,中間用平滑過渡連起來;此外還調整注意力分數的縮放。YaRN §3
YaRN 原文也整理了 NTK-aware、NTK-by-parts 等社群探索的脈絡。這幾種縮放方式都在設法延長遠距離範圍時,少破壞原本有用的局部位置資訊。
2024 年的 LongRoPE 又再追問,除了頻率不同,序列開頭那些位置,有沒有必要照著同一套規則縮放?
作者在實驗裡觀察到兩種非均勻性,一是不同 RoPE 維度適合的縮放可以不同,二是序列最前面的一些位置也適合另外處理。於是它把縮放因素與保留原位置的開頭範圍納入搜尋,再搭配漸進延伸。LongRoPE §2–3
搜尋時,LongRoPE 把 PI、NTK、YaRN 對應的縮放方案放進初始候選,再透過變異、交配與篩選,反覆比較不同配置的困惑度。這個指標看的是模型對下一個 Token 的預測機率。這個搜尋階段調的是位置配置,權重微調則安排在漸進延長流程裡。LongRoPE §3.2、Algorithm 1
- PI均勻縮放位置
- LLaMA · 1,000 步
7B/13B → 32K
33B → 16K · 65B → 8K - YaRN依頻率區域調整
- Llama 2 7B/13B · 64K 訓練序列
400 + 200 步 → 128K - LongRoPE搜尋縮放配置,漸進延長
- LLaMA2-7B · 400 + 600 步
128K → 256K → 2048K
PI:Tables 1–2 · YaRN:§4 · LongRoPE:§4
以論文中 LLaMA2-7B 的一條流程來看,先在 128K 訓練 400 步,再在 256K 訓練 600 步,之後對已微調的模型再做位置搜尋,延伸至 2048K。最後一段沒有再用兩百萬長度做權重微調。該文的 ,因此 2048K 是 2,097,152 Tokens。LongRoPE §3.3–4.1、Table 6
步數也要連同成本看。附錄 A.2 記錄,這兩段微調分別使用 8 張 A100 跑一週、16 張 A100 跑兩週;位置搜尋另有計算成本。LongRoPE 附錄 A.2–A.3
模型訓練用過的最長序列,和延伸後接受測試的最長序列,可以不同。看到「支援兩百萬」,下一步要找的是採用哪種延伸設定、在哪些任務測試,以及各長度的結果。
位置方法也有其他分支。例如 ALiBi 在 softmax 前加入線性距離偏置,每個頭使用預先固定的斜率,距離愈遠,扣分愈多。PI、YaRN 與 LongRoPE 則在這裡處理使用 RoPE 的既有模型。ALiBi §3、Figure 3
座標安排好了,小說仍然有一百萬個 Token。PI 沒有刪字,RoPE 也沒有替我們少算任何一次完整配對。
座標安排好了,顯卡為什麼還是爆了?
回到小說最後的問題。這個位置拿出 Q,和前面各個位置的 K 比對,得到分數;分數經過 softmax,變成加權比例,再拿來彙整 V。
一個頭通常先算 Q、K 的內積,再除以 ;這裡的 d 是 Key 向量維度,用來調整分數尺度。Transformer §3.2.1
如果只有四個候選位置,我們可以把這一列已縮放的分數寫成 。每個位置的權重是:
假設指數化後的相對權重是 1、1、2、4,內容值是 10、20、30、40,先把加權內容加總為 u,再除以總權重,得到輸出:
| K | s | exp(s) | α | V | αV |
|---|---|---|---|---|---|
| K1 | 0 | 1 | 0.125 | 10 | 1.25 |
| K2 | 0 | 1 | 0.125 | 20 | 2.5 |
| K3 | ln 2 | 2 | 0.25 | 30 | 7.5 |
| K4 | ln 4 | 4 | 0.5 | 40 | 20 |
| Σ | 8 | 1 | — | ||
- s
- 比對分數
- α
- 正規化權重
- αV
- 加權彙整 V
α = exp(s) / Σ exp(s)
算表從左往右保留每一步,分數 s 取指數,得到 1、1、2、4;除以總和 8,得到正規化權重 α;再乘上各自的 V,得到 1.25、2.5、7.5、20。最後一欄加總,答案就是 31.25。
這是本文的教學數值。實際的 V 是向量,我們先用一個分量看清楚運算;後面講分塊時,會繼續用同一組數字。
一個 Q 對四個 K,很輕鬆。可是在處理整段輸入時,每個位置都有自己的 Q,也要和其他位置比對。
如果序列長度是 ,一個頭的完整分數矩陣就有 格。Q、K 的形狀是 ,內積形成 ,再乘上 的 V,得到每個位置的彙整結果。Transformer §3.2、Table 1
| Token 數量 | FP16 |
|---|---|
| 512 | |
| 32,768 | |
| 131,072 | |
| 1,000,000 |
右表:單層、單頭、FP16 完整分數矩陣。
先看小的,4 個位置,配對是 4 × 4,共 16 格。長度變成 8,橫向和縱向一起加倍,原來的 16 格只占新矩陣的四分之一。右表再把實際長度換成記憶體用量,避免把一百萬個位置硬塞進一張小圖。
當序列長度增加到一百萬,只算一層、一個注意力頭、一張 FP16 完整分數矩陣,就要 bytes,也就是 2 TB,約 1.82 TiB。
這還沒有加上模型權重、Q/K/V、其他層的中間結果、訓練梯度與優化器狀態。單是其中一張中間大表,就已經需要 2 TB。
從 512 到一百萬,長度約增加 1,953 倍,配對數卻約增加 381 萬倍。所以,位置表補長的參數成本,和注意力矩陣長大的成本,是兩個不同量級的問題。
生成式模型會用因果遮罩擋住未來位置。這讓可見的配對形成三角形;隨著 N 增大,配對數仍是平方級。具體核心可以省掉遮罩區域的工作,平方成長這件事仍在。
少連幾條線,省下哪些成本?
這條路線很合理。小說裡的大部分句子,往往先依賴附近的文字;讓每個字都和幾十萬字之外的風景描寫算一次關聯,未必是最划算的安排。
2020 年的 Longformer 讓位置主要連到附近的局部視窗,再讓少量指定位置具有全域連線;BigBird 則組合局部、全域與隨機連接,讓資訊有其他跨區域傳遞的路徑。Longformer §3、BigBird §2
完整配對時,橘色那一列的 Query 可以連到全部 Key;改成局部加全域連線,它主要看附近幾個位置和全域位置;再加入額外稀疏連線,遠處也有一些點能接上。圖中固定同一個 Query,連線數依序從 16 變成 6,再變成 8。
這張圖是連線規則的教學示意。實際方法的視窗、全域位置、隨機區塊與遮罩,要按原論文設定安排。
全域位置會讀取整段序列,也供其他位置讀取。當局部視窗寬度、全域位置數,以及每個非全域位置額外的隨機連接數保持固定,總配對數就隨序列長度線性增加。少數全域位置各自仍有 N 條連線;因為這些位置的數量固定,這部分合計也是線性成本。
代價是小說最後的問題若要連到第一章的抽屜,現在得依賴留下的直接連線或多層傳遞路徑。模型需要配合這套連線結構訓練,任務也要檢查它能否取得需要的資訊。
另一個方向是分段接力。2019 年的 Transformer-XL 保留前一段的隱藏狀態,讓下一段能參考先前片段,並搭配相對位置設計處理跨段位置。Transformer-XL §3
它讓前後片段之間有了延續,保存的狀態與可用記憶仍有容量。拿小說來看,我們就得檢查第一章那個線索,是直接留在目前可參考的狀態裡,還是需要經過多次傳遞才能影響最後的答案。
所以,「長序列模型」可以靠改連線、保留狀態等不同方法前進。每一條路線都有自己的資訊傳遞方式,評估時要看具體機制。
不過,假設我們希望保留完整注意力的配對,讓小說末尾仍能直接對前面的所有位置算分數,有沒有其他地方可以省?
這時,研究者把目光從「配對算了幾次」,轉向「資料究竟搬了幾次」。
完整地看,卻不存整張大表
一般直接實作注意力時,會先算出 ,把分數矩陣存下來,再做 softmax、存權重,接著乘 V。這個流程很直觀,也很容易和課本公式一一對上。
可是,公式寫出一個中間矩陣,實作就一定要把整張矩陣同時放在記憶體裡嗎?
2022 年的 FlashAttention 從這個地方下手。它關心 GPU 的記憶體階層,也就是容量較大的 HBM,以及晶片上較小、較快的 SRAM。資料從哪裡讀、在哪裡運算、結果又寫回哪裡,都會影響實際速度。FlashAttention §2–3,NeurIPS 2022 版
想像我們把小說分箱,每次只搬需要的 Q、K、V 分塊進來計算。若每一塊算完,就能留下足夠的統計量,最後合成完整結果,那張 的大表就不必整張實體化。
但 softmax 的分母,要加總所有候選位置。前半本讀完時,我們還不知道後半本有多重要。
現在回到剛才那組數字,權重 1、1、2、4,內容 10、20、30、40。
第一塊讀到前兩個位置,留下兩件事:
第二塊再留下:
最後把分子相加、分母也相加:
和一次看完四個位置的結果一致。
兩塊都讀完:(30 + 220) / (2 + 6) = 31.25,與完整計算一致。
圖固定同一列 Q,把分子記作 u、分母記作 ℓ。藍色 KV₁ 從 HBM 搬進 SRAM,算出 30 與 2;累積值留下,工作區塊釋放,再換橘色 KV₂ 進來。第二塊算出 220 與 6,合併成 250/8 = 31.25。這裡只追蹤一列 Q;整層運算還會安排其他 Q 分塊與統計量的讀寫。
那每一塊先算好自己的平均,最後再把兩塊平均起來,行不行?
試算一下,就會得到另一個結果:
答案就錯了。第二塊的總權重是 6,第一塊只有 2,兩塊不能各分一半票。
合併時必須保留各塊的權重總量,才能正確分配它們對輸出的貢獻。
真正的 FlashAttention 還得處理數值穩定性。直接算指數,分數一大就可能溢位,所以它會維護目前最大的分數;新分塊帶來更大的最大值時,連同舊分子、舊分母一起重新縮放,再繼續累積。FlashAttention Algorithm 1
對每一列 Q 來說,要保留的是這些可更新的統計量與輸出累積向量。完整分數矩陣算過就可以放手,訓練反向傳播再配合重算策略,減少中間結果的儲存。
這一招保留完整注意力的數學結果,實際浮點運算仍有精度誤差。它改善的是記憶體使用、HBM 搬運與核心執行效率,完整配對的計算量仍是 。
後來的 FlashAttention-2 進一步處理 GPU 工作分配與平行化,減少部分非矩陣乘法工作,讓硬體利用得更好。FlashAttention-2 §3
省下分數表之後,一百萬個 Token 的 Q、K、V、輸出與其他層的中間結果仍然很大,平方級配對也仍然很多。接下來,要把工作拆到更大的系統裡。
展開技術補充與論文來源
若想確認最大值更新時怎麼合併,可把一塊的統計量寫成 、、。
合併兩塊時,先取 ,再算:
最後的輸出為 。前面的例子若第二塊帶來最大分數 ,合併後可得到分子 62.5、分母 2,仍為 31.25。實際核心按多列與多維向量一起計算;此處只看一列、一個輸出分量。
一張 GPU 忙不過來,那就分工
先看單張裝置裡還能省什麼。
Transformer 除了注意力,後面還有前饋網路(FFN)。FFN 可以各位置分開算,但中間通常會把特徵維度放大;若一次保留整段長序列的中間特徵,記憶體壓力依然可觀。
Blockwise Parallel Transformer(BPT) 把分塊注意力和前饋網路接成更完整的分塊流程。某些注意力輸出區塊算好,就接著處理對應 FFN,搭配重算等安排,減少整段中間特徵的保存需求。BPT §3、Figure 2
前面 FlashAttention 解開「一層注意力怎麼省記憶體」,BPT 再把視野拉到注意力與 FFN 共同構成的層。
下一步,單張裝置的容量與速度還是有限,乾脆把序列分給多張裝置。
假設小說分成 A、B、C 三大段,三張 GPU 各保管一段。GPU A 拿到自己這一段的 Q,可是要保留完整注意力,它仍需要和其他段的 K、V 比對。
最直接的辦法是把其他段全部收集過來。但這樣每張裝置又得存一份很大的 K、V,分工分到最後,大家的桌面都堆回同一本小說。
Ring Attention 延伸 BPT 的分塊思路,讓各裝置保留自己的 Q,K、V 則沿環狀拓樸逐站傳遞。當前一塊在算,下一塊的傳輸可以同時進行;一塊處理完,接著讀下一塊,並累積注意力結果。Ring Attention §3
三張裝置的示意:各自保留 Q,經過三輪接觸所有 KV 區塊;實際演算法還會重疊資料傳輸與計算。
Q 留在各自的裝置,綠色的 K、V 區塊沿環狀路線傳遞。經過三輪,各裝置依序接觸所有區塊。這裡演示傳遞排程;生成式模型仍要套上因果遮罩,處理各 Q 真正允許參考的位置。
為什麼 FlashAttention 的分塊累積在這裡很有用?因為裝置收到新 KV 塊時,可以更新同一組統計量,繼續合併結果,無須先把所有 KV 同時收齊。
多張 GPU 能快多少,取決於每一塊的計算時間能不能遮住傳輸時間。如果計算太短、網路太慢,裝置就會花時間等資料。因此 Ring Attention 的通訊重疊效果,和區塊大小、裝置數、頻寬及硬體算力一起決定。
序列分散儲存、通訊與計算重疊,讓我們能用多張裝置合作處理更長輸入;所有允許配對的總運算,仍需要這些裝置共同完成。
系統能處理這麼長的序列之後,訓練資料要讓模型學會什麼?
機器跑得動了,模型真的練過嗎?
先做一個很容易想到的訓練資料,拿一萬篇互不相關的小文章,接成一條超長序列。
長度夠了,位置也跑到遠處了。接著要看預測後面的 Token 時,資料究竟提供了什麼線索。如果大部分答案仍可從附近幾百字取得,模型就有很多機會靠局部資訊完成任務。
至於小說最後一章需要回頭找第一章、追蹤人物跨章節的變化,則需要資料與訓練目標提供這類練習;文件之間的遮罩與拼接方式,也會影響哪些位置有機會互相傳遞資訊。
因此,長上下文研究還要安排訓練長度、長文件資料與適應流程。位置內插讓模型較容易接上新刻度,長序列訓練則讓模型在那些位置上實際學習。
前面已經看到,LongRoPE 能在較短的權重微調後,再搜尋延伸到更長位置。不同方法對長度外推與資料的要求各有安排,研究者需要用實驗確認延伸後的表現。
2024 年的 Large World Model(LWM) 把這些系統方法用在長文字與影音模型上。這裡先看它的文字模型 LWM-Text 如何延長上下文。
它以 LLaMA-2 7B 初始化,採 Ring Attention 進行長序列的分散式處理,並用撰寫加速器運算核心的工具 Pallas,融合 RingAttention 與 FlashAttention;位置方面則隨長度調大 RoPE 基底。論文這組訓練實際使用 TPU v4-512。LWM §3.1、Table 1
作者把 LWM-Text 的預訓練分成 32K、128K、256K、512K、1M 五個階段。每個階段用依長度條件篩選的 Books3 書籍資料,並從前一階段的模型繼續初始化。Table 1 的長度採二的冪次,最後的 1M 是 1,048,576 Tokens;本文後面的記憶體算例則取整數一百萬。LWM §3.2、Table 1
LLaMA-2 7B → LWM-Text
- 32K01→
- 128K02→
- 256K03→
- 512K04→
- 1M05
每一根箭頭,都接續前一階段的模型權重。
TPU v4-512 · 1M = 1,048,576 Tokens · Table 1
五個階段攤開來看,每一根箭頭都是接續前一階段的模型權重。下排列出各階段實際訓練的 Token 總量,32K 階段讀了 4.8B,1M 階段再讀 1.8B。每筆序列有多長,和整個階段總共讀多少 Token,是兩個不同的數字。
為什麼要漸進?因為最長序列的每一步很貴。若一開始所有更新都用最長序列,固定算力與時間下,能處理的訓練資料與更新安排都會受限。先練較短範圍、再逐步延長,是這篇研究用來安排訓練成本的方法。
長上下文還可能在後面的階段退步。
Llama 3 的報告指出,模型經過長上下文預訓練後,如果直接接上只有短上下文資料的監督式微調,長文能力會受影響。因此,他們加入長文件問答、摘要與程式碼推理等資料,維持後續的長上下文能力。Llama 3 §4.3.4
同一份報告也描述了 405B 模型從 8K 分六階段延伸到 128K 的流程,逐步檢查當階段的檢索能力與短上下文表現。Llama 3 §3.4.2
我們希望模型讀得更遠,同時還能好好處理原本那些短問題。LongRoPE 同樣另外搜尋較短範圍的位置配置,嘗試恢復短上下文表現;延長的過程,必須一起觀察長、短任務。LongRoPE §3.3
現在,假設小說已經讀完,模型準備回答「藍色抽屜」。
開始回答後,哪些計算可以留下來?
生成式模型處理長輸入時,可以先分成兩段看。
第一段是 prefill,把提示與文件送進去,計算各層的表示,建立後面回答會用到的狀態。剛才談完整分數矩陣、FlashAttention 與長序列分工,和這段的成本密切相關;這些工具也會用於訓練等情境。
第二段是 decode,模型逐 Token 產生答案。新增一個位置,就有這個位置的 Q、K、V,並且要參考前面的內容。
在固定模型、固定位置設定的因果注意力裡,前面位置看不到未來。因此,當答案多長出一個 Token,先前位置已經算好的 K、V 可以保留使用,這份保存下來的資料就是 KV cache。
為什麼叫 KV cache,沒有把 Q 也放進名字?因為新位置發問時,用的是它自己的 Q。先前位置的 Q 已經完成當時的輸出,之後新位置要參考的只剩那些 K、V。
新位置的 Q 拿去和既有 K 比對,再用權重彙整 V。對這一個新位置來說,是一列對 N 個位置的注意力計算。它省掉前面各位置的重算,但仍要取得那些可參考的 K、V。
於是小說愈長,各層留下的 KV 也愈多。
假設各層保留完整序列、使用相同的 KV 頭數與維度,只算一個請求,KV cache 大小可以按下面的項目估算:
最前面的 2,分別是 K 與 V。假設有 32 層、8 個 KV 頭、每頭 128 維、每值 2 bytes,一百萬個 Token 需要約 122.1 GiB;只計 KV,模型權重另外算。
32 層 · 128 維 · 每值 2 bytes
單一請求、32 層、每個 KV 頭 128 維、每值 2 bytes,比較 8 與 32 個 KV 頭。只計 KV cache,模型權重另計。
同樣是一百萬個 Token,把 KV 頭數從 8 增加到 32,其他條件固定,總量就成為約 488.3 GiB。圖中兩條記憶體用量隨長度一起增加,32 頭那條始終是 8 頭的四倍。這是本文選定的教學配置;模型實際用了幾層、多少 KV 頭與哪種資料型別,需要查它自己的架構。
Grouped-Query Attention(GQA) 讓每組 Q 頭共用一個 K 頭與一個 V 頭,減少需要保存與讀取的 KV 數量。Query 的頭數和 KV 的頭數,因而可以不同。這需要相應的模型架構與訓練;若要把既有多頭模型轉成 GQA,原作先把同組各頭的 K、V 投影矩陣分別取平均,再追加訓練。GQA §2.2–3.1
而服務同時接到很多請求時,還要處理記憶體配置。有的對話剛開始,有的已經寫了好幾頁,如果都預留一整片連續空間,很容易造成浪費。
PagedAttention 把 KV cache 分成區塊,透過邏輯到實體區塊的映射管理,改善預留空間、碎片與共用時的複製等問題。這是快取管理層的改進;每個 Token 的 KV 資料量仍由模型架構與數值儲存方式決定。PagedAttention §3–4
所以,看一個長上下文系統時,至少要分開量兩種時間,整本小說送進去,到第一個答案出現要多久;開始回答後,每秒能繼續寫多少 Token。
完整因果注意力的 prefill 有平方級的配對工作;使用 KV cache 的單步 decode 則參考先前的 K、V,序列變長也會增加相關讀取與計算。兩段的工作形狀不同,瓶頸也可能不同。
長度上限、開始回答前的等待、回答速度與同時服務多少人,前面幾節都各自談過卡在哪裡。
這份 cache 是本次生成用的中間狀態。小說送進來,會成為當前計算的上下文;模型的參數要透過訓練更新。兩者保存的東西與生命週期不同。
最後只剩最像閱讀測驗的那一關,看它究竟答對了什麼。
百萬上下文,考的是哪一種閱讀?
回到第一章的鑰匙。
語言模型常見的一張成績單,是困惑度(perplexity),衡量模型對真實文字的下一個 Token 給出多好的機率。LongRoPE 也用長文本的困惑度檢查延伸後的語言建模表現,並比較不同上下文長度。LongRoPE §4.2、Tables 5–7
不過,許多位置的下一個詞,可以靠附近文意預測。我們若特別想知道「最後能不能找回第一章的鑰匙」,就需要直接設計這道題,控制答案藏在哪裡、距離多遠、周圍有多少干擾。
最直接的測法是把一段獨特資訊放進很長的文字,再問模型能不能取回來。LongRoPE 的實驗就包含五位數 passkey 檢索,在大量干擾文字中插入密碼,最後要求找出密碼。
論文的 LongRoPE-LLaMA2-7B(ft=256K),在 4K–2048K 的這組測試維持至少 90% 正確率;每個長度測十次,密碼位置隨機。十次裡答對九次,就是這個設定下的 90%。同圖的 LongRoPE-Mistral-7B(ft=128K),在 2048K 時降到 60%。其中 ft 標記的是微調時設定的上下文視窗;Mistral 這組實際使用的訓練序列是 16K,和前面 LLaMA2 的訓練長度不同。LongRoPE §4.1–4.2、Figure 4
這個結果說明模型確實能從很遠的輸入位置找回某種資訊。
如果鑰匙一直待在抽屜,事情還算單純。現在換個放法。
第一章只寫:「鑰匙放進盒子。」第八章寫:「盒子放進外套。」第十五章寫:「外套交給小美。」最後問:「現在應該找誰拿鑰匙?」
只讀最後一句,我們知道小美拿了外套,卻還不知道這件外套跟鑰匙有什麼關係。得從鑰匙找到盒子,再從盒子找到外套,最後才接到小美。少掉其中一條,這條路就接不起來。
三條獨立線索:鑰匙放進盒子;盒子放進外套;外套交給小美。單點檢索找到盒子;串接三條關係才把鑰匙連到小美,最後一句只提外套。聚合計算三次放入或交付,第一章的放入也計入:1 + 1 + 1 = 3。本文教學算例。
單點檢索問「鑰匙直接放在哪個容器」,第一章就夠了。跨章串接則要保留已找到的關係,接成「鑰匙 → 盒子 → 外套 → 小美」。若改問「這三章總共發生幾次放入或交付」,就把每章的一次操作加起來:1 + 1 + 1 = 3;第一章的放入也計入。這是本文的教學算例。
甚至,同一條線索放在不同位置,結果都可能不同。
Lost in the Middle 做了這種位置對照。下圖是 TACL 正式版 Figure 1:固定一組多文件問答設定,改變「包含答案的文件」在二十份文件中的位置。原論文 Figure 1
從橫軸左邊走向右邊,答案文件逐步從開頭移到結尾;縱軸是問答正確率。紫色曲線是這組 GPT-3.5-Turbo-0613 實驗,紅色虛線則是不提供文件的 closed-book 基線。
先看曲線中間,同樣有答案的文件,放在中間時,模型回答得比較差。這張圖的總長度約 4K,說明的是該模型、該任務下的位置敏感性;百萬長度的模型,需要在自己的實際範圍裡重新檢查。
2024 年的 RULER 把長上下文測試拆得更細,涵蓋不同檢索設定、多步變數追蹤、資訊聚合與問答。前三類採合成任務;問答則取用 SQuAD 與 HotpotQA 的題目,再加入干擾文件控制長度。它在 v1 評估的十個模型、十三項任務中觀察到,簡單找針很好的模型,面對更長輸入或更複雜任務時,仍可能明顯退步。RULER §3–4
把模型宣稱的長度、有效長度,以及右邊各長度的分數放在一起看。
這也解釋了為什麼「一百萬」後面,值得再追問一整句話:
一百萬個 Token,在哪一種任務、哪一種資訊位置、什麼正確率與成本下,可以使用?
Gemini 1.5 Pro 的 2024 年報告,已展示最高千萬 Token 尺度的文字找針與程式碼下一個 Token 預測實驗;其他長文件問答與程式碼任務另有各自的長度與指標。該報告沒有完整公開長上下文的全部實作配方。Gemini 1.5 §2、§4.2
現在,再把那本小說翻開
從 512 拉到一百萬,位置編碼、注意力計算、記憶體與訓練都得跟上。能接受多長的輸入、處理它要花多少成本,以及回答時能用到哪些線索,要分別查清楚。
下次看到規格寫著 1M、2M,先找它用多長的序列訓練,再看實際任務的長度、答案位置、正確率與成本。拿這些條件對照自己的文件,才有辦法估計模型能不能完成手上的工作。
然後,把那本小說翻回第一章:鑰匙在盒子裡,盒子在外套裡,外套交給小美。
哎,這一趟下來真不容易,下次再也不敢了。
