返回博客
一般文章

从 512 到百万 Token:LLM 的上下文窗口是怎么长大的?

上下文上限补几个零,模型就能读完整本书吗?位置要认得、计算要跑得完,最后还得考过阅读测验。百万 Token 背后,每一步都有自己的麻烦。

其实一开始也没什么事,你就是想看个小说。

随着人物越来越多,前面埋过什么伏笔,也开始记不清楚。

于是你想:不如来做个语言模型吧!(并没有)

做文本分类、判断两句话是否相关、从文章里找出答案,这些任务可以共用同一个学习起点。2018 年 10 月 Google 公开的 BERT,就是这条路线上一个重要的文本理解模型,用 Transformer 编码器,把文本转成能供不同任务使用的表示。BERT 原论文

流程分两段,先在大量未标注文本上预训练,再针对特定任务微调。做分类就接上分类输出层,做阅读理解就预测答案在文章中的位置;微调时,任务层与 BERT 的权重一起更新。各个任务可以从同一套预训练权重出发,分别训练自己的模型。BERT §3、Figure 1

GPT 在 BERT 之前,就已采用 Transformer 的预训练与微调。BERT 的关键在于双向预训练,让文本表示同时利用左右文;原论文在十一项自然语言处理任务报告了当时最佳成绩。GPT 原论文 §3、BERT 摘要与 §1

底座准备好了,把一份稍微像样的文档交给标准 BERT,工程师很快就会发现,文档还没看完,512 个 Token 已经用完了。

后来,模型规格开始写 32K、128K、一百万,研究报告甚至做到一千万。数字一路往上长,仿佛当年的问题只是有人忘记把配置文件多补几个零。

如果事情这么简单,GPU 厂商大概会少卖不少显卡。

从 512 到一百万,序列长度增加约 1,953 倍。只是把上限改大,原本的位置参数、注意力计算和训练数据,要怎么一起跟上?

要补上那些零,得先知道原来的 512 锁在哪里。

512 这道门,究竟锁在哪里?

512 Tokens,就是 512 个字吗?还得看分词器怎么切。

Token 是分词器切出的单位,可能是一个字、一段词,也可能是标点。不同分词器对同一段文本的切法可以不同,因此 512 Tokens 不能直接换算成固定的中文字符数。

模型这一次能参考的 Token 范围,通常称为上下文窗口(context window)。对生成式模型来说,提示词、附上的文档,以及已经生成的内容,都可能占用这个范围;产品还可能另外限制输入与输出长度。

文本切成 Token ID 后,模型会把 ID 换成一串数字,称为词元嵌入。这串数字描述内容,位置信息则要另外提供。

BERT 的输入不只包含文本内容,还需要位置。它的标准实现准备了一张可学习的位置嵌入表,位置 0 有一个向量、位置 1 有另一个,依此类推。原版设置准备了 512 个位置,最后一个索引是 511。BERT §3、官方 modeling.py

于是,第 513 个 Token 来了。它需要位置 512 的向量,但原本那张表已经没有这一行。

POSITION TABLE512 个位置,多来一位客人

第 513 个 Token 要用索引 512;原本的位置表到 511 就结束了。

而且,[CLS]、[SEP] 这些特殊符号也占位置。你在门口看到「可容纳 512 人」,工作人员早就在里面占了几个座位。

多加的那些位置,接下来要怎么学?

工程上确实可以改表、初始化新位置,再重新训练或微调。新加的那几行参数还没有学过如何工作;我们同时改动了模型的可用位置与它要面对的数据范围。长度上限改好了,模型仍得适应新位置。

BERT 原作也提到,它有 90% 的预训练步数只使用长度 128,最后 10% 才使用 512,原因之一就是长序列的注意力成本太高。BERT 附录 A.2

所以,512 这个上限同时卡在位置与训练,也卡在运算与内存。我们先解决地址,再回头处理显卡。

BERT 用双向 encoder 读文本、产生表示;常见生成式 LLM 则用带因果掩码的 decoder,根据前文往后生成。它们都得处理长序列带来的位置与计算问题,后面的长上下文模型则各自有自己的架构与训练来源。

把位置表拿掉,地址要怎么记?

先看两句话:「盒子装着钥匙」、「钥匙装着盒子」。用到的词一样,谁包住谁却反过来了。后一句的钥匙,体积大概很惊人。

对没有位置信号、没有因果掩码的自注意力来说,把输入换个排列,对应的输出也会跟着换位。这叫排列等变性,内容相关的运算跟着内容走,模型还缺少「这个词原本坐在哪里」的额外线索。生成式模型的因果掩码会提供可见方向,这里先把它拿开,单独看位置信号的作用。Transformer §3.2–3.5

CONTENT + POSITION同样的词,换个位置
p = 0p = 1p = 2
S1
盒子A—
装着B—
钥匙C—
S2
钥匙C—
装着B—
盒子A—

输入示意:盒子装着钥匙,以及钥匙装着盒子。内容向量 A、B、C 跟着相同词语;加入位置后,盒子在第一句是 A+P0,在第二句是 A+P2。每个短语视为一个示意位置,实际分词可能更细。

图里把三个词组当成三张卡,实际分词可能更细。盒子的内容向量记为 A;换到另一头,还是同一个 A。但它和位置向量结合后,第一句拿到的是 A + P₀,第二句拿到的是 A + P₂。同一个内容,现在有了不同的所在位置。

这就是加法式绝对位置编码的基本做法。词元嵌入 xpx_p 和位置向量 PpP_p 维度相同,相加后送进模型:

x~p=xp+Pp\widetilde x_p=x_p+P_p

位置向量混进输入后,模型通过训练学会使用这组信号;我们没有另外指定某一维,叫它专门保存页码。

BERT 把各位置的向量放在可学习的表里。若要省去逐行学习的位置参数,就得另找产生位置向量的方法。

早于 BERT 的 2017 年 Transformer,就已使用不同频率的正弦与余弦,直接产生位置向量。Transformer §3.5

一个位置,为什么要画成好几条波?

位置本来就是 0、1、2。最容易想到的做法,是把这个整数当作输入。

单一编号只提供一个数值。我们希望模型容易利用的信号,还包括邻近位置如何变化,以及不同尺度的距离。Sinusoidal 编码选择把同一个位置,送进一组变化速度不同的函数。

先只看一对 [sin⁡(pω),cos⁡(pω)][\sin(p\omega),\cos(p\omega)]。p 是位置,ω 决定走一格时相位前进多少。相位先想成波形走到哪里;相位走过 2π 弧度,波形就完成一个周期。ω 大,曲线变化快;ω 小,变化慢。同一个 p,会在各组频率上取出不同数值。

SINUSOIDAL / d_model = 8同一个位置,四个数字
P0[0:4]8 维中的前 4 维
[0]
0.00
[1]
1.00
[2]
0.00
[3]
1.00

八维 Sinusoidal 教学示例,只显示第 0–3 维。位置 0–7 分别在频率 1、0.1 取出 sin、cos;另外四维未绘出。数值由公式计算,显示到小数两位。

光标走完这段范围,快波已经走过一整个周期,慢波还只走了一小段。下方四个数字,就是从两组波形取出的 sin、cos,依序排进向量。这张图使用 dmodel=8d_{\text{model}}=8 的小型示例,只画前四维;另外四维仍属于完整编码。

原论文把每两维配成一组:

Pp,2i=sin⁡(pωi)Pp,2i+1=cos⁡(pωi)ωi=10000−2i/dmodel\begin{aligned} P_{p,2i}&=\sin(p\omega_i)\\ P_{p,2i+1}&=\cos(p\omega_i)\\ \omega_i&=10000^{-2i/d_{\text{model}}} \end{aligned}

i 是第几组,从 0 开始;dmodeld_{\text{model}} 是输入位置向量的总维度。图中的八维设置共有四组,频率依序为 1、0.1、0.01、0.001,图上显示前两组。位置 p 没有变多份,变多的是描述它的尺度。Transformer §3.5

为什么 sin 还要找 cos 作伴?因为只看单一波形,一个数值会出现在许多不同相位;配成一对后,可以一起描述相位。更有用的是三角函数的加角公式。位置一起平移固定步数时,每一对 sin、cos 都能用同一个二维线性变换更新。这提供了模型利用相对位移的结构。Transformer §3.5

加进内容、再经过投影后,哪些位置关系还留在注意力分数里?

知道第几页,和知道隔几页,有什么不同?

模型在小说最后一章找钥匙。「答案在第 3 页」是绝对位置;「答案在我前面 20 页」是相对位置。若整段故事前面多插了一段序,所有页码都会改变,两条线索之间的距离却可以保持。

先认识注意力里的三个角色。每个位置的隐藏向量,经过三组学到的投影,产生 Query、Key、Value:

  • Query(Q):目前这个位置,用来比对其他位置的向量。
  • Key(K):其他位置拿来参与比对的向量。
  • Value(V):关联算好后,用来加权汇总的内容向量。

可以暂时把结尾的问题想成 Q,各段文本的线索标记想成 K,相关内容想成 V。它们实际上都是模型学到的数值向量,没有人工填好的「钥匙字段」。Q、K 用内积产生分数,也就是对应项相乘,再加总。多头注意力安排多组投影与比对;下面先沿一个头看。Transformer §3.2

如果位置先加进内容,Q、K 的内积会把什么混在一起?先把投影暂设为恒等,只留一个数字来算,一边是内容 2、位置 1,另一边是内容 3、位置 4。

ADDITIVE PE / A = 1加进位置,乘出四种交互
x: 内容P: 位置
xn = 3Pn = 4
xm = 22 × 362 × 48
Pm = 11 × 331 × 44
(2 + 1)(3 + 4)= 6 + 8 + 3 + 4 = 21

混合后,内积是 (2+1)(3+4)=21(2+1)(3+4)=21。把乘法展开,四块分别是内容对内容的 6、内容对位置的 8、位置对内容的 3,以及位置对位置的 4。

实际模型还有投影矩阵。把两组投影的合成记作 A=WQ⊤WKA=W_Q^\top W_K,同样可以写出四类交互:

qm⊤kn=(xm+Pm)⊤A(xn+Pn)=xm⊤Axn⏟内容对内容+xm⊤APn⏟内容对位置+Pm⊤Axn⏟位置对内容+Pm⊤APn⏟位置对位置\begin{aligned} &q_m^\top k_n\\ &=(x_m+P_m)^\top A(x_n+P_n)\\ &=\underbrace{x_m^\top Ax_n}_{\text{内容对内容}}\\ &\quad+\underbrace{x_m^\top AP_n}_{\text{内容对位置}}\\ &\quad+\underbrace{P_m^\top Ax_n}_{\text{位置对内容}}\\ &\quad+\underbrace{P_m^\top AP_n}_{\text{位置对位置}} \end{aligned}

所以,检查位置向量本身的性质,只看到了其中一部分。Q、K 的实际分数,还包含内容与位置之间的交互。这个展开也帮助后续研究讨论:位置信息应该放在哪些项里、怎么表示。RoFormer §2.2–2.3、Equation 6

苏剑林的〈让研究人员绞尽脑汁的 Transformer 位置编码〉(2021)整理了这些设计角度,适合延伸阅读。如果想比较更多位置设计,可以接着沿其中引用的原作往下读。

接下来,能不能换一个安排,让位置造成的比对变化,直接通过相对位移进入分数?

2021 年的 RoFormer 提出 Rotary Position Embedding,也就是 RoPE。它先得到 Q、K,再把维度两两分组,依位置旋转每一组二维向量。这里分组的是每个头实际旋转的维度,和前面输入位置向量的维度要分开看。RoFormer §3.1–3.2

用 R(θ)R(\theta) 表示二维旋转。某一组的频率是 ω,位置 m 转 mω,位置 n 转 nω。先固定投影后的内容向量 q、k,只看这一层的旋转。若两个向量一起往回转 mω,内积保持;q 回到原来方向,k 则留下 (n−m)ω 的转角:

(R(mω)q)⊤(R(nω)k)=q⊤R((n−m)ω)k\begin{aligned} & (R(m\omega)q)^\top(R(n\omega)k)\\ &=q^\top R((n-m)\omega)k \end{aligned}

右边出现 n−mn-m。两个位置一起往后移,这个差值保持,旋转带来的相对关系也保持;内容 q、k 仍参与分数。RoFormer §3.2、Equations 13–16

RoPE / q = k = (0,1)两个时钟,同一段相对距离

固定 q=k=(0,1)。两个位置一起移动,间距保持 2;频率 1、0.1 的内积分别保持 cos(2)≈−0.416、cos(0.2)≈0.980。只观察固定内容向量的旋转位置因素。

图里固定 q=k=(0,1)q=k=(0,1),两根指针一样长。位置从 0/2,一起搬到 2/4、4/6,相对距离始终是 2。频率为 1 的那组,旋转后内积维持 cos⁡2≈−0.416\cos 2\approx-0.416;频率为 0.1 的那组,维持 cos⁡0.2≈0.980\cos0.2\approx0.980。绝对位置会变,各组的比对数值却保持。这里只观察固定内容的旋转,完整模型还会更新内容表示。

前面的加法式位置编码,把位置向量加进输入;这里的 RoPE,把位置转成 Q、K 的旋转角。两种方法都提供位置信号,进入计算的地方与数学形式不同。

位置 100,000 也能代入旋转公式。模型接下来会遇到训练时尚未熟悉的位置组合。

指针继续转,模型遇上陌生的位置

假设模型原本只在长度 2,048 的序列上训练。它看过的是这个范围里的位置组合、相对距离,以及这些位置与文本内容共同形成的注意力分数。

现在直接送入 32,768 个 Token。旋转公式照样运行,但模型遇到的距离与角度组合,已经超出原本的训练范围。

这称为长度外推(length extrapolation)。对使用 RoPE 的既有模型,直接把长度拉远,质量可能明显退步。RoPE 的相对位置形式提供了好用的结构,外推质量仍要靠方法与实验确认。

2023 年的 Position Interpolation(PI) 选了一个做法:

既然模型熟悉的是原来那段坐标,那就把新位置压回去。

原位置是 pp,延长倍率是 ss,送进 RoPE 的位置改成:

p′=psp'=\frac{p}{s}

例如,原本只有四个位置 0、1、2、3,现在要容纳八个 Token。直接延长会用 0 到 7;做两倍插值,则改用 0、0.5、1、1.5,一直到 3.5。

等等,3.5 还是比原本最后的位置 3 大。这里的倍率按「窗口长度」计算,8 除以 4 得到 2,因此缩放后的坐标落在 [0,4)[0,4)。原先训练只用过 0、1、2、3 这些整数采样点;PI 加入了中间刻度,也让最后一点落在 3 与 4 之间。模型仍须适应这组变密的位置。

p → p / sToken 增加,位置刻度重新缩放

八个 Token 全部保留,两倍缩放让相邻距离减半;最后坐标是 3.5,超过原本最后的训练采样点 3。

这样一挤,两个 Token 被合成一个了吗?

图中八个 Token 都还在。改动的是送进位置编码的坐标;位置变密了,小说正文仍然完整,注意力也仍然要处理八个位置。

再看原论文的 Figure 1。上方左侧是原本的 2,048 范围,右侧红点直接延伸到陌生位置;下方把新序列的位置采样压回原本范围。这张图画的是位置缩放的概念,纵轴呈现 RoPE 的示意波形。PI Figure 1

原论文 Figure 1;Chen 等人,2023,CC BY 4.0。

这样的安排让模型比较容易适应延长后的序列。PI 在 §3.1 默认使用 1,000 步微调;Tables 1–2 中,LLaMA 7B/13B 从 2,048 延伸到 32,768,33B 的结果列到 16,384,65B 则列到 8,192。PI §3.1–3.2、Tables 1–2

同一时期,llama.cpp 社群也在测试 RoPE 位置缩放,贴出修改代码与困惑度比较;PI 原作引用了这串讨论。llama.cpp 讨论,2023 年 6 月

不过,把八个位置塞进四个位置的刻度,邻居之间的距离也变小了。

如果从 2,048 一路压进上百万个位置,原本用来识别局部差异的刻度,会被挤成什么样子?

地图压得太密,巷口的刻度怎么办?

PI 让所有旋转频率一律承受相同的缩放倍率。

但前面看过,RoPE 的每一组频率,原本就在处理不同尺度的位置变化。把快速旋转的秒针也一起放慢,模型熟悉的近距离差异就跟着变了。

要怎么延长远距离范围,同时保住局部的刻度?

把 RoPE 的频率写开,会更容易看清楚这个差别。常见的形式是 ωi=b−2i/d\omega_i=b^{-2i/d},其中 b 是基底,d 是旋转向量的维度,i 是二维分组的编号。PI 把每组角度都除以 s;改变基底 b,则会让不同 i 承受不同幅度的频率变化。

例如,i 为 0 时,频率是 1,改基底对它没有影响;后面的频率则会随基底变化。这留下了调整空间,可以让最快的变化少受影响,把更多延长需求分配给较慢的部分。YaRN 文中讨论的 NTK-aware 路线,就沿这种非均匀缩放思路前进。YaRN §3.1、附录 A.2

2023 年的 YaRN 继续把这个问题往下拆。它讨论均匀插值对高频信息与局部相对距离的影响,再依频率区域安排不同处理:高频部分尽量保留原本的局部变化,低频部分做插值,中间用平滑过渡连起来;此外还调整注意力分数的缩放。YaRN §3

YaRN 原文也整理了 NTK-aware、NTK-by-parts 等社群探索的脉络。这几种缩放方式都在设法延长远距离范围时,少破坏原本有用的局部位置信息。

2024 年的 LongRoPE 又再追问,除了频率不同,序列开头那些位置,有没有必要照着同一套规则缩放?

作者在实验里观察到两种非均匀性,一是不同 RoPE 维度适合的缩放可以不同,二是序列最前面的一些位置也适合另外处理。于是它把缩放因素与保留原位置的开头范围纳入搜索,再搭配渐进延伸。LongRoPE §2–3

搜索时,LongRoPE 把 PI、NTK、YaRN 对应的缩放方案放进初始候选,再通过变异、交配与筛选,反复比较不同配置的困惑度。这个指标看的是模型对下一个 Token 的预测概率。这个搜索阶段调的是位置配置,权重微调则安排在渐进延长流程里。LongRoPE §3.2、Algorithm 1

POSITION EXTENSION三种位置延伸做法
PI均匀缩放位置
LLaMA · 1,000 步7B/13B → 32K
33B → 16K · 65B → 8K
YaRN依频率区域调整
Llama 2 7B/13B · 64K 训练序列400 + 200 步 → 128K
LongRoPE搜索缩放配置,渐进延长
LLaMA2-7B · 400 + 600 步128K → 256K → 2048K

PI:Tables 1–2 · YaRN:§4 · LongRoPE:§4

以论文中 LLaMA2-7B 的一条流程来看,先在 128K 训练 400 步,再在 256K 训练 600 步,之后对已微调的模型再做位置搜索,延伸至 2048K。最后一段没有再用两百万长度做权重微调。该文的 1K=1,0241K=1,024,因此 2048K 是 2,097,152 Tokens。LongRoPE §3.3–4.1、Table 6

步数也要连同成本看。附录 A.2 记录,这两段微调分别使用 8 张 A100 跑一周、16 张 A100 跑两周;位置搜索另有计算成本。LongRoPE 附录 A.2–A.3

模型训练用过的最长序列,和延伸后接受测试的最长序列,可以不同。看到「支持两百万」,下一步要找的是采用哪种延伸设置、在哪些任务测试,以及各长度的结果。

位置方法也有其他分支。例如 ALiBi 在 softmax 前加入线性距离偏置,每个头使用预先固定的斜率,距离愈远,扣分愈多。PI、YaRN 与 LongRoPE 则在这里处理使用 RoPE 的既有模型。ALiBi §3、Figure 3

坐标安排好了,小说仍然有一百万个 Token。PI 没有删字,RoPE 也没有替我们少算任何一次完整配对。

坐标安排好了,显卡为什么还是爆了?

回到小说最后的问题。这个位置拿出 Q,和前面各个位置的 K 比对,得到分数;分数经过 softmax,变成加权比例,再拿来汇总 V。

一个头通常先算 Q、K 的内积,再除以 d\sqrt d;这里的 d 是 Key 向量维度,用来调整分数尺度。Transformer §3.2.1

S=QK⊤dS=\frac{QK^\top}{\sqrt d}

如果只有四个候选位置,我们可以把这一行已缩放的分数写成 s1,s2,s3,s4s_1,s_2,s_3,s_4。每个位置的权重是:

ai=esi∑jesj,o=∑iaivia_i=\frac{e^{s_i}}{\sum_j e^{s_j}},\qquad o=\sum_i a_i v_i

假设指数化后的相对权重是 1、1、2、4,内容值是 10、20、30、40,先把加权内容加总为 u,再除以总权重,得到输出:

u=1×10+1×20+2×30+4×40=250o=u1+1+2+4=31.25\begin{aligned} u&=1\times10+1\times20\\ &\quad+2\times30+4\times40=250\\ o&=\frac{u}{1+1+2+4}=31.25 \end{aligned}
Q → K → SOFTMAX → V一个 Query,怎么汇总四个位置?
Ksexp(s)αVαV
K1010.125101.25
K2010.125202.5
K3ln 220.25307.5
K4ln 440.54020
Σ81—31.25
s
比对分数
α
归一化权重
αV
加权汇总 V

α = exp(s) / Σ exp(s)

算表从左往右保留每一步,分数 s 取指数,得到 1、1、2、4;除以总和 8,得到归一化权重 α;再乘上各自的 V,得到 1.25、2.5、7.5、20。最后一栏加总,答案就是 31.25。

这是本文的教学数值。实际的 V 是向量,我们先用一个分量看清楚运算;后面讲分块时,会继续用同一组数字。

一个 Q 对四个 K,很轻松。可是在处理整段输入时,每个位置都有自己的 Q,也要和其他位置比对。

如果序列长度是 NN,一个头的完整分数矩阵就有 N×NN\times N 格。Q、K 的形状是 N×dN\times d,内积形成 N×NN\times N,再乘上 N×dN\times d 的 V,得到每个位置的汇总结果。Transformer §3.2、Table 1

N × N长度两倍,配对变四倍
Token 数量FP16
5120.5 MiB
32,7682 GiB
131,07232 GiB
1,000,0001.82 TiB

右表:单层、单头、FP16 完整分数矩阵。

先看小的,4 个位置,配对是 4 × 4,共 16 格。长度变成 8,横向和纵向一起加倍,原来的 16 格只占新矩阵的四分之一。右表再把实际长度换成内存用量,避免把一百万个位置硬塞进一张小图。

当序列长度增加到一百万,只算一层、一个注意力头、一张 FP16 完整分数矩阵,就要 1012×210^{12}\times2 bytes,也就是 2 TB,约 1.82 TiB。

这还没有加上模型权重、Q/K/V、其他层的中间结果、训练梯度与优化器状态。单是其中一张中间大表,就已经需要 2 TB。

从 512 到一百万,长度约增加 1,953 倍,配对数却约增加 381 万倍。所以,位置表补长的参数成本,和注意力矩阵长大的成本,是两个不同量级的问题。

生成式模型会用因果掩码挡住未来位置。这让可见的配对形成三角形;随着 N 增大,配对数仍是平方级。具体内核可以省掉掩码区域的工作,平方成长这件事仍在。

少连几条线,省下哪些成本?

这条路线很合理。小说里的大部分句子,往往先依赖附近的文本;让每个字都和几十万字之外的风景描写算一次关联,未必是最划算的安排。

2020 年的 Longformer 让位置主要连到附近的局部窗口,再让少量指定位置具有全局连接;BigBird 则组合局部、全局与随机连接,让信息有其他跨区域传递的路径。Longformer §3、BigBird §2

DENSE / SPARSE哪些位置,可以连上线?

完整配对时,橘色那一行的 Query 可以连到全部 Key;改成局部加全局连接,它主要看附近几个位置和全局位置;再加入额外稀疏连接,远处也有一些点能接上。图中固定同一个 Query,连接数依序从 16 变成 6,再变成 8。

这张图是连接规则的教学示意。实际方法的窗口、全局位置、随机区块与掩码,要按原论文设置安排。

全局位置会读取整段序列,也供其他位置读取。当局部窗口宽度、全局位置数,以及每个非全局位置额外的随机连接数保持固定,总配对数就随序列长度线性增加。少数全局位置各自仍有 N 条连接;因为这些位置的数量固定,这部分合计也是线性成本。

代价是小说最后的问题若要连到第一章的抽屉,现在得依赖留下的直接连接或多层传递路径。模型需要配合这套连接结构训练,任务也要检查它能否取得需要的信息。

另一个方向是分段接力。2019 年的 Transformer-XL 保留前一段的隐藏状态,让下一段能参考先前片段,并搭配相对位置设计处理跨段位置。Transformer-XL §3

它让前后片段之间有了延续,保存的状态与可用记忆仍有容量。拿小说来看,我们就得检查第一章那个线索,是直接留在目前可参考的状态里,还是需要经过多次传递才能影响最后的答案。

所以,「长序列模型」可以靠改连接、保留状态等不同方法前进。每一条路线都有自己的信息传递方式,评估时要看具体机制。

不过,假设我们希望保留完整注意力的配对,让小说末尾仍能直接对前面的所有位置算分数,有没有其他地方可以省?

这时,研究者把目光从「配对算了几次」,转向「数据究竟搬了几次」。

完整地看,却不存整张大表

一般直接实现注意力时,会先算出 QK⊤QK^\top,把分数矩阵存下来,再做 softmax、存权重,接着乘 V。这个流程很直观,也很容易和课本公式一一对上。

可是,公式写出一个中间矩阵,实现就一定要把整张矩阵同时放在内存里吗?

2022 年的 FlashAttention 从这个地方下手。它关心 GPU 的内存层次结构,也就是容量较大的 HBM,以及芯片上较小、较快的 SRAM。数据从哪里读、在哪里运算、结果又写回哪里,都会影响实际速度。FlashAttention §2–3,NeurIPS 2022 版

想象我们把小说分箱,每次只搬需要的 Q、K、V 分块进来计算。若每一块算完,就能留下足够的统计量,最后合成完整结果,那张 N×NN\times N 的大表就不必整张物化。

但 softmax 的分母,要加总所有候选位置。前半本读完时,我们还不知道后半本有多重要。

现在回到刚才那组数字,权重 1、1、2、4,内容 10、20、30、40。

第一块读到前两个位置,留下两件事:

分子1=1×10+1×20=30分母1=1+1=2\begin{aligned} \text{分子}_1&=1\times10+1\times20=30\\ \text{分母}_1&=1+1=2 \end{aligned}

第二块再留下:

分子2=2×30+4×40=220分母2=2+4=6\begin{aligned} \text{分子}_2&=2\times30+4\times40=220\\ \text{分母}_2&=2+4=6 \end{aligned}

最后把分子相加、分母也相加:

30+2202+6=31.25\frac{30+220}{2+6}=31.25

和一次看完四个位置的结果一致。

FLASHATTENTION分块计算,合并结果

两块都读完:(30 + 220) / (2 + 6) = 31.25,与完整计算一致。

图固定同一行 Q,把分子记作 u、分母记作 ℓ。蓝色 KV₁ 从 HBM 搬进 SRAM,算出 30 与 2;累积值留下,工作区块释放,再换橘色 KV₂ 进来。第二块算出 220 与 6,合并成 250/8 = 31.25。这里只跟踪一行 Q;整层运算还会安排其他 Q 分块与统计量的读写。

那每一块先算好自己的平均,最后再把两块平均起来,行不行?

试算一下,就会得到另一个结果:

15+36.672≈25.83\frac{15+36.67}{2}\approx25.83

答案就错了。第二块的总权重是 6,第一块只有 2,两块不能各分一半票。

合并时必须保留各块的权重总量,才能正确分配它们对输出的贡献。

真正的 FlashAttention 还得处理数值稳定性。直接算指数,分数一大就可能溢出,所以它会维护目前最大的分数;新分块带来更大的最大值时,连同旧分子、旧分母一起重新缩放,再继续累积。FlashAttention Algorithm 1

对每一行 Q 来说,要保留的是这些可更新的统计量与输出累积向量。完整分数矩阵算过就可以放手,训练反向传播再配合重算策略,减少中间结果的保存。

这一招保留完整注意力的数学结果,实际浮点运算仍有精度误差。它改善的是内存使用、HBM 搬运与内核运行效率,完整配对的计算量仍是 O(N2d)O(N^2d)。

后来的 FlashAttention-2 进一步处理 GPU 工作分配与并行化,减少部分非矩阵乘法工作,让硬件利用得更好。FlashAttention-2 §3

省下分数表之后,一百万个 Token 的 Q、K、V、输出与其他层的中间结果仍然很大,平方级配对也仍然很多。接下来,要把工作拆到更大的系统里。

展开技术补充与论文来源

若想确认最大值更新时怎么合并,可把一块的统计量写成 m=max⁡isim=\max_i s_i、ℓ=∑iesi−m\ell=\sum_i e^{s_i-m}、u=∑iesi−mviu=\sum_i e^{s_i-m}v_i。

合并两块时,先取 m′=max⁡(m1,m2)m'=\max(m_1,m_2),再算:

ℓ′=em1−m′ℓ1+em2−m′ℓ2u′=em1−m′u1+em2−m′u2\begin{aligned} \ell'&=e^{m_1-m'}\ell_1\\ &\quad+e^{m_2-m'}\ell_2\\ u'&=e^{m_1-m'}u_1\\ &\quad+e^{m_2-m'}u_2 \end{aligned}

最后的输出为 u′/ℓ′u'/\ell'。前面的例子若第二块带来最大分数 log⁡4\log4,合并后可得到分子 62.5、分母 2,仍为 31.25。实际内核按多行与多维向量一起计算;此处只看一行、一个输出分量。

一张 GPU 忙不过来,那就分工

先看单张设备里还能省什么。

Transformer 除了注意力,后面还有前馈网络(FFN)。FFN 可以各位置分开算,但中间通常会把特征维度放大;若一次保留整段长序列的中间特征,内存压力依然可观。

Blockwise Parallel Transformer(BPT) 把分块注意力和前馈网络接成更完整的分块流程。某些注意力输出区块算好,就接着处理对应 FFN,搭配重算等安排,减少整段中间特征的保存需求。BPT §3、Figure 2

前面 FlashAttention 解开「一层注意力怎么省内存」,BPT 再把视野拉到注意力与 FFN 共同构成的层。

下一步,单张设备的容量与速度还是有限,干脆把序列分给多张设备。

假设小说分成 A、B、C 三大段,三张 GPU 各保管一段。GPU A 拿到自己这一段的 Q,可是要保留完整注意力,它仍需要和其他段的 K、V 比对。

最直接的办法是把其他段全部收集过来。但这样每张设备又得存一份很大的 K、V,分工分到最后,大家的桌面都堆回同一本小说。

Ring Attention 延伸 BPT 的分块思路,让各设备保留自己的 Q,K、V 则沿环状拓扑逐站传递。当前一块在算,下一块的传输可以同时进行;一块处理完,接着读下一块,并累积注意力结果。Ring Attention §3

RING ATTENTIONQ 留在原地,K、V 轮流传递

三张设备的示意:各自保留 Q,经过三轮接触所有 KV 区块;实际算法还会重叠数据传输与计算。

Q 留在各自的设备,绿色的 K、V 区块沿环状路线传递。经过三轮,各设备依序接触所有区块。这里演示传递调度;生成式模型仍要套上因果掩码,处理各 Q 真正允许参考的位置。

为什么 FlashAttention 的分块累积在这里很有用?因为设备收到新 KV 块时,可以更新同一组统计量,继续合并结果,无须先把所有 KV 同时收齐。

多张 GPU 能快多少,取决于每一块的计算时间能不能遮住传输时间。如果计算太短、网络太慢,设备就会花时间等数据。因此 Ring Attention 的通信重叠效果,和区块大小、设备数、带宽及硬件算力一起决定。

序列分散保存、通信与计算重叠,让我们能用多张设备合作处理更长输入;所有允许配对的总运算,仍需要这些设备共同完成。

系统能处理这么长的序列之后,训练数据要让模型学会什么?

机器跑得动了,模型真的练过吗?

先做一个很容易想到的训练数据,拿一万篇互不相关的小文章,接成一条超长序列。

长度够了,位置也跑到远处了。接着要看预测后面的 Token 时,数据究竟提供了什么线索。如果大部分答案仍可从附近几百字取得,模型就有很多机会靠局部信息完成任务。

至于小说最后一章需要回头找第一章、跟踪人物跨章节的变化,则需要数据与训练目标提供这类练习;文档之间的掩码与拼接方式,也会影响哪些位置有机会互相传递信息。

因此,长上下文研究还要安排训练长度、长文档数据与适应流程。位置插值让模型较容易接上新刻度,长序列训练则让模型在那些位置上实际学习。

前面已经看到,LongRoPE 能在较短的权重微调后,再搜索延伸到更长位置。不同方法对长度外推与数据的要求各有安排,研究者需要用实验确认延伸后的表现。

2024 年的 Large World Model(LWM) 把这些系统方法用在长文本与影音模型上。这里先看它的文本模型 LWM-Text 如何延长上下文。

它以 LLaMA-2 7B 初始化,采用 Ring Attention 进行长序列的分布式处理,并用撰写加速器运算内核的工具 Pallas,融合 RingAttention 与 FlashAttention;位置方面则随长度调大 RoPE 基底。论文这组训练实际使用 TPU v4-512。LWM §3.1、Table 1

作者把 LWM-Text 的预训练分成 32K、128K、256K、512K、1M 五个阶段。每个阶段用依长度条件筛选的 Books3 书籍数据,并从前一阶段的模型继续初始化。Table 1 的长度采用二的幂次,最后的 1M 是 1,048,576 Tokens;本文后面的内存算例则取整数一百万。LWM §3.2、Table 1

LWM-TEXT / CHECKPOINTS每一阶段,接着上一阶段练

LLaMA-2 7B → LWM-Text

  1. 32K01
  2. 128K02
  3. 256K03
  4. 512K04
  5. 1M05

每一根箭头,都接续前一阶段的模型权重。

各阶段训练 Token 总量
4.8B12B12B3B1.8B

TPU v4-512 · 1M = 1,048,576 Tokens · Table 1

五个阶段摊开来看,每一根箭头都是接续前一阶段的模型权重。下排列出各阶段实际训练的 Token 总量,32K 阶段读了 4.8B,1M 阶段再读 1.8B。每笔序列有多长,和整个阶段总共读多少 Token,是两个不同的数字。

为什么要渐进?因为最长序列的每一步很贵。若一开始所有更新都用最长序列,固定算力与时间下,能处理的训练数据与更新安排都会受限。先练较短范围、再逐步延长,是这篇研究用来安排训练成本的方法。

长上下文还可能在后面的阶段退步。

Llama 3 的报告指出,模型经过长上下文预训练后,如果直接接上只有短上下文数据的监督式微调,长文能力会受影响。因此,他们加入长文档问答、摘要与代码推理等数据,维持后续的长上下文能力。Llama 3 §4.3.4

同一份报告也描述了 405B 模型从 8K 分六阶段延伸到 128K 的流程,逐步检查当阶段的检索能力与短上下文表现。Llama 3 §3.4.2

我们希望模型读得更远,同时还能好好处理原本那些短问题。LongRoPE 同样另外搜索较短范围的位置配置,尝试恢复短上下文表现;延长的过程,必须一起观察长、短任务。LongRoPE §3.3

现在,假设小说已经读完,模型准备回答「蓝色抽屉」。

开始回答后,哪些计算可以留下来?

生成式模型处理长输入时,可以先分成两段看。

第一段是 prefill,把提示与文档送进去,计算各层的表示,创建后面回答会用到的状态。刚才谈完整分数矩阵、FlashAttention 与长序列分工,和这段的成本密切相关;这些工具也会用于训练等情境。

第二段是 decode,模型逐 Token 产生答案。添加一个位置,就有这个位置的 Q、K、V,并且要参考前面的内容。

在固定模型、固定位置设置的因果注意力里,前面位置看不到未来。因此,当答案多长出一个 Token,先前位置已经算好的 K、V 可以保留使用,这份保存下来的数据就是 KV cache。

为什么叫 KV cache,没有把 Q 也放进名字?因为新位置发问时,用的是它自己的 Q。先前位置的 Q 已经完成当时的输出,之后新位置要参考的只剩那些 K、V。

新位置的 Q 拿去和既有 K 比对,再用权重汇总 V。对这一个新位置来说,是一行对 N 个位置的注意力计算。它省掉前面各位置的重算,但仍要取得那些可参考的 K、V。

于是小说愈长,各层留下的 KV 也愈多。

假设各层保留完整序列、使用相同的 KV 头数与维度,只算一个请求,KV cache 大小可以按下面的项目估算:

2×层数×KV 头数×头维度×Token 数×每值 bytes\begin{aligned} &2\times\text{层数}\times\text{KV 头数}\\ &\quad\times\text{头维度}\times\text{Token 数}\\ &\quad\times\text{每值 bytes} \end{aligned}

最前面的 2,分别是 K 与 V。假设有 32 层、8 个 KV 头、每头 128 维、每值 2 bytes,一百万个 Token 需要约 122.1 GiB;只计 KV,模型权重另外算。

KV CACHE / GQA序列越长,账单越厚

32 层 · 128 维 · 每值 2 bytes

单一请求、32 层、每个 KV 头 128 维、每值 2 bytes,比较 8 与 32 个 KV 头。只计 KV cache,模型权重另计。

同样是一百万个 Token,把 KV 头数从 8 增加到 32,其他条件固定,总量就成为约 488.3 GiB。图中两条内存用量随长度一起增加,32 头那条始终是 8 头的四倍。这是本文选定的教学配置;模型实际用了几层、多少 KV 头与哪种数据类型,需要查它自己的架构。

Grouped-Query Attention(GQA) 让每组 Q 头共用一个 K 头与一个 V 头,减少需要保存与读取的 KV 数量。Query 的头数和 KV 的头数,因而可以不同。这需要相应的模型架构与训练;若要把既有多头模型转成 GQA,原作先把同组各头的 K、V 投影矩阵分别取平均,再追加训练。GQA §2.2–3.1

而服务同时接到很多请求时,还要处理内存分配。有的对话刚开始,有的已经写了好几页,如果都预留一整片连续空间,很容易造成浪费。

PagedAttention 把 KV cache 分成区块,通过逻辑到物理区块的映射管理,改善预留空间、碎片与共用时的拷贝等问题。这是缓存管理层的改进;每个 Token 的 KV 数据量仍由模型架构与数值保存方式决定。PagedAttention §3–4

所以,看一个长上下文系统时,至少要分开量两种时间,整本小说送进去,到第一个答案出现要多久;开始回答后,每秒能继续写多少 Token。

完整因果注意力的 prefill 有平方级的配对工作;使用 KV cache 的单步 decode 则参考先前的 K、V,序列变长也会增加相关读取与计算。两段的工作形状不同,瓶颈也可能不同。

长度上限、开始回答前的等待、回答速度与同时服务多少人,前面几节都各自谈过卡在哪里。

这份 cache 是本次生成用的中间状态。小说送进来,会成为当前计算的上下文;模型的参数要通过训练更新。两者保存的东西与生命周期不同。

最后只剩最像阅读测验的那一关,看它究竟答对了什么。

百万上下文,考的是哪一种阅读?

回到第一章的钥匙。

语言模型常见的一张成绩单,是困惑度(perplexity),衡量模型对真实文本的下一个 Token 给出多好的概率。LongRoPE 也用长文本的困惑度检查延伸后的语言建模表现,并比较不同上下文长度。LongRoPE §4.2、Tables 5–7

不过,许多位置的下一个词,可以靠附近文意预测。我们若特别想知道「最后能不能找回第一章的钥匙」,就需要直接设计这道题,控制答案藏在哪里、距离多远、周围有多少干扰。

最直接的测法是把一段独特信息放进很长的文本,再问模型能不能取回来。LongRoPE 的实验就包含五位数 passkey 检索,在大量干扰文本中插入密码,最后要求找出密码。

论文的 LongRoPE-LLaMA2-7B(ft=256K),在 4K–2048K 的这组测试维持至少 90% 正确率;每个长度测十次,密码位置随机。十次里答对九次,就是这个设置下的 90%。同图的 LongRoPE-Mistral-7B(ft=128K),在 2048K 时降到 60%。其中 ft 标记的是微调时设置的上下文窗口;Mistral 这组实际使用的训练序列是 16K,和前面 LLaMA2 的训练长度不同。LongRoPE §4.1–4.2、Figure 4

这个结果说明模型确实能从很远的输入位置找回某种信息。

如果钥匙一直待在抽屉,事情还算单纯。现在换个放法。

第一章只写:「钥匙放进盒子。」第八章写:「盒子放进外套。」第十五章写:「外套交给小美。」最后问:「现在应该找谁拿钥匙?」

只读最后一句,我们知道小美拿了外套,却还不知道这件外套跟钥匙有什么关系。得从钥匙找到盒子,再从盒子找到外套,最后才接到小美。少掉其中一条,这条路就接不起来。

RETRIEVE / TRACE / AGGREGATE三种问题,用到不同信息

三条独立线索:钥匙放进盒子;盒子放进外套;外套交给小美。单点检索找到盒子;串接三条关系才把钥匙连到小美,最后一句只提外套。聚合计算三次放入或交付,第一章的放入也计入:1 + 1 + 1 = 3。本文教学算例。

单点检索问「钥匙直接放在哪个容器」,第一章就够了。跨章串接则要保留已找到的关系,接成「钥匙 → 盒子 → 外套 → 小美」。若改问「这三章总共发生几次放入或交付」,就把每章的一次操作加起来:1 + 1 + 1 = 3;第一章的放入也计入。这是本文的教学算例。

甚至,同一条线索放在不同位置,结果都可能不同。

Lost in the Middle 做了这种位置对照。下图是 TACL 正式版 Figure 1:固定一组多文档问答设置,改变「包含答案的文档」在二十份文档中的位置。原论文 Figure 1

原论文 Figure 1;Liu 等人,TACL 2024,CC BY 4.0。

从横轴左边走向右边,答案文档逐步从开头移到结尾;纵轴是问答正确率。紫色曲线是这组 GPT-3.5-Turbo-0613 实验,红色虚线则是不提供文档的 closed-book 基线。

先看曲线中间,同样有答案的文档,放在中间时,模型回答得比较差。这张图的总长度约 4K,说明的是该模型、该任务下的位置敏感性;百万长度的模型,需要在自己的实际范围里重新检查。

2024 年的 RULER 把长上下文测试拆得更细,涵盖不同检索设置、多步变量跟踪、信息聚合与问答。前三类采用合成任务;问答则取用 SQuAD 与 HotpotQA 的题目,再加入干扰文档控制长度。它在 v1 评估的十个模型、十三项任务中观察到,简单找针很好的模型,面对更长输入或更复杂任务时,仍可能明显退步。RULER §3–4

把模型宣称的长度、有效长度,以及右边各长度的分数放在一起看。

这是十三项任务的平均;表内下划线标示达到 Llama2-7B 在 4K 的基准分数,并据此计算有效长度。 RULER: What's the Real Context Size of Your Long-Context Language Models? — Table 3, Hsieh, Cheng-Ping et al., CC BY 4.0.

这也解释了为什么「一百万」后面,值得再追问一整句话:

一百万个 Token,在哪一种任务、哪一种信息位置、什么正确率与成本下,可以使用?

Gemini 1.5 Pro 的 2024 年报告,已展示最高千万 Token 尺度的文本找针与代码下一个 Token 预测实验;其他长文档问答与代码任务另有各自的长度与指标。该报告没有完整公开长上下文的全部实现配方。Gemini 1.5 §2、§4.2

现在,再把那本小说翻开

从 512 拉到一百万,位置编码、注意力计算、内存与训练都得跟上。能接受多长的输入、处理它要花多少成本,以及回答时能用到哪些线索,要分别查清楚。

下次看到规格写着 1M、2M,先找它用多长的序列训练,再看实际任务的长度、答案位置、正确率与成本。拿这些条件对照自己的文档,才有办法估计模型能不能完成手上的工作。

然后,把那本小说翻回第一章:钥匙在盒子里,盒子在外套里,外套交给小美。

哎,这一趟下来真不容易,下次再也不敢了。