返回论文笔记资料库
arXiv 2021JMLR 2022语言模型与 Transformer论文笔记

Switch Transformer

让专家说话

原始论文

Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

论文作者

William Fedus · Barret Zoph · Noam Shazeer

arXiv 首次提交
arXiv:2101.03961
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{transformersswitchtransformer2021,
  title = {{Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity}},
  author = {William Fedus and Barret Zoph and Noam Shazeer},
  year = {2021},
  eprint = {2101.03961},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2101.03961}
}
本页内容

大语言模型(LLM)的效果好,大家都知道。

但是无脑堆叠参数量的方式,终究会走到尽头。

定义问题

一个想法是走微调路线,就像我们之前看过的 LoRA,但这没有从根本上解决问题。

根本上的问题在于,我们所采用的模型架构是密集型的计算,这导致了高昂的计算成本。

这就算了,自注意力机制随序列长度增加还有 O(n2)O(n^2) 的计算成本;模型规模扩大也会增加训练资源需求,按现有硬件条件更难负担。

另外一个解题方向是专家混合模型(Mixtures of Experts, MoE)。

MoE 不是什么新鲜事。2017 年,Google Brain 就提出了稀疏门控的 MoE 层。

MoE 将模型拆解为多位“专家”,由一个“路由器”依照输入 token 的特性,将该 token 指派给最适合的专家处理。通过这种“稀疏激活”的策略,在不额外增加每笔数据运算量的前提下,大幅提升模型的参数数量。

换句话说,MoE 的目标就是建造一个“体型巨大、但每次运算只启动少部分组件”的模型,期望达到在相同硬件成本下取得更佳性能的目标。

作者认为 MoE 模型采用“top-kk”专家路由策略(k>1k > 1),这虽然有助于让路由器有多专家比较的空间,但也带来了相对复杂的计算与通信成本,这个过程应该可以被简化:

  • 正所谓人多嘴杂,这里的“专家”,只要一个就够了!

解决问题

模型架构

从模型架构图中,可以清楚看到 Switch Transformer 的设计概念:

  1. 传统 FFN 换成稀疏专家层(Switch FFN):

    在一般 Transformer 中,每个 token 都会通过同一组 FFN 权重进行前馈运算。但在 Switch Transformer 中,FFN 被拆解成多个“专家”(Experts),每个专家都是一个独立的 FFN。

  2. 路由器(Router)的作用: 图中显示有一个路由器,它会根据每个 token 的特征(例如输入的单字向量表示),动态地选择该 token 要交由哪一个专家处理。

    • 举例来说,图中有两个 token(x1 = "More"、x2 = "Parameters"),路由器会对这两个 token 分别进行运算并评估,然后将 x1 丢给某位特定专家,将 x2 丢给另一位或同一位专家处理。
  3. 稀疏化特性: 因为每个 token 最终只由其中一个专家 FFN 处理,而 dense FFN 则让所有 token 共用同一组权重,这便是所谓的“稀疏”:虽然整体有多组专家参数,但单个 token 只激活其中一组,运算量不会随专家总数等比例增加。

  4. 输出与路由器权重(Gate Value): 每个 token 经过选定的专家 FFN 后,会乘上一个由路由器产生的“gate value”,这个值类似一个加权因子,用来表示该专家对该 token 的信任度或重要性。

这就是 Switch Transformer 的“多位专家、单一 token 各自分配”的动态路由机制。

专家容量

当我们有多位专家(Experts)来处理一组 batch 的 token 时,我们会事先划定每位专家所能处理的最大 token 数量上限。

这个上限由“专家容量”(expert capacity)决定,它的计算方式是:

expert capacity=total tokens in batchnum experts×capacity factor\text{expert capacity} = \frac{\text{total tokens in batch}}{\text{num experts}} \times \text{capacity factor}

也就是说,每位专家的“slot”数量是固定的,由“容量因子”(capacity factor) 来调整额外的空间。

每个 token 都会经过一个路由器(Router)的计算,根据路由器的几率分布选择最合适的专家处理该 token。理想状况下,token 分配平均,没有专家超过容量;若容量因子大于 1,仍可能保留未用到的空位。

如果某些专家相对于其他专家被分配较多的 token(不均衡分配),就会出现“Overflow”情况。这表示有些 token 想要分给该专家,但该专家的容量已满,这些“溢出”token 就不经该层的专家 FFN,通过残差连接直接传到下一层(上图中的红色虚线表示)。

提高 capacity factor 能预留更多空间,减少 overflow 发生的几率。但相对地,这也代表在有些情况下专家的部分空间可能是空着(图中的白色空格表示没有 token 填满的“padding”),而这意味着更多不必要的计算和通信成本。

因此,Switch Transformer 需要在“专家容量”与“token 路由”之间取得平衡,以达到最佳的性能。

负载平衡损失

为了确保路由器不会老是把 token 丢给同一位专家,Switch Transformer 引入一个可微分的负载平衡损失。

基本概念是让分配到每位专家的 token 数量,以及路由器对该专家赋予的总几率值,都尽可能平均。令 fif_i 为指派到专家 ii 的 token 比例(fraction of tokens),PiP_i 为该专家的平均路由几率值(fraction of probability),即:

fi=1T∑x∈B1{arg⁡max⁡p(x)=i},f_i = \frac{1}{T} \sum_{x \in B} 1\{\arg\max p(x) = i\}, Pi=1T∑x∈Bpi(x).P_i = \frac{1}{T} \sum_{x \in B} p_i(x).

若我们希望所有专家平均分配,那理想状态是 fi≈1Nf_i \approx \frac{1}{N} 且 Pi≈1NP_i \approx \frac{1}{N}。因此定义辅助损失函数:

lossaux=α⋅N∑i=1NfiPi,\text{loss}_{\text{aux}} = \alpha \cdot N \sum_{i=1}^{N} f_i P_i,

其中 α\alpha 是一个超参数(本研究取 α=10−2\alpha = 10^{-2})。当分配越平均,fif_i 与 PiP_i 趋近 1/N1/N,则 fiPi≈1N2f_i P_i \approx \frac{1}{N^2},整体损失越低。

此机制会在训练中提供额外梯度,鼓励模型达到更均匀的负载分配。

改进的训练与微调

Switch Transformer 的稀疏专家模型在训练中可能引发不稳定性,尤其是硬切换路由(hard-switching)决策与低精度格式(如 bfloat16)的使用。

作者提出了两种改进技术:

  1. 选择性精度管理:在路由函数内局部使用 float32 精度,仅在设备本地进行计算,最后再将结果转回 bfloat16。这种方法既保持了 bfloat16 训练的速度,又兼具 float32 的稳定性。
  2. 更小的参数初始化:初始化对深度学习模型的成功与否影响很大。作者建议将 Transformer 初始化比例 s=1.0s=1.0 减少十倍。此策略能提升模型表现并减少早期训练的不稳定性。

此外,为了解决微调阶段的过拟合问题,作者提出了一种简单但有效的方法来缓解此问题:

  • 增加专家层内部的 dropout,又称为“Expert dropout”。

在微调阶段,作者将专家 FFN 的 dropout 提高至 0.4,而非专家层维持 0.1;这在论文测试的四个较小下游任务上改善了表现。

讨论

与密集模型的比较

作者将多语言 Switch-Base 与 FLOPs 相当的 mT5-Base 密集模型比较;上图的负对数困惑度在所有 101 种语言上都较高,表示这组多语预训练实验中的困惑度较低。

通过引入专家稀疏化的 Switch Transformer,在这组多语言预训练设置下,改进并非只局限于个别语种;但上图并未比较所有下游任务,也不是与更大的密集模型比较。

专家数量的影响

作者在论文中讨论几个缩放特性,首先是专家数量对模型表现的影响。

  • 左图:

    • 水平轴代表模型的参数量(主要通过增加专家数达成),
    • 垂直轴是测试损失(Test Loss),数值愈低愈好。

    图中最左上方的点对应 T5-Base(约 2.23 亿参数);其余点随专家数量由 2 增至 256,参数量大幅提升,但每个模型使用的训练计算预算相同。

    结果显示,在这组固定计算预算的实验中,增加专家数可让测试损失持续降低。


  • 右图:

    • 横轴是训练步数(steps)。
    • 纵轴则为负对数困惑度(negative log perplexity),数值愈高代表困惑度愈低(模型性能愈佳)。

    图中将密集模型 T5-Base(紫色线)与 16、32、64、128 位专家的 Switch-Base 比较。结果显示,在相同的训练步数与每个样本相近的 FLOPs 下,Switch-Base 的负对数困惑度较高,也就是这组实验中的“样本效率”(sample efficiency)较好。

综合来看,在论文设置的固定训练步数与计算预算下,增加专家数(进而增加参数量)与更低的测试损失相伴,展现了通过“稀疏专家”方法来扩展模型的效果。

固定计算与训练时间

作者在同样 32 个 TPUv3 核心、每个样本相同 FLOPs 的配置下比较训练结果。

结果显示,如上图,相比于传统的密集 Transformer 来看,Switch Transformer(特别是有 64 位专家的模型)能在更短时间内达到与 T5-Base 相同的品质表现,甚至只需要 T5-Base 所需时间的七分之一即可取得同等困惑度水准。而且在达到该品质门槛之后,Switch Transformer 仍可持续改进模型表现。

模型与数据平行化

作者进一步探讨在大规模训练情境中,如何同时考量“数据并行化”、“模型并行化”及“专家并行化”等多种维度的资源分配策略。

  1. 数据并行化(Data Parallelism): 将训练数据分成多份,每个运算核心(core)都处理不同的一部分数据,但模型的参数在每个核心上都是一样的。每次更新参数前,汇总各核心得到的梯度,再同步更新模型参数。好处是简单,核心不需要在单次前向传播和反向传播的中途交换中间结果;但每次更新仍需同步梯度,而且随着模型变大,单个核心的内存和计算压力还是会越来越大。

  2. 模型并行化(Model Parallelism): 将模型的参数(例如 FFN 中的大型权重矩阵)切分到不同核心,使得每个核心只保存并计算一部分的权重。这样就能训练更大的模型,因为不再需要在单一核心中塞下整个巨大的权重矩阵。代价是,计算过程中核心间需要频繁沟通。例如,FFN 的输入和输出需要在核心之间传递和汇整,因为每个核心只计算一部分的输出。

  3. 专家并行化(Expert Parallelism): 这是 Switch Transformer 的特色之一。将模型的一部分(例如 FFN 层)分成多个“专家(experts)”,每个 expert 在不同核心上运行,并依据路由机制让每个 token 只经过一位专家运算。这样可以在不增加太多计算量的情况下增加参数量。但专家数量增加到某个程度,效益会变小,因此需要搭配数据并行和模型并行来达到最佳的资源使用。

详细的示意图如下:

这张图通过一个 4×4 的虚线网格展示了在分布式训练中,模型权重与数据在不同运算核心间的分割策略,整张图分成上下两部分:

  • 上半部分: 用不同尺寸的形状代表不同大小的 FFN 权重矩阵,相同颜色表示同一组权重。纯数据并行时各核心保有相同权重;模型并行时权重切成各核心持有的片段;专家并行时,不同颜色代表不同专家。图中每个核心的参数量固定,较大的矩阵会增加每个 token 的计算量。

  • 下半部分: 展示数据(token 批量)的切分方式。每个核心保有相同数量的 token,以维持相同的内存用量;相同颜色表示相同的 token,其他颜色则表示不同数据。模型并行的核心会处理相同数据片段,数据并行的核心则分担不同数据片段;专家并行还需要跨核心把 token 送往选中的专家。

通过结合数据并行、模型并行及专家并行,作者训练出 3950 亿参数的 Switch-XXL 与 1.6 兆参数的 Switch-C。表 9 中,Switch-XXL 与 T5-XXL 的每序列 FLOPs 同为 6.3T;Switch-C 则是 890B,两种 Switch 模型在 250K、500K 步的负对数困惑度都高于 T5-XXL。

这些实验显示巨大规模的参数拓展在当时的训练配置下可行,并改善了预训练样本效率。但 Switch-XXL 仍偶尔训练不稳定;作者没有观察到 Switch-C 有同样问题,表示稳定性也与具体架构和计算配置有关。

效果好是因为参数量?

对,作者承认,Switch Transformer 的优势确实来自巨量的参数量:

  • 但这是刻意的设计策略!

在维持相同计算预算下增大参数量能带来更好的样本效率与性能提升。同时,相对于仅依赖增加 FLOPs(计算量)的传统扩展方式,这种方法在固定资源下显示出“用同等时间、相同计算量却得到更好结果”的价值。

小模型能用吗?

作者强调,Switch Transformer 虽然专注于极大规模的模型(上千亿甚至上兆参数),但即使只有少量的专家(例如 2 个),仍能在标准 GPU/TPU 上运行并带来性能增益。换言之,小型或中型规模的研究者与用户也可受益于此方法。

稀疏模型未被广泛采用的原因?

因为过往密集模型的成功,以及硬件对这些密集模型的快速配合与优化,使得尝试稀疏方法的动机减弱。另外,稀疏模型在以往面临许多实现与训练难题(如路由机制复杂性、训练不稳定、核心间通信问题)。

Switch Transformer 的设计在这些方面已有明显改进,减轻了用户采用稀疏模型的门槛。

结论

Switch Transformers 通过简化 Mixture of Experts (MoE) 的设计,实现了一种易于理解、稳定训练且高效利用样本的模型架构。这种简化也降低了实际应用中的实现复杂性。

相较于稠密模型基线,Switch Transformers 在多个自然语言处理任务和不同训练模式下都表现出色,并实现了显著的加速效果。

作者认为“稀疏模型”的应用绝对是值得进一步探讨的方向,希望这项研究能够让更多人关注这个领域。