返回论文笔记资料库
arXiv 2025优化器论文笔记

Muon

速通选手转正

原始论文

Muon is Scalable for LLM Training

论文作者

Jingyuan Liu · Jianlin Su · Xingcheng Yao …

查看全部 28 位作者

Jingyuan Liu · Jianlin Su · Xingcheng Yao · Zhejun Jiang · Guokun Lai · Yulun Du · Yidao Qin · Weixin Xu · Enzhe Lu · Junjie Yan · Yanru Chen · Huabin Zheng · Yibo Liu · Shaowei Liu · Bohong Yin · Weiran He · Han Zhu · Yuzhi Wang · Jianzhou Wang · Mengnan Dong · Zheng Zhang · Yongsheng Kang · Hao Zhang · Xinran Xu · Yutao Zhang · Yuxin Wu · Xinyu Zhou · Zhilin Yang

发表版本
正式发表信息尚未核实
arXiv 首次提交
arXiv:2502.16982
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{optimizersmuonscalable2025,
  title = {{Muon is Scalable for LLM Training}},
  author = {Jingyuan Liu and Jianlin Su and Xingcheng Yao and Zhejun Jiang and Guokun Lai and Yulun Du and Yidao Qin and Weixin Xu and Enzhe Lu and Junjie Yan and Yanru Chen and Huabin Zheng and Yibo Liu and Shaowei Liu and Bohong Yin and Weiran He and Han Zhu and Yuzhi Wang and Jianzhou Wang and Mengnan Dong and Zheng Zhang and Yongsheng Kang and Hao Zhang and Xinran Xu and Yutao Zhang and Yuxin Wu and Xinyu Zhou and Zhilin Yang},
  year = {2025},
  eprint = {2502.16982},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2502.16982}
}
本页内容

Muon 是在一场比赛里成名的。

NanoGPT speedrun 是 Keller Jordan 在 GitHub 上维护的公开竞赛。规则是用 8 张 H100,把语言模型训练到 FineWeb 验证集上 3.28 的 loss,比谁用的时间短;3.28 是 Andrej Karpathy 复现 GPT-2 small 时达到的成绩。2024 年 10 月 15 日,Jordan 把优化器从 AdamW 换成自己设计的 Muon,训练速度一下子快了 35%,刷新了纪录。之后两个月,7 位研究者又创下 12 次新纪录,每一次都沿用 Muon。

2024 年 12 月,Jordan 写了一篇博客介绍 Muon 的设计。文章最后列了三个他自己也答不出来的问题:能不能扩展到 200 亿参数、1 万亿 token 以上?Newton–Schulz 迭代能不能分布到大型 GPU 集群上?会不会只适用于预训练,到了微调或强化学习就不行?

两个月后,月之暗面(Moonshot AI,Kimi 的开发商)发布了这份技术报告,回应了前两题和第三题的一部分。他们用 Muon 从头训练了一个 30 亿激活参数、160 亿总参数的 MoE 模型,读了 5.7 万亿 token,取名 Moonlight。

Muon 本身没有论文,所以这篇笔记先从 Jordan 的博客把 Muon 讲清楚,再看月之暗面为了放大规模补了哪两件事,最后看「约 2 倍计算效率」这个主张后来被检验成什么样子。

定义问题

Muon 是什么

Jordan 的定义只有四行(博客的 Algorithm 2):

Gt=∇θLt(θt−1)Bt=μBt−1+GtOt=NewtonSchulz5⁡(Bt)θt=θt−1−η Ot\begin{aligned} G_t &= \nabla_\theta \mathcal{L}_t(\theta_{t-1}) \\ B_t &= \mu B_{t-1} + G_t \\ O_t &= \operatorname{NewtonSchulz5}(B_t) \\ \theta_t &= \theta_{t-1} - \eta\, O_t \end{aligned}

前两行就是 SGD 加动量。差别在第三行,Muon 先把动量矩阵 BtB_t「正交化」,再拿来更新。若 BtB_t 的奇异值分解是 USV⊤USV^\top,正交化就是把它换成 UV⊤UV^\top,方向(UU、VV)保留,所有奇异值都设成 1。NewtonSchulz5 是用五步矩阵乘法近似这件事的程序,后面会拆开来看。

这个操作只对矩阵有意义,所以 Muon 只用在隐藏层的 2D 权重上,例如 Transformer 里的注意力投影与前馈层。标量与向量参数(LayerNorm 的增益、偏置),以及虽然是 2D 的嵌入层和最后的分类头,都交给 AdamW。卷积核则把后三维展平成矩阵。

实现上用的是 Nesterov 式动量,把 μBt+Gt\mu B_t + G_t 送进正交化,动量系数 0.95。博客也记录了 Vlado Boza 的实验,把 Q、K、V 三个投影分开各自正交化,比合成一个矩阵效果好。

为什么要正交化

Jordan 的经验观察是,SGD 动量和 Adam 对 Transformer 2D 权重算出来的更新,条件数都很高,几乎是低秩矩阵。整个更新被少数几个奇异方向主导,其他方向的分量小得可以忽略。他的推测是,那些小方向虽然小,对学习仍然重要,正交化把所有方向拉到一样大,等于放大了这些「少见的方向」。

另一个说法来自 Jeremy Bernstein 与 Laker Newhouse 2024 年的 Old Optimizer, New Norm。他们把优化器看成「在某个范数约束下,沿梯度走最陡的一步」。约束每个坐标的大小(ℓ∞\ell_\infty 范数),最陡的一步就是对梯度取 sign;约束整个矩阵的谱范数(最大奇异值),最陡的一步就是 UV⊤UV^\top。关掉 EMA 的 Adam 会退化成前者,关掉累积的 Shampoo 则刚好是后者。

权重矩阵是作用在隐藏向量上的线性算子,用谱范数衡量它被改了多少比较合理。月之暗面在论文里也采用了这个观点,认为 Muon 的范数约束比 Adam 的更合理。

放大之后会怎样

Muon 在 1.5B 以下的模型上很亮眼。Jordan 用 Muon 把 1.5B 的模型训练到 GPT-2 XL 的 HellaSwag 水平,花了 10 个 8×H100 小时,AdamW 要 13.3 小时。可是这些都是小模型、短训练。

月之暗面把模型和 token 数一放大,就发现 Muon 相对 AdamW 的优势在缩小。这篇论文要找出原因,并让 Muon 在数千亿到数万亿 token 的训练里直接可用,不必另外调参。

解决问题

Newton–Schulz:不做 SVD 的正交化

SVD 能直接算出 UV⊤UV^\top,但在 GPU 上太慢。Shampoo 实现中常用的 coupled Newton 迭代,Jordan 发现要 float32 才稳定,也慢。Newton–Schulz 迭代只用矩阵乘法,在 bfloat16 下就能稳定运行。

我们看一步迭代对矩阵做了什么。设 G=USV⊤G = USV^\top,一步 Newton–Schulz 是

G′=aG+b(GG⊤)G+c(GG⊤)2G=U (aS+bS3+cS5) V⊤G' = aG + b(GG^\top)G + c(GG^\top)^2G = U\,(aS + bS^3 + cS^5)\,V^\top

UU 和 VV 原封不动,只有每个奇异值 σ\sigma 被送进一个五次多项式 φ(σ)=aσ+bσ3+cσ5\varphi(\sigma) = a\sigma + b\sigma^3 + c\sigma^5。迭代 NN 次,就是把 φ\varphi 连续套用 NN 次。

所以只要两个条件成立,迭代就会把矩阵推向 UV⊤UV^\top。

  1. 所有奇异值一开始落在 [0,1][0, 1] 内:先把矩阵除以它的 Frobenius 范数就行,正交化不在乎整体缩放。
  2. 选好系数,让 φ\varphi 反复套用后把 [0,1][0,1] 里的值都推向 1。

(a,b,c)=(2,−1.5,0.5)(a,b,c)=(2,-1.5,0.5) 已经能收敛。但 Jordan 在意的是步数。φ′(0)=a\varphi'(0)=a,aa 越大,很小的奇异值被放大得越快。他还发现,最后的奇异值不必刚好等于 1,落在 0.7 到 1.3 之间,训练的 loss 曲线也不受影响。于是他在这个容许范围内把 aa 尽量调大,用梯度法得到 (3.4445,−4.7750,2.0315)(3.4445, -4.7750, 2.0315),五步就够。

两条曲线比较五步 Newton–Schulz 迭代前后的奇异值,横轴是迭代前的奇异值(对数刻度,0.0001 到 1),纵轴是迭代后的值。蓝线(系数 2、−1.5、0.5)要到 0.05 左右才推到 1 附近,在 1 附近很平稳;橙线(系数 3.4445、−4.7750、2.0315)在 0.003 时就推到约 1.1,之后在约 0.68 到 1.2 之间来回摆动,大致落在 0.7 到 1.3 的容许范围内。
本文整理,按 Keller Jordan 的文章与原论文式 (2) 的两组系数计算。

蓝线是保守的系数,收敛到 1 很干净,但奇异值要有 0.05 左右才推得上去;更小的奇异值五步之后还是很小,正交化没有做完。橙线是 Jordan 调过的系数,小到 0.003 的奇异值也被推到 1 附近,代价是结果在约 0.68 到 1.2 之间摆动。Muon 用的就是这条橙线,它算出来的严格说是「奇异值大致相近」的 US′V⊤US'V^\top。

官方实现(KellerJordan/Muon)就是这几行:

python
def zeropower_via_newtonschulz5(G, steps: int):
    a, b, c = (3.4445, -4.7750,  2.0315)
    X = G.bfloat16()
    if G.size(-2) > G.size(-1):
        X = X.mT                                   # 让 X @ X.mT 是较小的那一边
    X = X / (X.norm(dim=(-2, -1), keepdim=True) + 1e-7)   # 奇异值压进 [0, 1]
    for _ in range(steps):
        A = X @ X.mT
        B = b * A + c * A @ A
        X = a * X + B @ X                          # aX + b(XXᵀ)X + c(XXᵀ)²X
    if G.size(-2) > G.size(-1):
        X = X.mT
    return X

计算成本也不高。一个 n×mn\times m(m≤nm\le n)的矩阵,每步迭代约 2(2nm2+m3)2(2nm^2+m^3) 次浮点运算。Jordan 估算额外开销最多是 Tm/BTm/B,TT 是迭代步数、mm 是模型维度、BB 是每批 token 数。NanoGPT speedrun 的 m=768m=768、B=524,288B=524{,}288,开销约 0.7%;换成 Llama 405B 的 m=16,384m=16{,}384、BB 约 1,600 万,约 0.5%。

第一件事:权重衰减

Jordan 的原版 Muon 没有权重衰减。月之暗面在放大规模时观察到,权重与各层输出的 RMS 会一路变大,最后超出 bfloat16 的高精度范围。他们的解法是加上和 AdamW 一样的解耦权重衰减:

Wt=Wt−1−ηt(Ot+λWt−1)W_t = W_{t-1} - \eta_t\left(O_t + \lambda W_{t-1}\right)

为了确认效果,他们训练一个 8 亿参数的模型读 1,000 亿 token,大约是按他们的 scaling law 推出的最佳 token 数的 5 倍。没有权重衰减的 Muon 一开始收敛得最快,大约在第 24,000 步时领先加了权重衰减的版本 0.023;之后部分权重长得太大,到第 66,000 步反被超前 0.017。加了权重衰减的 Muon 在这段过度训练的区间,同时胜过原版 Muon 与 AdamW。

后来的独立评估也支持这一点。EPFL 的 Semenov 等人在 124M 到 720M 的模型上比较了两种版本,原版 Muon 的表现随模型变大而退步,这篇论文的版本(他们称为 D-Muon)在所有设置下都稳定。

第二件事:让每个矩阵的更新一样大

第二个问题藏在正交化本身。UV⊤UV^\top 的每个奇异值都是 1,它的 Frobenius 范数平方就等于秩 rr。一个 A×BA\times B 的满秩矩阵,秩是 min⁡(A,B)\min(A,B),所以每个元素的均方根(RMS)是

RMS⁡(UV⊤)=min⁡(A,B)A⋅B=1max⁡(A,B)\operatorname{RMS}(UV^\top) = \sqrt{\frac{\min(A,B)}{A\cdot B}} = \frac{1}{\sqrt{\max(A,B)}}

这是论文的 Lemma 1。训练中测到的 Muon 更新 RMS,也确实接近这个理论值。

代入一个隐藏维度 H=2048H=2048 的模型算算看。注意力的 query 投影是 2048×20482048\times2048,更新 RMS 约 1/2048≈0.0221/\sqrt{2048}\approx 0.022;传统 MLP 的第一层是 2048×81922048\times8192,更新 RMS 只有约 0.0110.011,小了一半。在同一个学习率下,不同形状的矩阵每一步实际走的距离不一样。

论文指出了两种会出问题的情况。max⁡(A,B)\max(A,B) 很大的矩阵(例如大型 dense MLP),更新太小,学不动;max⁡(A,B)\max(A,B) 很小的矩阵(例如在 GQA 或 MLA 里把每个 KV head 当成独立参数),更新又太大,训练不稳定。

修正的方法是把每个矩阵的更新乘上 max⁡(A,B)\sqrt{\max(A,B)},抵消 Lemma 1。月之暗面再往前推了一步。Muon 只管矩阵,嵌入层、分类头和 RMSNorm 还是交给 AdamW,两套优化器最好共用同一组学习率与权重衰减。AdamW 的更新 RMS 在他们的经验里大约是 0.2 到 0.4,于是把 Muon 的更新也缩放到这个范围:

Wt=Wt−1−ηt(0.2⋅Ot⋅max⁡(A,B)+λWt−1)W_t = W_{t-1} - \eta_t\left(0.2\cdot O_t\cdot\sqrt{\max(A,B)} + \lambda W_{t-1}\right)

这么一来,每个矩阵的更新 RMS 都是 0.2,Muon 就能直接沿用为 AdamW 调好的学习率和权重衰减。这是论文最实用的一条式子。对应到 Moonlight 的开源示例,只是一行 adjusted_ratio = 0.2 * math.sqrt(max(A, B)),用它放大 Muon 那一项的学习率;权重衰减那一项乘的还是原本的 lr。

0.2 这个数字有实验依据。在一个小模型上训练 2,000 步(约 20 亿 token),把 Muon 的更新 RMS 设成 0.05、0.1、0.2、0.4、0.8,验证 loss 分别是 3.503、3.374、3.325、3.314、3.543,AdamW 是 3.679。0.2 和 0.4 几乎一样好,作者选了 0.2。

另一组实验比较了三种控制 RMS 的做法。为了把形状差异放大,他们把 800M 模型的 SwiGLU 换成 H×4HH\times4H 的两层 MLP,在 4B token 时评估:

做法验证 lossMLP 权重 RMS
一律乘 0.2H0.2\sqrt{H}2.8120.0252
输出直接归一化到 RMS 0.22.7890.0501
乘 0.2max⁡(A,B)0.2\sqrt{\max(A,B)}2.7890.0489

整理自原论文 Table 1。

只看隐藏维度 HH 的第一种做法,在 H×4HH\times4H 的 MLP 上更新只有后两种的一半(4H/H=2\sqrt{4H}/\sqrt{H}=2),loss 也较高。后两种一样好,论文选了成本较低的第三种。

其他超参数照旧。Newton–Schulz 迭代 10 步虽然正交得更准,训练结果并没有更好,所以用 5 步;动量调了也没有一致的增益,维持 0.95。

分布式 Muon

大型训练通常用 ZeRO-1 把优化器状态切分到各个数据并行(DP)节点,每个节点只更新自己那一片参数。这对 AdamW 没问题,它是逐元素运算;Muon 却需要完整的矩阵才能正交化。

论文的 Distributed Muon 在 ZeRO-1 上多加了两步:

  1. 照常把梯度 reduce-scatter 到各节点,用本地那一片动量更新;
  2. 多加:在 DP 组内把更新后的梯度分片 gather 成完整矩阵;
  3. 多加:在完整矩阵上跑 Newton–Schulz,只留下属于自己那一片的结果,应用更新;
  4. 照常 all-gather 参数。

显存方面,Muon 只有一份动量,AdamW 有两份,多出来的优化器显存是分布式 AdamW 的一半。通信方面,多出的 gather 只涉及本地那一片,而且在 bfloat16 下进行,总通信量是分布式 AdamW 的 1 到 1.25 倍。延迟方面,优化器步骤通常只占前向加反向时间的 1% 到 3%,gather 还能和计算重叠。作者说在他们的集群上,看不到明显的延迟差异。

讨论

scaling law:约 2 倍

为了公平,作者先为 AdamW 做了 scaling law 研究。在多个计算预算下改变模型大小与 token 数,找出最佳组合,再对学习率与批量大小做网格搜索,重复两三轮。最后得到 5 个 Llama 架构的 dense 模型,从 399M 到 1.5B(不含嵌入),token 数 8.9B 到 38.9B,学习率 9.5e-4 到 8.3e-4。Muon 因为已经对齐了更新 RMS,直接沿用 AdamW 的最佳超参数。

两条在对数坐标上近似直线的拟合曲线,横轴是训练计算量(0.1 到 10 PFLOP/s-days),纵轴是 8K 序列的语言模型 loss。蓝线 Muon 一直在橙线 AdamW 下方;在 C = 4 处画了一条水平箭头,从 Muon 的点指到 AdamW 达到同样 loss 的位置(约 C = 8),标注 AdamW 要约 2.0 倍计算量。底部注明 C = 0.1 时倍数约 2.3,C = 10 时约 1.9。
本文整理,按原论文 Table 3 的两条拟合式绘制;横轴范围与原论文的 scaling law 图相同,两种优化器的对照实验最大约到 4 PFLOP/s-days。

两条拟合式分别是 Muon L=2.506 C−0.052L = 2.506\,C^{-0.052}、AdamW L=2.608 C−0.054L = 2.608\,C^{-0.054}。论文的结论是,在 compute-optimal 的设置下,Muon 只要约 52% 的训练计算量,就能达到 AdamW 的 loss,也就是约 2 倍的计算效率。

用这两条式子自己算一下,同一个 loss 下的计算量倍数,在 0.1 PFLOP/s-days 时约 2.3 倍,最大实验点附近的 4 PFLOP/s-days 约 2.0 倍,外推到 10 PFLOP/s-days 时降到约 1.9 倍。AdamW 的指数稍大,两条线慢慢靠近。倍数随计算量增加而缩小,这是本文用论文的拟合式算出来的,论文没有讨论。

这组实验还有两个条件要记住。表中的 token 数约是参数量的 22 到 26 倍,接近 Chinchilla 的最佳比例(20 倍),也就是只测了这一种数据量;AdamW 的学习率是在这套 scaling law 流程中选出来的,落在 8e-4 到 1e-3 之间。这两点后来都被拿出来讨论过。

Moonlight:只换优化器的对照

正式模型沿用 DeepSeek-V3-Small 的架构,激活 2.24B、总计 15.29B 参数(含嵌入是 3B/16B),小改了几处,例如去掉了多 token 预测。最长上下文 8K,权重衰减全程 0.1。训练分三段:

  1. 前 33B token:2,000 步内把学习率线性升到 4.2e-4,批量 2,048 条;
  2. 33B 到 5.2T:cosine 从 4.2e-4 降到 4.2e-5,200B token 之后批量翻倍到 4,096 条;
  3. 最后 500B token:学习率先升到 1e-4,再线性降到 0,改用最高质量的数据,以数学、代码与推理为主。

最干净的比较是 Moonlight-A,训练设置完全相同,只把优化器换回 AdamW。两者都取 1.2T token 时的中途 checkpoint 来比较:

评测AdamWMuon
MMLU60.260.4
MMLU-pro26.828.1
BBH45.343.2
HumanEval29.337.2
MBPP49.252.9
GSM8K43.845.0
MATH16.119.8

节选自原论文 Table 4;两者均为 1.2T token、学习率尚未衰减完的中途 checkpoint。

MMLU 几乎一样,BBH 反而是 AdamW 高。差距最大的是代码与数学,HumanEval 多了 7.9 分。作者也特别提到 Muon 在数学与代码上表现突出,原因留给后续研究。

读完 5.7T token 后,Moonlight 的 MMLU 是 70.0;参数规模相同、同样读 5.7T token、用 AdamW 训练的 DeepSeek-V2-Lite 是 58.3,读了 18T token 的 Qwen2.5-3B 是 65.6。这几组来自不同团队、不同数据,只能说 Moonlight 在训练计算量与成绩的取舍上处在前沿,不能当成优化器的对照实验。

训练过程很平稳,没有 loss 或梯度范数的尖峰。附录里有两个细节。第一,某些层的最大注意力 logit 在训练初期一路升到 100 以上,作者写明 AdamW 在控制这个数值上「表现得比较健康」;超过 100 的 logit 只占约万分之一,之后也慢慢降了下来。第二,RMSNorm 的增益参数也要加权重衰减,否则各层输出的 RMS 会变得太大。

更新更分散,权重也是

Muon 让权重往更多方向学习,这个直觉可以量化。作者计算了每个权重矩阵的 SVD 熵:

H(σ)=−1log⁡n∑i=1nσi2∑jσj2log⁡σi2∑jσj2H(\sigma) = -\frac{1}{\log n}\sum_{i=1}^{n}\frac{\sigma_i^2}{\sum_j\sigma_j^2}\log\frac{\sigma_i^2}{\sum_j\sigma_j^2}

奇异值越平均,熵越接近 1;被少数几个奇异值主导,熵就低。在 1.2T token 的预训练过程中,注意力、专家、共享专家、路由器、第一层 dense 等六组权重,每个 checkpoint 上 Muon 的平均 SVD 熵都高于 AdamW;超过 90% 的权重矩阵也是 Muon 的熵比较高。差距最大的是 MoE 的路由器,作者据此推测 MoE 从 Muon 得到的好处更多。

微调时换不换优化器

这是 Jordan 第三个问题的部分答案。作者把 1.2T token 的两个 checkpoint,各用 Muon 和 AdamW 在 Tülu 3 的 SFT 数据上微调两个 epoch:

预训练 → SFTMMLUHumanEvalGSM8K
Muon → Muon55.757.368.0
AdamW → Muon55.353.762.1
Muon → AdamW50.252.464.9
AdamW → AdamW52.053.164.6

节选自原论文 Table 6。

全程用 Muon 最好。但预训练和微调的优化器一旦不同,Muon 就没有明显优势;Muon 预训练、AdamW 微调的 MMLU 甚至最低。拿公开的 Qwen2.5-7B 基座模型分别用 Adam 和 Muon 微调,两者差不多,Muon 的 GSM8K 还低了 4 分(89.8 对 85.8)。作者的结论是,Muon 的好处主要在预训练;这种「预训练与微调优化器不匹配」的现象,他们列为尚未解决的问题。作者也提到,现有的预训练 checkpoint 大多以 AdamW 训练,这种不匹配让它们很难直接从 Muon 得到好处。

后来:Kimi K2 的 QK-Clip

注意力 logit 升高的问题,到了更大的模型上就出事了。2025 年 7 月的 Kimi K2 技术报告写道,他们用原版 Muon 训练一个 9B 激活、53B 总参数的 MoE,最大注意力 logit 很快就超过 1,000;logit 到了这个量级,通常会带来明显的 loss 尖峰,甚至发散。在他们的实验里,这个问题在 Muon 上比在 AdamW 上常见。他们的假设是,Muon 的更新所有奇异值相同、有效秩是满的,比较容易让 WqW_q、WkW_k 的谱范数一起长大。

解法是 QK-Clip。每一步更新完,看每个注意力头在这一批数据里的最大 logit Smax⁡hS_{\max}^h;超过阈值 τ\tau,就把这个头的 WqW_q、WkW_k 一起缩小,缩放因子 γ=τ/Smax⁡h\gamma=\tau/S_{\max}^h 平均分到 query 与 key 两边(各乘 γ\sqrt{\gamma};MLA 的 RoPE 部分另有规则)。它只改权重,不改当步的前向与反向计算,也只动超标的那几个头。

Muon 加上权重衰减、RMS 对齐(就是本篇的式子),再加 QK-Clip,合称 MuonClip。Kimi K2 用它训练了 1 万亿总参数、320 亿激活参数的模型,读了 15.5 万亿 token,τ=100\tau=100,全程没有 loss 尖峰。QK-Clip 只在前 7 万步起作用,期间有 12.7% 的注意力头触发过;之后所有头的最大 logit 都自己降到 100 以下,这道保险就再也没动过。

后来采用 Muon 的不只月之暗面。智谱的 GLM-4.5(2025 年 8 月)除了词嵌入、偏置与 RMSNorm 权重,全部参数都用 Muon,设置直接照搬本篇:5 步迭代、动量 0.95、更新 RMS 缩放到 0.2。DeepSeek-V4 也把大部分参数换成了 Muon;它的注意力在 query 和 KV 上本来就有 RMSNorm,logit 不会爆,所以不需要 QK-Clip。

「2 倍」后来怎么了

2 倍这个数字被重新检验过好几次。

Stanford 的 Wen 等人(2025 年 9 月)对每个优化器都做了完整的超参数扫描,再比较 token 效率。他们测到的 Muon 相对 AdamW,在 130M 到 520M 约 1.3 到 1.4 倍,到 1.2B 降到约 1.1 倍。他们在附录点名了这篇论文的两个条件。一是 AdamW 的学习率偏低,400M 到 1.5B 用 8e-4 到 9e-4,他们调出来的最佳值更高;二是 Moonlight 与 Moonlight-A 的比较取在学习率还没衰减完的中途 checkpoint,而他们的实验显示,Muon 在前期常常大幅领先,衰减阶段会被追上。

Essential AI 的独立研究(2025 年 5 月,100M 到 4B)结论是,Muon 达到同样 loss 需要的 token 比 AdamW 少 10% 到 15%;它的优势在批量放大到远超临界批量时仍然保持,甚至变大。NVIDIA 在 2026 年 7 月用 30B 到 72B 的 MoE、每批 2,500 万 token 以上的设置,也看到 AdamW 在大批量时退化、Muon 撑得住。

综合起来,Muon 的进步是真的,但在调好的 AdamW 面前,token 效率的差距比 2 倍小得多;它更明显的优势在大批量训练。这篇论文当时的 2 倍来自接近 1× Chinchilla、AdamW 学习率偏低的 scaling law;Moonlight 对 Moonlight-A 的比较,则取在学习率还没衰减完的中途 checkpoint。

结论

月之暗面为 Muon 补上了解耦权重衰减,让权重与输出的 RMS 不再一路长大;再乘上 0.2max⁡(A,B)0.2\sqrt{\max(A,B)},让每个矩阵的更新 RMS 都对齐 AdamW 的 0.2。加上 ZeRO-1 式的分布式实现,Muon 在 5.7 万亿 token 的 MoE 预训练上顺利跑完,而且直接沿用了 AdamW 的超参数。约 2 倍的计算效率则要带着条件来读,后来调好基线的研究测到的是 1.1 到 1.4 倍。

想换成 Muon 的话,嵌入层、分类头、LayerNorm 与偏置留给 AdamW,其他 2D 权重交给 Muon;确认你用的实现是哪一种缩放,Moonlight 式的可以直接拿 AdamW 的学习率,Jordan 式的要重新扫。手上是 AdamW 预训练的模型,用 Muon 微调前先小规模试一下。

Jordan 在博客最后写,他不知道 Muon 能不能扩展到 200 亿参数、1 万亿 token。七个月后,Kimi K2 用它训练了 1 万亿参数、15.5 万亿 token 的模型。