WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training
- 发表版本
- ICLR 2026会议
- arXiv 首次提交
- arXiv:2507.17634
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{modelmergingwsm2025,
title = {{WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training}},
author = {Changxin Tian and Jiapeng Wang and Qian Zhao and Kunlong Chen and Jia Liu and Ziqi Liu and Jiaxin Mao and Wayne Xin Zhao and Zhiqiang Zhang and Jun Zhou},
year = {2025},
eprint = {2507.17634},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2507.17634}
}
训练大型语言模型,学习率调度一直是个麻烦的设置。
传统的 cosine 调度从一开始就得知道总共要训练多少步,曲线才画得出来;想多训练一些数据,就得从头来过。WSD(Warmup-Stable-Decay)在中间插了一段固定学习率的稳定期,可以随时从稳定期分支出去退火,DeepSeek-V3、ERNIE 4.5 都采用它。
但 WSD 还是有一堆要事先决定的事:什么时候开始退火、退火用多少 token、用哪一种衰减曲线。退火做完之后如果还想再训练,就得退回退火之前的状态,重新规划。

蚂蚁集团 Ling 团队与中国人民大学的这篇论文,想把衰减这一段整个拿掉。学习率预热之后就一直固定,退火的效果改用合并 checkpoint 来取得。他们把这个调度叫做 WSM(Warmup-Stable and Merge)。
定义问题
同一时期,ByteDance Seed 的 PMA 已经发现,在固定学习率阶段平均 checkpoint,分数能接近甚至追上退火后的模型。
但「平均」和「退火」之间是什么关系,一直没有说清楚。平均时每个 checkpoint 该给多少权重?等权平均、指数移动平均,对应的又是什么样的退火?如果能把这层关系写成公式,就能用合并去模拟任何一种已知效果很好的衰减曲线。
解决问题
把合并写成衰减
设有 个依次保存的 checkpoint ,合并后的模型是
这个式子看不出和学习率有什么关系。作者换一种写法,把每个 checkpoint 写成「起点加上之后的更新」。令 是第 步的更新量(已经乘上学习率),,那么
代回合并式,交换两个求和的顺序。第 次更新 ,会出现在所有 的 checkpoint 里,所以
其中 。
这个结果很直观。合并 checkpoint,等于从 出发,把后面每一步的更新乘上一个系数 再加回去。因为 是 的尾端累加,它一定随 递减,这正好就是一条衰减的学习率曲线。
反过来也行。想要某条递减的衰减曲线 ,对应的 checkpoint 权重唯一确定为
这是论文的定理 3.1。
算一次看看
我们用一个小例子把两个方向都走一遍。先看等权平均 5 个 checkpoint 相当于什么衰减,再反过来算 1-sqrt 衰减需要什么权重,最后确认两边的结果真的一样。
import numpy as np
def merge_weights_from_decay(w):
"""定理 3.1:由梯度衰减系数 w_1..w_k 反推 checkpoint 权重 c_0..c_k。"""
k = len(w)
c = np.zeros(k + 1)
c[k] = w[-1]
for j in range(1, k):
c[j] = w[j - 1] - w[j]
c[0] = 1 - w[0]
return c
rng = np.random.default_rng(0)
k = 4
theta_n = rng.normal(size=3)
g = rng.normal(size=(k, 3)) * 0.1 # 固定学习率下的 k 次更新
ckpts = [theta_n - g[:j].sum(0) for j in range(k + 1)] # θ_n, θ_{n+1}, ..., θ_{n+k}
# 1) 平均最近 5 个 checkpoint,相当于哪一种衰减?
c_mean = np.full(k + 1, 1 / (k + 1))
w_equiv = [c_mean[i:].sum() for i in range(1, k + 1)]
print("平均 5 个 checkpoint → 每步更新的有效倍率:", np.round(w_equiv, 2))
# 2) 想要 1-sqrt 衰减,checkpoint 权重该怎么给?
t = np.arange(1, k + 1) / (k + 1)
w_sqrt = 1 - np.sqrt(t)
c_sqrt = merge_weights_from_decay(w_sqrt)
print("1-sqrt 衰减倍率:", np.round(w_sqrt, 3))
print("对应的 checkpoint 权重:", np.round(c_sqrt, 3), " 总和", round(c_sqrt.sum(), 6))
merged = sum(cj * th for cj, th in zip(c_sqrt, ckpts))
decayed = theta_n - (w_sqrt[:, None] * g).sum(0)
print("合并结果与衰减结果的最大差距:", np.abs(merged - decayed).max())
平均 5 个 checkpoint → 每步更新的有效倍率: [0.8 0.6 0.4 0.2]
1-sqrt 衰减倍率: [0.553 0.368 0.225 0.106]
对应的 checkpoint 权重: [0.447 0.185 0.142 0.12 0.106] 总和 1.0
合并结果与衰减结果的最大差距: 1.3877787807814457e-17
第一行说明,等权平均 5 个 checkpoint,等于把之后 4 段更新分别乘上 0.8、0.6、0.4、0.2,就是一条线性衰减。第三行是反推的结果。要模拟 1-sqrt 衰减,最旧的 checkpoint 要给最大的权重 0.447,后面依次递减。最后一行的差距在浮点误差范围内,两种算法得到同一组参数。

论文把四种常见的合并方式都换算成衰减曲线。最有意思的是 EMA。EMA 给新的 checkpoint 比较大的权重,看起来很合理,换算出来却是一条凸的衰减曲线,前面几乎不降,最后才急着往下掉。
WSM 的流程
有了这层对应,WSM 的流程分成三步。
- 预热到峰值学习率,之后一直维持不变。
- 训练到某个时间点,可以把数据换成精选的高质量数据,对应一般「退火数据」的做法。
- 每隔固定 token 数保存一次 checkpoint,另一个异步进程持续取最近 个 checkpoint,依照想模拟的衰减曲线算权重并合并。
训练本身从不中断,合并出来的模型随时可以拿去评估或交付。
作者也比较了离线与在线两种合并。保留全部 checkpoint 的离线合并,可以事后尝试不同的衰减曲线与窗口大小;找到最佳设置后,就能改成只保留最近 个 checkpoint 的在线版本。代价主要是存储空间,作者的实验中 就已经足够。
讨论
实验设置
模型是 Ling-mini,总参数 16.3B、激活参数 1.4B 的 MoE。架构是 1 个稠密层加 19 个 MoE 层,每层 256 个专家选 8 个,外加 1 个共享专家。优化器是 AdamW,峰值学习率 4.78e-4,批量 2048。
起点是一个用固定学习率训练了 10.2T token 的 checkpoint,其中 10T 是一般长度、200B 是长上下文数据。从这里切换到高质量的退火数据,分成两条各训练 400B token:
- WSD:照常衰减学习率。
- WSM:学习率维持不变,每 25B token 保存一次 checkpoint,用等权平均合并最近的几个。
比 WSD 更好

先看灰线和蓝线。灰线是固定学习率下还没合并的 checkpoint,分数一直卡在低处;合并之后的蓝线一下子就跳到红线之上。整体平均图中,红色的 WSD 到 400B 大约 62.7,蓝线多在 63 到 64 之间。
400B 之后的灰色区域是 WSM 的另一个好处。WSD 的衰减在 400B 结束,再训练就要重新规划;WSM 的学习率从来没降过,可以直接接着训练下去。
各取表现最好的 checkpoint 比较,WSM 平均高出 1.3 分。数学、编程、专业知识都有进步,个别基准中 MATH 多 2.7 分、HumanEval 多 2.4 分、MMLU-Pro 多 2.1 分。
这个优势在 SFT 之后也还在。两边的基底模型在相同设置下做 5 个 epoch 的 SFT,WSM 的整体平均是 64.07,WSD 是 62.90;但编程类是例外,WSM 反而低了 0.28 分。
在任何时间点都能预测退火
作者也在整个预训练过程中,每到 2T、4T、6T、8T、10T token 就做一次比较。一边是真的退火 100B token,一边是在前 100B token 内取 4 个 checkpoint 平均。
这次用的是一般预训练数据,不是高质量退火数据,WSM 的优势没那么明显,但两者的分数一路紧紧贴着。所以 WSM 也能拿来当成「退火后会有多好」的预估,不用每次都开一条退火分支。
哪个因素最重要
合并方法。模拟 1-sqrt 衰减的权重、等权平均、EMA 三者比较,整体平均分别是 64.06、63.95、63.01,都高于 WSD 的 62.67。1-sqrt 略胜等权平均,EMA 明显最差。
这和退火的经验一致。作者在 WSD 实验中也发现,凹的 1-sqrt 曲线与线性曲线,比凸的曲线好。EMA 对应的正是凸的衰减。
合并时长。合并窗口涵盖的 token 数越多,表现越好,但进步逐渐变小。这也和退火一样,退火数据加到某个程度之后,再加也没什么用。EMA 则完全看不出窗口大小的影响。
合并粒度。固定合并时长 80B token,比较保存间隔:每 5B 保存一次合并 16 个、每 10B 合并 8 个、每 20B 合并 4 个、每 40B 合并 2 个,整体平均分别是 63.63、63.78、63.36、62.77;只取一个 checkpoint 则是 60.33。粒度越细,越接近连续的衰减曲线,但差距远小于时长造成的差距。
作者因此认为,合并时长是最关键的因素,影响比保存间隔与合并数量都大。
合并加衰减,没有加分
既然合并能模拟衰减,两者能不能叠加?作者试了先衰减再合并,以及先合并再衰减,都没有得到额外的提升。先合并再衰减的模型在一开始比较好,但最后还是追平。
作者的解读是,合并与衰减是通往同一个目标的两条路,彼此可以替代,但无法叠加。
对 MoE 的副作用
最后一个观察是 MoE 的负载均衡。WSM 的模型,专家负载的偏差明显比较小,最大偏差从 0.601 降到 0.545,最小偏差从 0.322 降到 0.201;但语言模型损失略高,0.697 对 0.675。合并让各专家的使用更平均,代价是损失稍微变差,两者对下游分数的影响论文没有进一步拆开。
证据的范围
主要实验只在一个 16B 的 MoE 模型上,起点是一个已经训练了 10.2T token 的 checkpoint。对照的 WSD 用的是作者在附录比较过、效果最好的 1-sqrt 衰减,这让比较更公平;但退火长度只有 400B token 一种,换成其他长度时差距会不会一样大,论文没有交代。摘要里写的 +3.5% MATH、+5.5% MMLU-Pro 是另一种比例计算方式,按百分点计是正文的 2.7 与 2.1。
Ling 团队之后的 Ling 2.0 技术报告也采用了 WSM 调度。
结论
WSM 用一个交换求和顺序的推导,把 checkpoint 合并和学习率衰减接在一起。合并权重的尾端累加就是衰减系数,反过来也能从任何递减的衰减曲线算出合并权重。
实现上,学习率预热后就不再调整,退火交给合并。训练可以一直延续,任何时间点都能取得一个「退火后」的模型,而且在作者的实验中比 WSD 还好一点。
先别急着用 EMA。它看起来最顺手,换算出来却是效果最差的那条凸曲线。