Kimi k1.5: Scaling Reinforcement Learning with LLMs
- 发表版本
- 正式发表信息尚未核实
- arXiv 首次提交
- arXiv:2501.12599
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{transformerskimik152025,
title = {{Kimi k1.5: Scaling Reinforcement Learning with LLMs}},
author = {Kimi Team and Angang Du and Bofei Gao and Bowei Xing and Changjiu Jiang and Cheng Chen and Cheng Li and Chenjun Xiao and Chenzhuang Du and Chonghua Liao and Chuning Tang and Congcong Wang and Dehao Zhang and Enming Yuan and Enzhe Lu and Fengxiang Tang and Flood Sung and Guangda Wei and Guokun Lai and Haiqing Guo and Han Zhu and Hao Ding and Hao Hu and Hao Yang and Hao Zhang and Haotian Yao and Haotian Zhao and Haoyu Lu and Haoze Li and Haozhen Yu and Hongcheng Gao and Huabin Zheng and Huan Yuan and Jia Chen and Jianhang Guo and Jianlin Su and Jianzhou Wang and Jie Zhao and Jin Zhang and Jingyuan Liu and Junjie Yan and Junyan Wu and Lidong Shi and Ling Ye and Longhui Yu and Mengnan Dong and Neo Zhang and Ningchen Ma and Qiwei Pan and Qucheng Gong and Shaowei Liu and Shengling Ma and Shupeng Wei and Sihan Cao and Siying Huang and Tao Jiang and Weihao Gao and Weimin Xiong and Weiran He and Weixiao Huang and Weixin Xu and Wenhao Wu and Wenyang He and Xianghui Wei and Xianqing Jia and Xingzhe Wu and Xinran Xu and Xinxing Zu and Xinyu Zhou and Xuehai Pan and Y. Charles and Yang Li and Yangyang Hu and Yangyang Liu and Yanru Chen and Yejie Wang and Yibo Liu and Yidao Qin and Yifeng Liu and Ying Yang and Yiping Bao and Yulun Du and Yuxin Wu and Yuzhi Wang and Zaida Zhou and Zhaoji Wang and Zhaowei Li and Zhen Zhu and Zheng Zhang and Zhexu Wang and Zhilin Yang and Zhiqi Huang and Zihao Huang and Ziyao Xu and Zonghan Yang and Zongyu Lin},
year = {2025},
eprint = {2501.12599},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2501.12599}
}
2025 年 1 月 20 日,DeepSeek 发布 R1,大约一个小时后,月之暗面(Moonshot AI)也发布了 Kimi k1.5。
两个模型想做的事情很像。2024 年 9 月 OpenAI 发布 o1 之后,大家都知道「让模型先想很久再回答」能大幅提升数学与编程的表现,但 OpenAI 没有说怎么做。这两份报告都给出了答案,而且答案相近:用强化学习训练模型写长的思考过程,不需要蒙特卡洛树搜索、不需要价值函数、也不需要逐步评分的过程奖励模型。
不同的是,R1 公开了权重,k1.5 没有,只能通过 Kimi 的产品与 API 使用。这篇报告也没有交代模型的参数量。所以读 k1.5,重点不在模型本身,而在它的训练方法;其中有两件事是 R1 报告没有的:把强化学习的上下文长度扩到 128K,以及一整节讨论怎么把长思考的能力搬回短回答的模型,其中一个方法就是模型合并。
定义问题
预训练的缩放受限于高质量数据的总量。作者想找另一条可以继续扩大的路,让模型通过奖励自己探索,不再只学固定的数据集。
问题的设定很单纯。给定题目 与标准答案 ,模型先写出一段思考过程 ,再给出答案 。奖励 只有 0 或 1。编程题看能不能通过测试,数学题看答案对不对:
作者对「长思考」有一个有意思的观点。传统的推理时搜索,例如树搜索,需要一个评估器去判断哪条路比较有希望,再决定展开哪个节点。但如果把搜索过程中的所有尝试、评估、回头,都写成一段很长的文本,那么一个能写很长的模型,就可以在自己的上下文里隐式地做搜索。
这个观点把问题转成两件事:上下文能拉多长,以及强化学习能不能教会模型好好利用这段长度。
解决问题
先把题目挑好
作者发现,强化学习的成败很大程度取决于题目集。好的题目集要涵盖多种领域、难度分布均匀,而且答案能被准确验证。
难度的估计用模型自己来做。让 SFT 模型用较高的采样温度对每题回答 10 次,通过率越低,题目越难。这也顺便滤掉了太简单的题目。
验证的部分则要防止「猜对」。有些推理题的答案很容易猜,模型可能用错误的推理得到正确的答案,奖励就被骗了。作者排除了选择题、判断题与证明题;一般问答题则先让模型不思考、直接猜 8 次,只要猜中一次,就判定这题太好猜而删除。
长思考的预热
正式做强化学习之前,作者先用提示工程生成一小批高质量的长思考示例,内容刻意包含规划、评估中间步骤、反思修正、尝试其他解法这些行为,再做一轮轻量的 SFT。目的是让模型先学会这种写法,强化学习再去放大它。
策略优化:在线镜像下降
作者用的是在线镜像下降(online mirror descent)的一个变体。第 轮以当前模型 当参考,求解一个带有 KL 正则的问题:
这个问题有闭式解,。两边取对数,可以得到一个对任何样本都要成立的等式,作者再把它写成平方误差的代理损失:
用同一题采样 个回答的平均奖励 近似。对这个损失取梯度,第一项就是以平均奖励为基准的策略梯度,第二项是一个 正则项。
翻成白话:同一题采样 个回答,答对的(奖励高于平均)提高概率,答错的压低概率,同时不要离上一轮的模型太远。每一轮结束后,参考模型换成新的模型,优化器状态也重置。
这套方法没有价值网络。作者的理由很有启发性。假设模型写到一半,下一步可以选一条直接通往正确答案的路,也可以选一条会犯错的路。传统的价值函数会惩罚后者;但只要模型犯错之后能发现并修正,最后仍然答对,这段「犯错再修正」的经验反而是学会长思考最需要的东西。所以作者只看最终答案,不对中间步骤做信用分配。
长度惩罚
强化学习进行时,回答越来越长。表现确实变好,但推理成本也一路上升。作者加了一个长度奖励。
同一题的 个回答中,令最短与最长的长度分别是 min_len 与 max_len,第 个回答的长度奖励是

用一个例子算一次。同一题采样四个回答,长度分别是 1,000、2,000、3,000、4,000 个 token,第三个答错:
def length_reward(lengths, correct):
lo, hi = min(lengths), max(lengths)
if hi == lo:
return [0.0] * len(lengths)
out = []
for n, ok in zip(lengths, correct):
lam = 0.5 - (n - lo) / (hi - lo)
out.append(lam if ok else min(0.0, lam))
return out
lengths = [1000, 2000, 3000, 4000]
correct = [True, True, False, True]
for n, ok, r in zip(lengths, correct, length_reward(lengths, correct)):
print(f"长度 {n:>5} {'答对' if ok else '答错'} 长度奖励 {r:+.3f}")
长度 1000 答对 长度奖励 +0.500
长度 2000 答对 长度奖励 +0.167
长度 3000 答错 长度奖励 -0.167
长度 4000 答对 长度奖励 -0.500
答对的回答中,越短越好;答错的回答不会因为短而得到奖励,但太长一样会被扣分。注意最长的那个答对回答,长度奖励是 −0.5,比答错的那个还低。这没有问题,因为长度奖励是以某个权重加到原本 0 或 1 的正确性奖励上,答对的 1 分仍然主导。
作者也发现长度惩罚会拖慢训练初期的进展,所以先不加,等训练一段时间后才固定加上。
采样策略与奖励模型
题目的采样有两种策略。课程采样先练简单题再练难题,因为一开始模型太弱,花算力在难题上几乎拿不到正确样本。优先采样记录每题的成功率 ,按 的比例抽题,专练模型最弱的地方。
编程题的网络数据常常没有测试用例,作者用模型搭配测试生成库 CYaRon 自动生成。每题先生成 50 个测试用例,用 10 份正确解答验证,至少 7 份结果一致才保留这个用例;整题要有 9 份以上解答通过全部保留下来的用例,才放进训练集。从 1,000 道在线竞赛题目中,最后只收进 323 道。
数学题的难处在于同一个答案可以有很多写法,例如 和 。作者比较了两种奖励模型:一般输出分数的奖励模型,人工抽查的准确率约 84.4%;先写推理过程再判断对错的 CoT 奖励模型,准确率约 98.5%。强化学习用的是后者。
128K 的长上下文与部分展开
让模型在强化学习中写到 128K token 时,一条特别长的回答会霸占采样资源,拖慢整批训练。这是最大的工程问题。
作者的解法叫部分展开(partial rollouts)。每次采样设一个固定的输出长度上限,写不完的回答先存进回放缓冲区,下一轮再接着写。只有当前这一段需要用当前的策略计算,之前的段落直接从缓冲区取用。采样的 worker 是异步运行的,有的在处理长回答,其他的同时处理短回答,资源不会闲置。这套系统也能检测重复内容,提早截断并给予惩罚。
讨论
长思考的成绩
长思考版本的 k1.5,成绩与 OpenAI o1 相当。AIME 2024 是 77.5(o1 是 74.4),MATH-500 是 96.2(o1 是 94.8),Codeforces 是第 94 百分位(与 o1 相同),LiveCodeBench 是 62.5(o1 是 67.2)。视觉方面,MathVista 是 74.9,MMMU 是 70.0。
作者也用一个中型模型观察扩展性。随着训练进行,回答长度与准确率同时上升,越难的评测,长度增加得越陡。
另一个消融比较了模型大小与长思考。用同样的数据训练大小两个模型,大模型一开始表现较好,但小模型通过更长的思考,最后可以追上;不过大模型的 token 效率比较高。若追求最好的表现,扩大大模型的上下文上限更高;若推理预算有限,训练小模型写长一点也是可行的选择。
还有两个消融。与只学习最佳回答、不惩罚错误回答的 ReST 相比,作者的方法样本效率明显较好,可见负向梯度在长思考训练中很重要。课程采样也明显优于均匀采样。
长话短说
长思考很强,但很贵。作者在第 2.4 节比较了四种把长思考的能力搬到短回答模型的方法:
- 模型合并:把长思考模型和短回答模型的权重直接平均,不需要任何训练。
- 最短拒绝采样:同一题采样 8 次,挑最短的正确回答拿来做 SFT。
- DPO:最短的正确回答当作正例,错误的长回答与长度超过正例 1.5 倍的正确回答当作负例。
- 长转短强化学习:挑一个表现与长度平衡最好的模型,再加上长度惩罚、大幅缩短采样长度上限,另外跑一轮强化学习。
结果是第四种的 token 效率最高。短回答版的 k1.5 在 AIME 2024 上平均只用 3,272 个 token,就拿到 60.8 分;GPT-4o 是 9.3,Claude 3.5 Sonnet 是 16.0。MATH-500 上,最短的版本以和其他短回答模型相近的 token 数拿到 88.2 分。
模型合并在这里是有效但不是最好的方法。它的优点是完全不用训练;相较之下,有训练的方法能更精准地控制长度。这个结论也被后来的 Assembly of Experts 引用,用来说明合并在缩短推理上的极限。
读这份报告要注意的事
模型没有开源,参数量与预训练规模也没有公开,报告中的数字无法被第三方验证。长转短的比较只以图呈现 token 效率,各方法的具体数字大多没有列出。多数消融是在较小的模型上做的。
结论
Kimi k1.5 和 DeepSeek-R1 在同一天给出了相近的答案。只靠结果是否正确的奖励,配合足够长的上下文,就能让模型学会长思考,不需要树搜索、价值函数或过程奖励。
k1.5 自己的贡献,是把这条路的工程细节写得很具体:怎么挑题、怎么防猜、怎么在 128K 的长度下有效率地采样、怎么用长度奖励抑制过度思考,以及怎么把长思考压回短回答。
想拿长思考模型做产品的人,只要它和原本的短回答模型来自同一个基底,可以先试试把两者平均一下。不用训练,只是一次权重运算;不够好,再考虑跑一轮长转短的强化学习。