DeepSeek LLM: Scaling Open-Source Language Models with Longtermism
- 发表版本
- 正式发表信息尚未核实
- arXiv 首次提交
- arXiv:2401.02954
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{deepseekdeepseekllm2024,
title = {{DeepSeek LLM: Scaling Open-Source Language Models with Longtermism}},
author = {DeepSeek-AI},
year = {2024},
eprint = {2401.02954},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2401.02954v1}
}
最近 DeepSeek 的新闻闹得沸沸扬扬,连 OpenAI 都忍不住跳出来要说上两句。
既然他们引起了这么大的回响,我们花点时间把他们近年发表的论文都看上一遍。
这篇论文有 48 页,其中有大量的实验数据和技术细节,所以我们挑重点看。
定义问题
开源模型和闭源模型间的性能差距一直是一个热门话题。过去的研究表明,开源模型在大多数基准测试中的表现明显落后于闭源模型,这主要是由于开源模型的规模和资源限制所致。
为了拉近这两者之间的差距,研究团队提出了 DeepSeek LLM 系列模型,这是一系列大小从 7B 到 67B 的开源语言模型。为了训练这些模型,研究团队针对现有的 Scaling Law 提出质疑,认为过去的研究结果不尽然正确,因此他们提出了自己的 Scaling Law,并以此作为整篇论文的主轴,探讨模型规模、数据规模和计算预算之间的关系。
这里我们专注于 Scaling Law 的讨论,并对 DeepSeek LLM 的设计和实验结果进行简要介绍。
解决问题
数据处理策略
研究团队采取「去重 → 筛选 → 混合」的三阶段策略:
-
去重 (Deduplication):
原论文 Table 1:Common Crawl 跨 dump 去重比例。 以整个 Common Crawl 语料库为去重范围。从上表可见,相比只在单个 dump 内去重,跨多个 dumps 去重更彻底,这为模型提供了更多独特的学习样本。
-
筛选 (Filtering):设计严谨的文档质量评估标准,结合语言和语义层面的分析,从局部与全局角度确保数据质量。
-
混配 (Remixing):为解决数据分布不均问题,特别增强低代表性领域的数据,确保数据集更均衡且包容多元信息。
在 Tokenizer 的设计上,研究团队采用 Byte-level Byte-Pair Encoding(BBPE),并利用预分词避免不同字符类别(如换行、标点、CJK 符号)混合;同时,将数字串拆分为单个数字位。词汇表初步设定为 100,000,再加上 15 个特殊 token,并预留额外空间至 102,400,兼顾了模型训练的计算效率与未来扩充的需求。
模型架构设计
模型基本沿袭 LLaMA 架构,采用 Pre-Norm 结构搭配 RMSNorm,以及 SwiGLU 作为 FFN 的激活函数。位置编码采用 Rotary Embedding 方法,增强序列处理能力。
为降低推理成本,67B 模型使用 Grouped-Query Attention(GQA)取代传统的 Multi-Head Attention。
大小两种模型(7B 与 67B)的层数分别为 30 层与 95 层;作者表示这样的设计维持了与其他开源模型相近的参数规模,也方便模型流水线划分。与扩大 FFN 中间层宽度的做法不同,研究团队选择主要通过增加网络深度来扩展 67B 模型参数。
参数配置
模型初始化标准差设定为 0.006,使用 AdamW 优化器:
- weight_decay=0.1
学习率调度器采用多步配置,经过 2000 步的 warmup 后达到峰值,随后在 80% 与 90% 的训练 token 处分别降至最大值的 31.6% 和 10%。该策略允许在固定模型大小下调整训练规模,并能重用前一阶段的训练成果,为持续训练带来便利。整体实验表明,虽然损失下降曲线有所不同,但最终性能与 cosine 调度器基本一致。
梯度裁剪值设定为 1.0,以防止梯度爆炸并稳定训练。
训练采用 HAI-LLM 框架,该框架整合了数据、张量、序列以及管线并行技术,类似于 Megatron 的设计,能有效分摊大规模模型的计算负担。
另外引入 flash attention 技术以提升硬件利用率;利用 ZeRO-1 技术对优化器状态进行分割,进一步降低内存消耗。通过融合部分层(如 LayerNorm、GEMM 及 Adam 更新)加速训练;采用混合精度(bf16 训练、fp32 梯度累积)及原地交叉熵计算以优化内存使用。
模型权重与优化器状态每 5 分钟自动保存,保证在硬件或网络故障时最多损失 5 分钟的训练;同时支持从不同 3D 并行配置中恢复训练,应对计算资源动态变化。
评估策略的部分则是在生成任务中采用 vLLM,而非生成任务则采用连续批次处理,以减少手动调整批次大小和 token 填充问题。
Scaling Laws
超参数配置
研究团队首先在计算预算 下,针对特定模型规模(177M FLOPs/token)进行了 grid search,探索不同批次大小 与学习率 的组合。
根据上图实验结果,研究团队观察到在较广的 与 范围内,论文的验证集损失都维持接近最低值;这里测量的是 bits-per-byte,不能直接当成所有下游任务的表现。这意味着在这个较大参数空间中,都能找到接近最优性能的超参数组合,即「近似最优」参数区域。
为了进一步探索更大计算预算范围(从 到 ),研究团队采用了多步学习率调度器。这种调度器允许在第一阶段训练完成后重复利用已有训练成果,从而高效地训练多组超参数配置的模型。由于参数空间存在冗余,研究团队定义当模型的泛化误差超出最小值不超过 0.25% 时,所使用的超参数可视为「近似最优」的。
经过大量实验与数据拟合,结果显示:
- 最佳批次大小 : 随着计算预算 的增加而逐渐增加。这与直觉一致,即在更多计算资源下,可以采用更大的批次。
- 最佳学习率 : 随着 增加而逐渐下降。也就是说,当模型规模变大、计算预算提高时,需要较低的学习率来保持稳定性。
最后研究团队在论文中给出了以下两个公式来描述这一关系:
这两个公式分别量化了最佳学习率和最佳批次大小与计算预算 的幂律关系。
为了验证这些公式的有效性,研究团队在更大的计算预算 下,以模型规模为 2.94B FLOPs/token 的模型进行验证,实验结果如上图(右),结果表明拟合得到的超参数正好位于最优参数空间的中心位置,进一步验证了公式的准确性。
最佳模型与数据缩放估计
在完成了近似最优超参数公式的拟合之后,研究团队开始研究如何对模型规模与数据规模进行最优分配:
即确定在给定计算预算 下,如何选择最佳的模型规模和数据规模以达到最低的误差。
核心目标是寻找两个幂律关系,其中模型最优规模 与计算预算满足
而数据最优规模 (以数据中 token 数量表示)满足
这里, 和 分别是模型和数据的 Scaling 指数。
早期工作通常用模型参数数量来表示模型规模,计算预算与模型与数据规模的关系近似为
可以用 或 来近似模型规模。但是这两种表示法都没有充分反映注意力运算所带来的计算负担,这两种方法在不同模型规模下可能会出现高达 50% 的误差,特别是在小规模模型上更为明显,这些都会对后续 Scaling 曲线的拟合产生显著的统计误差。
为了克服上述问题,研究团队提出了新的模型规模表示方法 ,其中包含了注意力运算的计算开销,但不包括词汇计算,公式为
其中:
- :层数
- :模型宽度
- :序列长度
采用 后,计算预算可以简化表示为
这使得在不同配置下更容易对模型与数据进行最优分配的估计。
在引入 之后,研究团队将目标明确化为:
在给定 的条件下,寻找最佳每 token 非 embedding FLOPs 与最佳数据 token 数 ,让验证集损失最低。
这可以表示为:
为了降低实验成本与拟合难度,研究团队采用了 Chinchilla 中提出的 IsoFLOP profile 方法:
- 选取 8 个不同的计算预算,范围从 到 。
- 对于每个预算,设计大约 10 种不同的模型与数据规模配置。
- 每个配置的超参数由前述公式确定,并在一个独立的验证集上(包含 100M tokens)计算泛化误差。
利用上述数据,研究团队绘制了 IsoFLOP 曲线与模型/数据 Scaling 曲线:
并最终得到最优模型与数据的 Scaling 公式:
- 其中 。
- 其中 。
根据这些拟合结果,研究团队成功预测了 DeepSeek LLM 7B 与 67B 模型的泛化误差,如下图:
实验结果显示小规模实验的结果可以准确预测 1000 倍计算预算下的模型表现,这为大规模模型训练提供了有力的支持。
数据质量的影响
研究团队选用了三种数据集进行比较分析:
- Early Data: 早期的内部数据。
- Current Data: 目前的内部数据。
- OpenWebText2: 先前研究 scaling laws 时采用的数据集。
比较结果显示目前的内部数据质量优于早期数据,而 OpenWebText2 由于规模较小,可进行更为细致的处理,其数据质量甚至超过了当前内部数据。
利用上一节的 Scaling Laws 公式,研究团队计算了不同数据集下的 Scaling 指数,结果如下表:
具体而言,OpenAI(使用 OpenWebText2)的系数为 与 ;Chinchilla(MassiveText)的系数为 与 ;而在他们自己的数据中,早期内部数据为 ;目前内部数据为 ;另以 OpenWebText2 拟合时则为 。
从这些结果可以看出,随着数据质量的提升,模型扩展指数 会逐渐增大,而数据扩展指数 则会相应减少。在这三组数据及其处理条件下,质量排序与 增加、 减少一致:计算预算增加时,最佳配置相对偏向模型规模。这是样本间的经验关系,不能把数据质量当成唯一因果变量。这同时也解释了早期研究中不同数据集下最优模型与数据分配策略有较大差异的原因。
模型对齐
模型对齐(Alignment)流程的主要目标在于让模型在生成回答时,不仅能够提供有用的信息,同时避免产生有害的内容。
在数据方面,研究团队共收集了约 150 万笔中英文指令数据,涵盖了广泛的主题。其中,有 120 万笔属于有帮助性的数据,其内部分布为:一般语言任务占 31.2%、数学问题占 46.6%、编程练习占 22.2%;另外有 30 万笔数据则专注于安全性议题,包含各类敏感主题。
对齐流程分为两个阶段:
- 第一阶段是监督式微调(Supervised Fine-Tuning, SFT)
- 第二阶段采用直接偏好优化(Direct Preference Optimization, DPO)。
在监督式微调阶段,针对不同模型规模采用了不同的训练 epoch,原因在于后者较容易发生过拟合现象。实验中使用了 GSM8K 和 HumanEval 等基准,发现 7B 模型的表现能持续提升,但 67B 模型则较快达到性能上限。
在第二阶段,即 DPO 部分,研究团队利用直接偏好优化算法进一步增强模型对齐效果。DPO 被证实是一种简单而有效的方法,其核心在于利用偏好数据来调整模型生成回答的方向。
在此阶段,他们分别针对有帮助性与无害性构建了偏好数据。具体做法是先收集涵盖创意写作、问答、指令遵循等多种范畴的多语言提示,然后利用 DeepSeek Chat 模型生成候选回答,并以此构建有帮助性偏好数据;无害性偏好数据则采用相似的流程。
讨论
DeepSeek LLM 的实验结果非常多,我们主要看一下中文 AlignBench 的开放式回答与英文 MT-Bench 的多轮对话评测。
其他部分,感兴趣的读者可以参考原始论文。
中文开放式评测
研究团队针对中英文任务来测试模型的开放式生成能力。
针对中文评测部分,他们采用了 AlignBench 测试集,该测试集涵盖了 8 个主要类别、36 个次要类别,共计 683 个问题。每个问题提供提示、参考答案与评分模板,并由 GPT-4-0613 评分;这是模型评审的结果。
在评测过程中,研究团队使用了 AlignBench 官方 GitHub 代码库来实现模型评测,并严格按照原始设定调整生成温度参数。具体而言,对于角色扮演、写作能力和开放式问题这些任务,生成温度设定为 0.7;而其他任务则设定为 0.1,以确保生成结果既有足够多样性,又能保持稳定。
从 AlignBench 表格可以看出,DeepSeek 67B Chat DPO 的总分为 6.69,高于表列 ChatGPT 的 6.08,低于两个 GPT-4 版本的 8.01 与 7.53。DPO 前后总分由 6.43 升至 6.69,但「逻辑推理」由 5.79 降至 5.41,不能说所有细项都有提升。
细看栏位,DPO 模型的「中文理解」为 7.47,高于表列 GPT-4-1106-preview 的 7.33;但「基本任务」为 7.29,低于后者的 7.99。其数学与逻辑推理分数高于表中多数中文模型,仍低于两个 GPT-4 版本。
英文开放式评测
在英语开放式评测中,研究团队采用了 MT-Bench 这个基准,该基准包含 8 类多轮对话问题,用以比较模型在这些题型上的回答表现。
实验结果显示,DeepSeek LLM 67B Chat 的平均分为 8.35,高于表列 LLaMA-2-Chat 70B、Xwin 70b v0.1 与 TÜLU 2+DPO 70B,接近 GPT-3.5-turbo-0613 的 8.39;这是该基准与表列模型的比较。
此外,应用 DPO 后,平均分由 8.35 升至 8.76,低于表列 GPT-4 的 9.26;不过 Coding 栏由 7.35 降至 6.75,不能把平均提升解读为所有题型都进步。
其他有趣的发现
跑完一整套评估流程之后,研究团队在最后提出了几个有趣的发现:
-
(1)模型安全评估:
原论文 Table 11:Do-Not-Answer 基准分数;部分对照数值引自该基准原文。 首先,研究团队使用「Do-Not-Answer Score」评估模型对 939 个风险提示的安全回答;较高分数代表在这个数据集与评分方式下通过较多测试。
表中 DeepSeek-67B-Chat 得分 97.8,高于 ChatGPT 的 97.7 与 GPT-4 的 96.5,低于 Claude 的 98.3 与 LLaMA-2-7B-Chat 的 99.4。其中 DeepSeek 是论文作者自行重跑,其他数值多沿用基准论文,跨来源比较仍要留意。
-
(2)分阶段微调策略:
在微调过程中,研究团队发现对于较小型模型(例如 7B)而言,长时间在数学与代码数据上进行微调能够提升其专业能力,但可能会损害对话表现,导致回答出现重复现象。
为此,他们提出了分阶段微调的策略:第一阶段使用所有可用数据进行微调;第二阶段则专注于对话数据进行微调。表中第二阶段后 HumanEval 维持 48.2、GSM8K 由 63.9 小降至 63.0,重复率由 2.0% 降至 1.4%,IFEval 由 38.0 升至 41.2;这支持作者在这组 7B 实验中的取舍。
-
(3)选择题数据的影响:
在对齐阶段,研究团队尝试加入 2000 万笔中文选择题数据,以期提升模型在选择题类任务上的表现。
加入选择题数据后,MMLU、C-Eval、CMMLU 分数提高;TriviaQA 维持 57.9,中文问答由 75.0 降至 74.4。这组结果只显示选择题基准的提升未延伸到这两个生成式评测。
因此,为了避免模型过度适应选择题形式而损害整体智能表现,他们最终决定在预训练和微调阶段都不加入选择题数据。
-
(4)预训练阶段的指令数据:
此外,研究团队试验在预训练后期(最后 10%)加入 500 万笔主要以选择题为主的指令数据,观察其对基础模型表现的影响。
结果显示,这样做确实可以提升模型在基准任务上的表现,但最终效果与在监督式微调阶段加入相同数据后几乎没有差异。
因此,若指令数据量相当庞大,预训练中加入也是可行的;不过,由于研究团队倾向排除选择题数据,加上非选择题数据相对有限,故最终决定不在预训练阶段纳入指令数据。
-
(5)系统提示(System Prompt)的影响:
系统提示是用来引导模型生成既有帮助性又有礼貌、正面的回答。
研究团队采用了类似 LLaMA-2 的系统提示,例如明确告知模型「你是 DeepSeek Chat,一个有帮助、尊重且诚实的 AI 助手」,并说明知识截止日期等。
表中 7B 模型加入系统提示后,MT-Bench 分数从 7.15 降至 7.11;67B 模型则从 8.35 升至 8.58。作者推测与模型理解提示的能力及训练/测试不一致有关,但表格未单独验证原因。
结论
DeepSeek LLM 是一套从零开始训练的大型语言模型,基于涵盖中英文共计 2 万亿 tokens 的语料建构而成。论文不仅详细记录了模型训练过程中的超参数选择与 Scaling Laws 校准,还深入比较了多种微调策略,并提出一套兼顾训练效率与资源分配的方法论。
这不只是模型本身的发布,更标志着 DeepSeek-AI 正式进军开源 LLM 的一个重要里程碑。
目前 DeepSeek 系列已发布了多篇核心论文,我们找时间依序读过后续几篇研究,继续深入探索其完整的技术布局与演进路线。