{"notes":[{"id":"deepseek/deepseek-v3","category":"deepseek","legacyPath":"deepseek/2412-deepseek-v3","legacySlug":"2412-deepseek-v3","legacyPaths":[],"title":"DeepSeek-V3","subtitle":"専門家の遠見","author":"Z. Yuan","paperDate":"2024-12-27","publishedOn":"2025-03-29","paperTitle":"DeepSeek-V3 Technical Report","paperUrl":"https://arxiv.org/abs/2412.19437v2","bibliography":{"title":"DeepSeek-V3 Technical Report","authors":["DeepSeek-AI"],"url":"https://arxiv.org/abs/2412.19437v2","pdfUrl":"https://arxiv.org/pdf/2412.19437v2","codeUrl":"https://github.com/deepseek-ai/DeepSeek-V3","preprint":{"id":"2412.19437","submittedOn":"2024-12-27","url":"https://arxiv.org/abs/2412.19437v2"},"publication":null,"citation":"@misc{deepseekdeepseekv32024,\n  title = {{DeepSeek-V3 Technical Report}},\n  author = {DeepSeek-AI},\n  year = {2024},\n  eprint = {2412.19437},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.19437v2}\n}\n","citationPath":"/content/papers/citations/deepseek/deepseek-v3.be22b3ba4d67.bib"},"thumbnail":{"src":"/content/papers/assets/b8d2616142a70acbc98edf7ed2c61027966273f0bce6cfff57a8969c007b3c05.jpg","width":1224,"height":560},"locale":"ja","path":"/content/papers/ja/deepseek/deepseek-v3.9e4c58f2ff50.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"補助損失なしの戦略","text":"補助損失なしの戦略","depth":3},{"id":"multitoken-prediction","text":"Multi‑Token Prediction","depth":3},{"id":"infrastructures","text":"Infrastructures","depth":2},{"id":"事前訓練","text":"事前訓練","depth":2},{"id":"事後訓練","text":"事後訓練","depth":2},{"id":"監督付き微調整sft","text":"監督付き微調整（SFT）","depth":3},{"id":"強化学習rl","text":"強化学習（RL）","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"deepseek/deepseek-v2","relation":"background","topic":"DeepSeek 言語モデルと推論の学習"},{"id":"deepseek/deepseek-r1","relation":"next","topic":"DeepSeek 言語モデルと推論の学習"}]},{"id":"deepseek/deepseek-v2","category":"deepseek","legacyPath":"deepseek/2405-deepseek-v2","legacySlug":"2405-deepseek-v2","legacyPaths":[],"title":"DeepSeek-V2","subtitle":"開源節流","author":"Z. Yuan","paperDate":"2024-05-07","publishedOn":"2025-03-27","paperTitle":"DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model","paperUrl":"https://arxiv.org/abs/2405.04434v5","bibliography":{"title":"DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model","authors":["DeepSeek-AI"],"url":"https://arxiv.org/abs/2405.04434v5","pdfUrl":"https://arxiv.org/pdf/2405.04434v5","codeUrl":"https://github.com/deepseek-ai/DeepSeek-V2","preprint":{"id":"2405.04434","submittedOn":"2024-05-07","url":"https://arxiv.org/abs/2405.04434v5"},"publication":null,"citation":"@misc{deepseekdeepseekv22024,\n  title = {{DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model}},\n  author = {DeepSeek-AI},\n  year = {2024},\n  eprint = {2405.04434},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.04434v5}\n}\n","citationPath":"/content/papers/citations/deepseek/deepseek-v2.2792b9f48a76.bib"},"thumbnail":{"src":"/content/papers/assets/0c5c924a685f79d8a0037fb9862aa1358d05058a19ab295c1b1983dae491355d.jpg","width":1224,"height":984},"locale":"ja","path":"/content/papers/ja/deepseek/deepseek-v2.86141448211f.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"multi-head-latent-attention","text":"Multi-head Latent Attention","depth":3},{"id":"解耦旋回位置埋め込み","text":"解耦旋回位置埋め込み","depth":3},{"id":"deepseekmoe","text":"DeepSeekMoE","depth":3},{"id":"補助バランス損失","text":"補助バランス損失","depth":3},{"id":"訓練戦略","text":"訓練戦略","depth":3},{"id":"モデルのアライメント","text":"モデルのアライメント","depth":2},{"id":"討論","text":"討論","depth":2},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/mixtral","relation":"background","topic":"疎なエキスパートへのトークン割り当て"},{"id":"deepseek/deepseek-llm","relation":"background","topic":"DeepSeek 言語モデルと推論の学習"},{"id":"deepseek/deepseek-v3","relation":"next","topic":"DeepSeek 言語モデルと推論の学習"}]},{"id":"deepseek/deepseek-r1","category":"deepseek","legacyPath":"deepseek/2501-deepseek-r1","legacySlug":"2501-deepseek-r1","legacyPaths":[],"title":"DeepSeek-R1","subtitle":"強化学習が生んだ「ひらめき」","author":"Z. Yuan","paperDate":"2025-01-22","publishedOn":"2025-03-31","paperTitle":"DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning","paperUrl":"https://arxiv.org/abs/2501.12948v1","bibliography":{"title":"DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning","authors":["DeepSeek-AI"],"url":"https://arxiv.org/abs/2501.12948v1","pdfUrl":"https://arxiv.org/pdf/2501.12948v1","codeUrl":"https://github.com/deepseek-ai/DeepSeek-R1","preprint":{"id":"2501.12948","submittedOn":"2025-01-22","url":"https://arxiv.org/abs/2501.12948v1"},"publication":{"venue":"Nature","year":2025,"kind":"journal","url":"https://www.nature.com/articles/s41586-025-09422-z"},"citation":"@misc{deepseekdeepseekr12025,\n  title = {{DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning}},\n  author = {DeepSeek-AI},\n  year = {2025},\n  eprint = {2501.12948},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2501.12948v1}\n}\n","citationPath":"/content/papers/citations/deepseek/deepseek-r1.1df3d580ff8d.bib"},"thumbnail":{"src":"/content/papers/assets/23ea9f9efbc020b384d34bb3fd93bd5866d4c4b7f8bae097a29c5bb658c79d5b.jpg","width":932,"height":616},"locale":"ja","path":"/content/papers/ja/deepseek/deepseek-r1.3efff49b42e6.md","headings":[{"id":"問題設定","text":"問題設定","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"deepseek-r1-zero","text":"DeepSeek-R1-Zero","depth":3},{"id":"deepseek-r1","text":"DeepSeek-R1","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"評価結果","text":"評価結果","depth":3},{"id":"蒸留と強化学習の比較","text":"蒸留と強化学習の比較","depth":3},{"id":"失敗した試み","text":"失敗した試み","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"deepseek/deepseek-v3","relation":"background","topic":"DeepSeek 言語モデルと推論の学習"}]}],"text":"あっという間に第三世代に達しました。\n\n以前の研究チームが行ってきたことを簡単に振り返ってみましょう。\n\n## 問題の定義\n\n第一世代、つまり DeepSeek LLM は LLaMA アーキテクチャを採用し、独自のスケーリング法則を提案しました。何度かのテストを経て、最適な式をフィッティングしました。\n\n第二世代、つまり DeepSeek-V2 は前世代の成果を基に、DeepSeekMoE アーキテクチャとマルチヘッド潜在注意機構（MLA）を導入し、素晴らしい結果を得ました。\n\n今、もちろん過去の成功を継承する必要があります。\n\n研究チームは第三世代のアーキテクチャでV2 の総パラメータ 236B・活性化 21B から、V3 の 671B・37B へ拡大しました。総量は約 2.8 倍、活性化量は約 1.8 倍です。\n\nただし、単に規模を拡大するだけでは論文としての新しい価値はありません。もっと何かを加えなければなりません。\n\nそのため、この論文ではいくつかの新しい改善点が提案されています。\n\n1. 専門家システムをより安定させるために、補助的な損失関数戦略を調整する。\n2. 各トークンの情報密度を圧縮するために、より多くの予測ターゲットを提供する。\n3. 訓練に FP8 混合精度を導入し、より効率的な並列化アルゴリズムを実現する。\n\n以前と同様の部分については繰り返しませんので、これらの改善点に関する詳細を見ていきましょう。\n\n\n> [!TIP]\n> \n> 前世代のモデル技術の詳細について知りたい方は、以下のノートを参考にしてください：\n> \n> - [**[24.01] DeepSeek LLM: 新しいモデルスケーリング法則**](/blog/papers/deepseek/deepseek-llm)\n> - [**[24.05] DeepSeek-V2: オープンソースで効率化**](/blog/papers/deepseek/deepseek-v2)\n\n\n## 問題の解決\n\nDeepSeek-V3 の全体アーキテクチャは引き続き Transformer を基盤にしていますが、訓練コストと推論効率を最適化するために、主に MLA と DeepSeekMoE の 2 つのモジュールにおいて改良が加えられています。\n\n1. **マルチヘッド潜在注意（MLA）**：低ランク圧縮を用いて、キー・バリュー（KV）キャッシュのメモリ消費を削減します。\n2. **DeepSeekMoE と補助損失なしの戦略**：細粒度な専門家分岐アーキテクチャを利用し、動的調整メカニズムを設計して各専門家の負荷バランスを維持します。ただし、単一系列内の極端な偏りを避けるため、係数が非常に小さい**系列単位**の補助損失は残します。\n\nMLA は推論効率を向上させ、DeepSeekMoE は訓練コストを削減します。\n\nこれらの 2 つの部分は DeepSeek-V2 で既に見たことがあるので、ここでは触れません。\n\n---\n\n今回注目したいのは、補助損失なしの戦略です。\n\nDeepSeek-V2 では、「補助損失戦略」について詳しく説明されていました。伝統的な MoE モデルは、ルーティングの不均衡（routing collapse）を避けるために補助損失を使用しますが、過度な補助損失はモデルのパフォーマンスに悪影響を与え、調整には経験が必要です。\n\n半年後、この論文では研究チームが「これ、もう使わない！」と言っています。\n\n### 補助損失なしの戦略\n\n原文では Auxiliary-Loss-Free Load Balancing と呼ばれています。\n\n補助損失なしの戦略では、各専門家にバイアス項 $b_i$ を追加し、それを対応する親和性（affinity）スコアに加えて、Top-$K_r$ ルーティングを決定します：\n\n$$\ng'_{i,t} =\n\\begin{cases}\ns_{i,t}, & s_{i,t} + b_i \\in \\text{Topk}(\\{ s_{j,t} + b_j \\,|\\, 1 \\le j \\le N_r \\}, K_r), \\\\\n0, & \\text{otherwise}.\n\\end{cases}\n$$\n\nこのバイアス項はルーティング決定にのみ使用され、ゲート値には元の $s_{i,t}$ を用い、選ばれた専門家の親和性スコアを正規化します。\n\n各訓練ステップ終了時に、バッチ全体で各専門家の負荷を調べ、過負荷なら $b_i$ を $\\gamma$ 減少させ、負荷が不足していれば $\\gamma$ 増加させます（$\\gamma$ はバイアス更新速度の超パラメータ）。最後の 500B 訓練 token では $\\gamma=0$ とし、バイアスの更新を止めます。\n\n主となる batch 単位の負荷均衡に大きな補助損失は使わず、主目的への干渉を減らします。ただし次に述べる小さな系列単位の損失は残ります。\n\n極端な不均衡を防ぐために、研究チームはシーケンスレベルでの補助損失も導入しました：\n\n$$\nL_{Bal} = \\alpha \\sum_{i=1}^{N_r} f_i P_i\n$$\n\nここで：\n\n$$\nf_i = \\frac{N_r}{K_r T} \\sum_{t=1}^{T} 1\\{ s_{i,t} \\in \\text{Topk}(\\{ s_{j,t} \\,|\\, 1 \\le j \\le N_r \\}, K_r) \\}\n$$\n\n$$\ns'_{i,t} = \\frac{s_{i,t}}{\\sum_{j=1}^{N_r} s_{j,t}}\n$$\n\n$$\nP_i = \\frac{1}{T} \\sum_{t=1}^{T} s'_{i,t}\n$$\n\n- $T$ はシーケンス中のトークンの数、\n- $1(\\cdot)$ は指示関数、\n- $\\alpha$ は非常に小さな超パラメータ。\n  この損失は、各シーケンス内で専門家のルーティング分布がバランスを保つことを促進します。\n\nノード間通信コストを削減するために、各ノードに配置された専門家の親和性スコアのうち、上位 $K_r/M$ 個を合計します。その合計に基づいてノードを選び、各 token の送信先を最大 $M$ ノードに制限します。\n\n最終的に、負荷バランス戦略が有効であるため、DeepSeek-V3 は訓練および推論時にトークンを捨てることなく動作します。\n\n\n> [!TIP]\n> \n> **従来の方法**：専門家レベル、デバイスレベル、通信バランス損失を通じて、各専門家間の活性化頻度と親和性スコアのバランスを維持しますが、これらの損失には追加の超パラメータ調整が必要です。\n> \n> **本論文の方法**：各訓練ステップ終了時に、専門家の負荷状況に応じて動的にバイアス項 $b_i$ を更新します。過負荷の専門家には $b_i$ を減少させ、不足している専門家には $b_i$ を増加させます。この調整により、ルーティングがより均衡を取ることができ、batch 単位の均衡は偏置で担います。系列単位には別の小さな損失があります。\n\n\n### Multi‑Token Prediction\n\n\n\n![mtp_arch](/content/papers/assets/b8d2616142a70acbc98edf7ed2c61027966273f0bce6cfff57a8969c007b3c05.jpg)\n\n\n\nDeepSeek-V3 は、新しい訓練目標を導入し、モデルが各位置で順番に複数の未来のトークンを予測できるようにしました。\n\nこの戦略には 2 つの主な利点があります：\n\n- **訓練信号がより密集している：** 各位置で複数の予測目標が同時に生成されるため、データの利用効率が向上します。\n- **先を見越した表現：** 著者は、段階的な予測によって後続の token に役立つ表現を学べる可能性があると考えています。\n\n従来の文献で使用されている並列独立出力ヘッドとは異なり、MTP は逐次予測の方法を採用し、各予測深度で完全な因果関係を維持します。\n\n一般形の MTP は $D$ 個の逐次モジュールで構成され、各モジュールは 1 つの追加 token を予測し、主モデルと埋め込み層および出力ヘッドを共有します。DeepSeek-V3 の実設定は $D=1$ で、通常の次 token に加えて、もう一つ先の token を予測します。各 MTP モジュールは以下の要素を含みます：\n\n- **共有埋め込み層 Emb(·)：**\n  主モデルと共有され、トークンの埋め込み表現を取得します。\n\n- **共有出力ヘッド OutHead(·)：**\n  Transformer モジュールの出力を logits にマッピングし、Softmax で予測確率に変換します。\n\n- **Transformer ブロック $TRM_k(\\cdot)$：**\n  第$k$予測深度で情報をさらに処理します。\n\n- **投影行列 $M_k \\in \\mathbb{R}^{d \\times 2d}$：**\n  前の層の表現と未来のトークンの埋め込みを線形に組み合わせて、$d$次元空間に戻します。\n\n第$i$個の入力トークン$t_i$について、第$k$予測深度では、まず前の層からの表現$h^{(k-1)}_i \\in \\mathbb{R}^d$（$k=1$の場合、$h^{(0)}_i$は主モデルの出力）とトークン$t_{i+k}$の埋め込み$Emb(t_{i+k}) \\in \\mathbb{R}^d$を取得し、これら 2 つのベクトルに対して RMSNorm で正規化後、連結し、投影行列$M_k$で線形変換します：\n\n$$\nh'^{(k)}_i = M_k\\,[\\text{RMSNorm}(h^{(k-1)}_i);\\, \\text{RMSNorm}(Emb(t_{i+k}))]\n$$\n\nこのステップでは前段の表現と、訓練データに含まれる第 $i+k$ 番目の正解 token の埋め込みを統合します。\n\n上記の統合された表現$h'^{(k)}_i$を専用の Transformer ブロック$TRM_k(\\cdot)$に入力し、更新された表現を生成します：\n\n$$\nh^{(k)}_{1:T-k} = TRM_k(h'^{(k)}_{1:T-k})\n$$\n\nここで$T$は入力シーケンスの長さです。予測深度が 1 つ増えるごとに処理範囲が$k$個のトークン分短縮され、各予測には対応する正解ラベルが用意されることを確保します。\n\n共有出力ヘッドを使用して、Transformer ブロックの出力表現を予測分布にマッピングし、第$i+k+1$個目のトークンの予測を生成します：\n\n$$\nP^{(k)}_{i+k+1} = \\text{OutHead}(h^{(k)}_i)\n$$\n\nここで$P^{(k)}_{i+k+1} \\in \\mathbb{R}^{V}$は予測確率分布（$V$は語彙サイズ）で、logits に線形マッピングされ、Softmax を通して得られます。\n\nマルチレベル予測を指導するために、各予測深度$k$には交差エントロピー損失が定義されます。第$k$層の予測における損失は以下のように計算されます：\n\n$$\nL^{(k)}_{MTP} = \\text{CrossEntropy}(P^{(k)}_{2+k:T+1},\\, t_{2+k:T+1})\n= -\\frac{1}{T}\\sum_{i=2+k}^{T+1} \\log P^{(k)}_i[t_i]\n$$\n\nここで$t_i$は第$i$個のトークンの正解ラベルで、$P^{(k)}_i[t_i]$はそのトークンに対する第$k$層の予測確率です。損失は$i=2+k$から計算を開始し、各予測層がその後の正解トークンに対応することを確保します。\n\nすべての$D$個の予測深度の損失を平均し、重み係数$\\lambda$を掛け合わせて、全体の MTP 損失を得ます：\n\n$$\nL_{MTP} = \\frac{\\lambda}{D}\\sum_{k=1}^{D} L^{(k)}_{MTP}\n$$\n\nこの総損失は追加の訓練目標として、主モデルの損失と共に逆伝播され、モデルが生成過程でより前向きな表現を学習するよう促します。\n\nMTP モジュールの主な狙いは、学習時の予測目標を増やすことです。「未来を計画する」という説明は論文の仮説であり、内部行動を直接観測した結果ではありません。\n\n推論段階では MTP モジュールを省略して、主モデルを独立して運用することもできます。また、MTP モジュールを再利用して、生成遅延を減らすために speculative decoding を行うことも可能です。\n\n\n> [!TIP]\n> \n> 論文には多くの数学的な記述がありますが、もし Transformer に不慣れだと、少し難しく感じるかもしれません。\n> \n> 実際、文章の続きを予測してモデルを訓練するという考え方は変わりません。\n> \n> 例えば、もし元々モデルに与える問題が：\n> \n> > 「私は今日、\\_\\_を食べました。」\n> >\n> > ここで「夕食」と答えればよいだけです。\n> \n> このような訓練方法では、モデルは毎回「次の単語を予測する」練習だけをするので、試験の問題が 1 つしかなく、学習効率が限られます。\n> \n> しかし、DeepSeek-V3 の**マルチトークン予測（MTP）**では、次のように問題の出題方法が変わります：\n> \n> > 同じ文章「私は今日、\\_\\_を食べました。」を与えて、次の単語だけでなく、さらに一つ先の単語も予測してください。元の図には追加モジュールが二つ描かれていますが、実際の DeepSeek-V3 では一つだけ使います。\n> \n> 追加モジュールには、主モデルの表現と訓練データ中の正解 token の埋め込みを渡し、もう一つ先の token を予測します。前段が推測した答えを次段に渡して修正する仕組みではありません。\n> \n> この訓練方法には 2 つの大きな利点があります：\n> \n> 1. **練習できる問題が増える：** 1 つの文中の各単語が連続した予測タスクを引き起こすので、モデルは同じテキスト内で何度も練習します。\n> 2. **後続の予測にも役立つ可能性：** 追加の訓練信号によって、後続の token に有用な表現を学べる可能性があります。\n> \n> 論文の消融実験では、評価したベンチマークの多くで改善が見られます。\n\n\n## Infrastructures\n\n\n> [!NOTE]\n> \n> **本節は論文の中で多くのページを占め、主に訓練環境のソフトウェアとハードウェア設置方法を教えています。ただし、論文の読み方としてはソフトウェア面に重点を置いているため、ここではこの章を簡単に紹介します。もし、手元に少しの予算（おそらく 1 億ドル？）があり、この環境を構築する意向があれば、原論文を直接読んでください。**\n\n\nDeepSeek‑V3 が成功裏に訓練される背景には、先進的なハードウェアプラットフォームと効率的な訓練フレームワークがあります。\n\n本節では、計算クラスタ、訓練フレームワーク、低精度 FP8 訓練、推論とデプロイ、そして今後のハードウェア設計提案の 5 つの部分に分けて紹介します：\n\n- **計算クラスタ：**\n\n  DeepSeek‑V3 の訓練プラットフォームは、超大規模な GPU クラスタに依存しています：\n\n  - **ハードウェア規模：**\n    クラスタには 2048 個の NVIDIA H800 GPU が配置され、各ノードには 8 つの GPU が搭載されています。\n  - **内部インターコネクト：**\n    ノード内の GPU は NVLink および NVSwitch を使って高速接続され、内部データ交換の遅延が非常に低く保たれています。\n  - **ノード間通信：**\n    ノード間は InfiniBand (IB) インターコネクトを使用し、高帯域幅かつ低遅延の特性を提供します。これにより、大規模並列計算環境下でもノード間でリアルタイムにデータを共有できます。\n\n    ***\n\n- **訓練フレームワーク：**\n\n  これほどのハードウェアリソースを最大限に活用するために、研究チームは独自に開発した HAI-LLM 訓練フレームワークを採用しました。このフレームワークは、いくつかの先進的な並列戦略を組み合わせています：\n\n  - **パイプライン並列（Pipeline Parallelism, PP）：**\n    モデルを複数の段階に分解し、16 路のパイプライン並列で実行します。パイプライン内の空白（pipeline bubbles）を埋めるため、研究チームは革新的な DualPipe アルゴリズムを提案し、前向き計算と逆伝播計算を通信と効果的に重ね合わせました。\n  - **専門家並列（Expert Parallelism, EP）：**\n    MoE モデル内の専門家モジュールに対して、DeepSeek‑V3 は 64 路、あるいはそれ以上の規模で専門家並列を採用し、各専門家に十分なバッチサイズを確保して計算効率を高めました。\n  - **データ並列（Data Parallelism, DP）：**\n    ZeRO-1 技術を導入し、大規模データの処理負荷を分散し、モデルパラメータを異なる計算ノードに分配することでメモリ負荷を効果的に削減しました。\n\n  また、DualPipe アルゴリズムの核心は、各計算チャンクを attention、all-to-all dispatch、MLP および combine の 4 つの部分に分割し、前向きおよび逆伝播の過程で通信と計算を巧妙に重ね合わせることで、ノード間の通信遅延をほぼ完全に隠蔽しました。\n\n  ***\n\n- **低精度 FP8 訓練：**\n\n  大規模なモデル訓練において、計算速度とメモリ占有は常に矛盾する課題です。研究チームは、FP8 混合精度訓練技術を導入することで、コア計算の高速化を実現しました：\n\n  - **コア思想：**\n    主な計算（例えば行列積加算 GEMM 操作）は FP8 で実行され、数値の安定性が求められる操作は BF16 または FP32 に保持されます。この方法により計算速度が大幅に向上し、モデル訓練の安定性が保たれます。\n  - **細粒度量子化戦略：**\n    FP8 の動的範囲の制限に対して、研究者は tile-wise（1×128）および block-wise（128×128）の量子化方法を提案し、活性化値、重み、および勾配における異常値に対応しました。\n  - **累積精度の向上：**\n    Tensor Cores 上での制限付き累積と CUDA Cores 上での FP32 累積を組み合わせることにより、FP8 GEMM 累積精度不足の問題を効果的に解決し、論文の小規模な二つの比較実験（約 1T token）では、BF16 基準との相対 loss 誤差が 0.25% 未満でした。V3 全訓練ステップの保証値ではありません。\n  - **低精度ストレージと通信：**\n    メモリと通信のコストを抑えるため、キャッシュ・転送する一部の活性化値には FP8、オプティマイザ状態には BF16 を使います。この使い分けは大規模 MoE の学習で重要です。\n\n  FP8 GEMM の理論計算スループットは BF16 の約 2 倍です。一部のテンソルの保存と通信を低精度化すれば、メモリ使用量と装置間通信量も減らせます。\n\n  ***\n\n- **推論とデプロイ戦略：**\n\n  DeepSeek‑V3 の推論とデプロイも効率的なハードウェア環境に依存しており、異なるニーズに応じてプロセスは 2 段階に分けられています：\n\n  - **Prefilling 段階：**\n    - 配置単位：最小配置単位は 4 ノード（32GPU）。\n    - この段階では、Attention 部分は 4 路 TP を組み合わせて Sequence Parallelism と 8 路 DP を使用し、MoE 部分は 32 路 EP を利用します。\n    - 各 GPU の負荷を均等化するために冗長な専門家メカニズムを採用し、各 GPU には元の専門家に加えて冗長な専門家を追加で配置します。また、マイクロバッチの重ね合わせ戦略を使用して通信遅延を隠蔽し、スループットを向上させます。\n  - **Decoding 段階：**\n    - 配置単位：最小配置単位は 40 ノード（320GPU）。\n    - この段階の焦点は、低遅延のオンライン推論を実現することにあります。Attention 部分と MoE 部分はそれぞれ TP4、SP、DP80 および EP320 を使用し、冗長な専門家の配置と点対点 IB 通信（IBGDA 技術を組み合わせた）が推論プロセスの効率性を保証します。\n\n  この 2 段階の分担と最適化により、システムは高スループットを維持しつつ、厳格なオンラインサービスの遅延要件も満たすことができます。\n\n  ***\n\n- **今後のハードウェア設計提案：**\n\n  DeepSeek‑V3 の実践経験を基に、研究チームはハードウェア供給業者に以下の改良提案を行いました：\n\n  - **通信ハードウェア：**\n    - 今後、通信処理を専用の通信協処理器にオフロードし、IB と NVLink のインターフェースを統一することで、計算リソースを解放し、通信遅延を低減することを提案します。\n  - **計算ハードウェア：**\n    - FP8 GEMM の累積精度を向上させ、現在 Tensor Cores で発生する 14 ビット累積精度の誤差を解決します。\n    - 細粒度量子化（tile-/block-wise 量子化）をネイティブでサポートし、Tensor Cores がスケーリング係数を直接処理できるようにし、Tensor Cores と CUDA Cores 間のデータ移動を減少させます。\n    - FP8 キャストと TMA アクセスを統合し、オンライン量子化を実現して、メモリ読み書き回数をさらに削減します。\n    - GEMM 操作の転置を直接サポートし、バックプロパゲーション中の活性化値の量子化解除と転置処理を簡素化します。\n\n## 事前訓練\n\nDeepSeek‑V3 は、事前訓練段階において、訓練データの規模をさらに拡大し、データ構築、損失戦略、ハイパーパラメータ設定、そして長いコンテキスト処理においていくつかの革新を行いました。\n\n順番に見ていきましょう：\n\n- **データ構築**\n\n  - **コーパス最適化：**\n    DeepSeek‑V2 と比較して、DeepSeek‑V3 は事前訓練コーパスに数学やプログラミングのサンプルの比率を増加させ、さらに多言語対応を拡大し、英語や中国語だけに依存する制限を超えました。\n  - **データ処理パイプライン：**\n    データ処理の流れが改善され、冗長性が最大限に減少し、コーパスの多様性が確保されました。\n  - **ファイルパッケージングと FIM 戦略：**\n    過去の文献の方法を参考にし、ファイルパッケージングを使用してデータの完全性を保持しますが、サンプル間の注意機構マスキングは行いません。その上で、Fill-in-Middle（FIM）戦略を導入し、Prefix-Suffix-Middle（PSM）フレームワークを通じてデータを構造化します。形式は以下のようになります：\n\n    ```\n    <|fim_begin|> fpre <|fim_hole|> fsuf <|fim_end|> fmiddle <|eos_token|>\n    ```\n\n    FIM 戦略は全体コーパスの 0.1 の割合で適用され、モデルに中間テキストの予測を学ばせ、生成能力を向上させます。\n\n  - **Tokenizer 最適化：**\n    Byte-level BPE を使用し、語彙数を 128K に拡張して多言語に対応し、句読点や改行符を含んだトークンを追加しました。トークンの境界偏差を解決するため、特定のトークンをランダムに分割し、モデルが特殊なケースに対応できるようにしました。\n\n    ***\n\n- **ハイパーパラメータ設定**\n\n  - **モデル構造：**\n\n    - Transformer 層数は 61 層、隠れ層の次元は 7168、パラメータの標準偏差は 0.006 に初期化。\n    - MLA（Multi-Headed Attention）の注意ヘッド数は 128、各ヘッドの次元は 128、KV 圧縮次元は 512、クエリ圧縮次元は 1536、RoPE（Rotary Positional Encoding）の各ヘッド次元は 64。\n    - 最初の 3 層 FFN（Feed-Forward Network）以外は、MoE（Mixture of Experts）層に置き換えられます。各 MoE 層は 1 つの共有専門家と 256 のルーティング専門家を含み、各専門家の中間次元は 2048、8 つのルーティング専門家を活性化し、各トークンは最大 4 つのノードに分配されます。\n    - マルチトークン予測深度$D$は 1 に設定され、各トークンは次の単語を予測するだけでなく、さらに 1 つの追加トークンを予測します。\n\n  - **訓練パラメータ：**\n\n    - AdamW オプティマイザーを使用し、ハイパーパラメータは$\\beta_1=0.9$、$\\beta_2=0.95$、weight_decay=0.1 に設定。\n    - 事前訓練の最大シーケンス長は 4K、総コーパスは 14.8T トークン。\n    - 学習率は最初の 2K ステップで線形に $2.2 \\times 10^{-4}$ まで増加し、10T token まで一定に保ちます。次の 4.3T token で cosine 曲線に沿って $2.2 \\times 10^{-5}$ まで減衰させ、最後の 500B token は前半 333B でその値を保ち、残り 167B では $7.3 \\times 10^{-6}$ とします。\n    - バッチサイズは訓練が進むにつれて段階的に増加し、初期は 3072 から 15360 に増加、その後は不変です。\n    - MoE の負荷分散のため、バイアス更新速度$\\gamma$やシーケンスレベルのバランス損失のハイパーパラメータ$\\alpha$などが設定され、各トークンは最大 4 つのノードにルーティングされるように確保されます。\n\n    全体設定において、DeepSeek‑V3 の総パラメータ数は 671B であり、各トークンで 37B のパラメータが活性化されます。\n\n    ***\n\n- **長いコンテキストの拡張**\n\n  事前訓練終了後、DeepSeek‑V2 の方法を参考にし、YaRN を使って 2 段階でコンテキストを拡張しました：第一段階ではシーケンス長を 4K から 32K に拡張し、第二段階で 128K にさらに拡張しました。この 2 段階で、バッチサイズと学習率は長いコンテキストの計算ニーズに合わせて調整されました。\n\n  拡張後のモデルは、「Needle In A Haystack」（NIAH）テストで 128K までの文脈長にわたり良好な結果を示しました。\n\n## 事後訓練\n\n事前訓練後、研究チームは続く微調整と強化学習を通じて、モデルを人間の選好により沿わせ、生成品質を高めました。\n\nこの段階は主に教師あり微調整（Supervised Fine-Tuning, SFT）と強化学習（Reinforcement Learning, RL）からなり、複数の分野で評価を行います。\n\nこの「事前訓練-整合」アプローチは、現在主流の LLM（大規模言語モデル）の生成フローとなっています。\n\n### 監督付き微調整（SFT）\n\nSFT 段階では、チームは 1.5M のサンプルからなる指示調整データセットを精密に構築し、複数の分野をカバーしています。各分野には特定のデータ生成方法が採用されています：\n\n- **推論データ：**\n  数学、プログラミング競技、論理推論などの能力を高めるため、内部の DeepSeek-R1 モデルを使って推論データを生成しました。ただし、その回答には「考えすぎ」、書式の乱れ、冗長さもあるため、二種類の訓練サンプルを用意しました：\n\n  - 第一形式は：`<problem, original response>`、元の回答を保持；\n  - 第二形式はシステムプロンプト（system prompt）を追加し、形式は：`<system prompt, problem, R1 response>`、プロンプトには反省と検証を促す指示が含まれています。\n\n  その後、専門家モデル（SFT と RL で訓練されたもの）を使って最終的な SFT データを生成し、拒絶サンプリングを用いて高品質サンプルを選定しました。\n\n- **非推論データ：**\n  創作、ロールプレイ、簡単な QA などの非推論タスクに関しては、DeepSeek-V2.5 を用いて回答を生成し、その正確性を人工的に確認してデータの品質を保証しました。\n\n- **SFT 訓練設定：**\n  微調整過程で、DeepSeek‑V3‑Base は 2 エポックの微調整を行い、学習率は cosine decay を用いて、$5 \\times 10^{-6}$から$1 \\times 10^{-6}$に減衰させました。また、1 つのシーケンス内で複数のサンプルをパッケージングしますが、サンプル間の干渉を避けるためにサンプルマスキング戦略を使用しました。\n\n### 強化学習（RL）\n\n強化学習部分は、モデルの出力を人間の偏好に合わせることを目的としており、主に 2 種類の報酬モデルと 1 つのグループ相対戦略最適化アルゴリズムを通じて実現されます：\n\n- **報酬モデル（Reward Model, RM）：**\n  研究チームはルールに基づく報酬と、学習した報酬モデルを使いました：\n\n  - **ルールベースの RM：**\n    数学や LeetCode などの明確な答えがあるタスクに対して、特定のフォーマット（例えば、答えのボックスに表示）やコンパイラでテストケースを検証し、報酬を与えます。\n  - **モデルベースの RM：**\n    創作など明確な正解がないタスクでは、質問と回答をもとに評価します。報酬モデルの訓練には、最終的な報酬だけでなく、その判断に至る chain-of-thought も含む選好データを用い、報酬の抜け道を突くリスクを抑えます。\n\n- **グループ相対戦略最適化（Group Relative Policy Optimization, GRPO）：**\n\n  戦略モデルを更新するために、GRPO は伝統的な critic モデルを使用せず、古い戦略から生成された出力群の中で優位性を計算し、これに基づいて現在の戦略を更新します。\n\n  この方法は戦略の更新をより安定させ、多様な生成結果を十分に活用できるようにします。\n\n  GRPO の目的関数では、各出力 $o_i$ の確率比を clip して方策が旧方策から大きく離れるのを抑え、KL ダイバージェンスの罰則で参照モデルからの逸脱も制約します。\n\n- **RL 全体フロー：**\n  RL ではプログラミング、数学、創作、ロールプレイなどのプロンプトを使って多様な回答を生成し、報酬を与えます。著者は、この過程で R1 に由来する推論パターンを取り込み、人間の選好により沿うとともに、SFT データが限られる場面でも性能を高めたと報告しています。\n\n## 討論\n\n\n> [!TIP]\n> \n> さまざまな比較表が多くありますが、興味のある読者は元の論文を参照してください。ここでは重要な図表を取り上げます。\n\n\n\n\n![result](/content/papers/assets/a946b2411d70fef7452a54cdc1c05c0cec22c84fdbfaa899d144525a7df925d5.jpg)\n\n\n\n上の表には複数のベンチマークにおける各モデルの結果が並んでいます。DeepSeek-V3 と GPT-4o を中心に、いくつかの項目を見てみましょう。\n\n1. **英語の知識と長いコンテキストの処理能力：**\n\n   - MMLU と MMLU-Redux では、DeepSeek-V3 がそれぞれ 88.5、89.1 で、GPT-4o の 87.2、88.0 を上回ります。一方、MMLU-Pro の 75.9 は Claude-3.5-Sonnet の 78.0 に届きません。\n   - DROP（3-shot F1）と LongBench v2 では、DeepSeek-V3 がそれぞれ 91.6、48.7、GPT-4o が 83.7、48.1 です。LongBench v2 の差は 0.6 ポイントです。\n\n2. **コード生成とプログラミング能力：**\n\n   - HumanEval-Mul、LiveCodeBench（Pass@1-CoT）、Codeforces では、DeepSeek-V3 がそれぞれ 82.6、40.5、51.6 で、GPT-4o の 80.5、33.4、23.6 を上回ります。Claude-3.5-Sonnet の LiveCodeBench は 36.3 です。一方、エンジニアリング課題の SWE-bench Verified では 42.0 で、Claude-3.5-Sonnet の 50.8 に及びません。\n\n3. **数学的推論能力：**\n\n   - AIME 2024、MATH-500、CNMO 2024 の表中の結果では、いずれも GPT-4o を上回ります。例えば AIME 2024 は 39.2 対 9.3（Pass@1）、MATH-500 は 90.2 対 74.6（EM）です。この比較は表に示された評価条件に限ります。\n\n4. **中国語能力：**\n\n   - CLUEWSC、C-Eval、C-SimpleQA は DeepSeek-V3 が 90.9、86.5、64.8、GPT-4o が 87.9、76.0、59.3 です。ただし CLUEWSC は Qwen2.5-72B-Instruct が 91.4 で、DeepSeek-V3 を上回ります。\n\n表に示された複数のコード、数学、中国語ベンチマークでは競争力があります。一方、SimpleQA、GPQA-Diamond、一部のエンジニアリング課題ではクローズドソースモデルに及ばない例もあります。次の図には、そのうちいくつかの指標がまとめられています。\n\n\n\n![result](/content/papers/assets/78d67d8229deba02707f508b210a0b704b344ee444f3fecdf6b88115e659640c.jpg)\n\n\n\n## 結論\n\n最後に、DeepSeek‑V3 の重要なパラメータを復習します。\n\n**総パラメータ数は 671B ですが、各回で活性化されるパラメータは 37B に過ぎず、14.8T トークンで訓練されています。**\n\n前世代の MLA および DeepSeekMoE アーキテクチャを継承するだけでなく、本モデルはさらに 2 つの革新的な技術を導入しています：\n\n1. **補助損失なし戦略**：従来の MoE モデルにおける主な batch 単位の均衡を偏置更新へ移し、大きな補助損失による干渉を減らしました。ただし、小さな系列単位の損失は残ります。これによりエキスパートの負荷を安定させます。\n2. **複数トークン予測戦略（MTP）**：次の token に加えてもう一つ先の token を学習し、訓練信号を増やしました。先読み計画は著者の仮説です。\n\nこれらの技術革新により、DeepSeek‑V3 は、トップクラスのクローズドソースモデル（GPT‑4o や Claude‑3.5-Sonnet など）と同等、あるいはそれを上回る性能を達成し、非常に競争力のある訓練コスト（公式学習に 2.788M H800 GPU 時間（事前学習 2.664M、文脈拡張 119K、事後学習 5K）。先行する構造・手法・データ実験は含みません）を維持しています。\n\nDeepSeek‑V3 は、ハードウェア、データ、アルゴリズムの効率的なバランスを追求した結果であり、今後の大規模モデルの発展に向けた方向性を示しています：\n\n- **高精度で、なおかつ安価であること**\n","imageSizes":{"/content/papers/assets/b8d2616142a70acbc98edf7ed2c61027966273f0bce6cfff57a8969c007b3c05.jpg":{"width":1224,"height":560},"/content/papers/assets/a946b2411d70fef7452a54cdc1c05c0cec22c84fdbfaa899d144525a7df925d5.jpg":{"width":1224,"height":900},"/content/papers/assets/78d67d8229deba02707f508b210a0b704b344ee444f3fecdf6b88115e659640c.jpg":{"width":1224,"height":716}}}
