{"notes":[{"id":"deepseek/deepseek-v2","category":"deepseek","legacyPath":"deepseek/2405-deepseek-v2","legacySlug":"2405-deepseek-v2","legacyPaths":[],"title":"DeepSeek-V2","subtitle":"開源節流","author":"Z. Yuan","paperDate":"2024-05-07","publishedOn":"2025-03-27","paperTitle":"DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model","paperUrl":"https://arxiv.org/abs/2405.04434v5","bibliography":{"title":"DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model","authors":["DeepSeek-AI"],"url":"https://arxiv.org/abs/2405.04434v5","pdfUrl":"https://arxiv.org/pdf/2405.04434v5","codeUrl":"https://github.com/deepseek-ai/DeepSeek-V2","preprint":{"id":"2405.04434","submittedOn":"2024-05-07","url":"https://arxiv.org/abs/2405.04434v5"},"publication":null,"citation":"@misc{deepseekdeepseekv22024,\n  title = {{DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model}},\n  author = {DeepSeek-AI},\n  year = {2024},\n  eprint = {2405.04434},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.04434v5}\n}\n","citationPath":"/content/papers/citations/deepseek/deepseek-v2.2792b9f48a76.bib"},"thumbnail":{"src":"/content/papers/assets/0c5c924a685f79d8a0037fb9862aa1358d05058a19ab295c1b1983dae491355d.jpg","width":1224,"height":984},"locale":"ja","path":"/content/papers/ja/deepseek/deepseek-v2.86141448211f.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"multi-head-latent-attention","text":"Multi-head Latent Attention","depth":3},{"id":"解耦旋回位置埋め込み","text":"解耦旋回位置埋め込み","depth":3},{"id":"deepseekmoe","text":"DeepSeekMoE","depth":3},{"id":"補助バランス損失","text":"補助バランス損失","depth":3},{"id":"訓練戦略","text":"訓練戦略","depth":3},{"id":"モデルのアライメント","text":"モデルのアライメント","depth":2},{"id":"討論","text":"討論","depth":2},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/mixtral","relation":"background","topic":"疎なエキスパートへのトークン割り当て"},{"id":"deepseek/deepseek-llm","relation":"background","topic":"DeepSeek 言語モデルと推論の学習"},{"id":"deepseek/deepseek-v3","relation":"next","topic":"DeepSeek 言語モデルと推論の学習"}]},{"id":"transformers/mixtral","category":"transformers","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mixtral of Experts","subtitle":"8人の専門家を用意し、働くのは2人","author":"Z. Yuan","paperDate":"2024-01-08","publishedOn":"2026-10-14","paperTitle":"Mixtral of Experts","paperUrl":"https://arxiv.org/abs/2401.04088","bibliography":{"title":"Mixtral of Experts","authors":["Albert Q. Jiang","Alexandre Sablayrolles","Antoine Roux","Arthur Mensch","Blanche Savary","Chris Bamford","Devendra Singh Chaplot","Diego de las Casas","Emma Bou Hanna","Florian Bressand","Gianna Lengyel","Guillaume Bour","Guillaume Lample","Lélio Renard Lavaud","Lucile Saulnier","Marie-Anne Lachaux","Pierre Stock","Sandeep Subramanian","Sophia Yang","Szymon Antoniak","Teven Le Scao","Théophile Gervet","Thibaut Lavril","Thomas Wang","Timothée Lacroix","William El Sayed"],"url":"https://arxiv.org/abs/2401.04088","pdfUrl":"https://arxiv.org/pdf/2401.04088v1","codeUrl":"https://github.com/mistralai/mistral-inference","preprint":{"id":"2401.04088","submittedOn":"2024-01-08","url":"https://arxiv.org/abs/2401.04088"},"publication":null,"citation":"@misc{transformersmixtral2024,\n  title = {{Mixtral of Experts}},\n  author = {Albert Q. Jiang and Alexandre Sablayrolles and Antoine Roux and Arthur Mensch and Blanche Savary and Chris Bamford and Devendra Singh Chaplot and Diego de las Casas and Emma Bou Hanna and Florian Bressand and Gianna Lengyel and Guillaume Bour and Guillaume Lample and Lélio Renard Lavaud and Lucile Saulnier and Marie-Anne Lachaux and Pierre Stock and Sandeep Subramanian and Sophia Yang and Szymon Antoniak and Teven Le Scao and Théophile Gervet and Thibaut Lavril and Thomas Wang and Timothée Lacroix and William El Sayed},\n  year = {2024},\n  eprint = {2401.04088},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2401.04088}\n}\n","citationPath":"/content/papers/citations/transformers/mixtral.2b2db338a9b5.bib"},"thumbnail":{"src":"/content/papers/assets/1347eb75040f1144f7ea5820cae7b4bd60c49b6bf351fb1c9e77b4c20e642c46.png","width":2116,"height":968},"locale":"ja","path":"/content/papers/ja/transformers/mixtral.b36b0f256a74.md","headings":[{"id":"問題を定義する","text":"問題を定義する","depth":2},{"id":"tokenとモデルの一層を思い浮かべる","text":"tokenとモデルの一層を思い浮かべる","depth":3},{"id":"問題を解く","text":"問題を解く","depth":2},{"id":"8組の専門家はどこにあるのか","text":"8組の専門家はどこにあるのか","depth":3},{"id":"会議と一緒に一層を通る","text":"「会議」と一緒に一層を通る","depth":3},{"id":"専門家は入力をどう処理するか","text":"専門家は入力をどう処理するか","depth":3},{"id":"87bなのになぜ47bなのか","text":"8×7Bなのに、なぜ47Bなのか","depth":3},{"id":"議論","text":"議論","depth":2},{"id":"点数は上がったしかしその点数は何か","text":"点数は上がった。しかし、その点数は何か","depth":3},{"id":"8人は本当に教科別に分業するのか","text":"8人は本当に教科別に分業するのか","depth":3},{"id":"32kの文脈長は何を意味するか","text":"32Kの文脈長は何を意味するか","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/switch-transformer","relation":"background","topic":"疎なエキスパートへのトークン割り当て"},{"id":"deepseek/deepseek-v2","relation":"next","topic":"疎なエキスパートへのトークン割り当て"}]},{"id":"deepseek/deepseek-llm","category":"deepseek","legacyPath":"deepseek/2401-deepseek-llm","legacySlug":"2401-deepseek-llm","legacyPaths":[],"title":"DeepSeek LLM","subtitle":"新しいモデルスケーリング法則","author":"Z. Yuan","paperDate":"2024-01-05","publishedOn":"2025-03-25","paperTitle":"DeepSeek LLM: Scaling Open-Source Language Models with Longtermism","paperUrl":"https://arxiv.org/abs/2401.02954v1","bibliography":{"title":"DeepSeek LLM: Scaling Open-Source Language Models with Longtermism","authors":["DeepSeek-AI"],"url":"https://arxiv.org/abs/2401.02954v1","pdfUrl":"https://arxiv.org/pdf/2401.02954v1","codeUrl":"https://github.com/deepseek-ai/DeepSeek-LLM","preprint":{"id":"2401.02954","submittedOn":"2024-01-05","url":"https://arxiv.org/abs/2401.02954v1"},"publication":null,"citation":"@misc{deepseekdeepseekllm2024,\n  title = {{DeepSeek LLM: Scaling Open-Source Language Models with Longtermism}},\n  author = {DeepSeek-AI},\n  year = {2024},\n  eprint = {2401.02954},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2401.02954v1}\n}\n","citationPath":"/content/papers/citations/deepseek/deepseek-llm.1c9f986d4df6.bib"},"thumbnail":{"src":"/content/papers/assets/2e1273eb4e5fe86379a9c17f7811379777024e4f8dfd78d32143b67fc21e126d.jpg","width":1398,"height":512},"locale":"ja","path":"/content/papers/ja/deepseek/deepseek-llm.1e5d63eeb592.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"データ処理戦略","text":"データ処理戦略","depth":3},{"id":"モデルアーキテクチャ設計","text":"モデルアーキテクチャ設計","depth":3},{"id":"パラメータ設定","text":"パラメータ設定","depth":3},{"id":"スケーリング法則","text":"スケーリング法則","depth":2},{"id":"ハイパーパラメータ設定","text":"ハイパーパラメータ設定","depth":3},{"id":"最適モデルとデータのスケーリング推定","text":"最適モデルとデータのスケーリング推定","depth":3},{"id":"データ品質の影響","text":"データ品質の影響","depth":3},{"id":"モデルアライメント","text":"モデルアライメント","depth":2},{"id":"討論","text":"討論","depth":2},{"id":"中国語オープンエンド評価","text":"中国語オープンエンド評価","depth":3},{"id":"英語オープンエンド評価","text":"英語オープンエンド評価","depth":3},{"id":"その他の興味深い発見","text":"その他の興味深い発見","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"deepseek/deepseek-v2","relation":"next","topic":"DeepSeek 言語モデルと推論の学習"}]},{"id":"deepseek/deepseek-v3","category":"deepseek","legacyPath":"deepseek/2412-deepseek-v3","legacySlug":"2412-deepseek-v3","legacyPaths":[],"title":"DeepSeek-V3","subtitle":"専門家の遠見","author":"Z. Yuan","paperDate":"2024-12-27","publishedOn":"2025-03-29","paperTitle":"DeepSeek-V3 Technical Report","paperUrl":"https://arxiv.org/abs/2412.19437v2","bibliography":{"title":"DeepSeek-V3 Technical Report","authors":["DeepSeek-AI"],"url":"https://arxiv.org/abs/2412.19437v2","pdfUrl":"https://arxiv.org/pdf/2412.19437v2","codeUrl":"https://github.com/deepseek-ai/DeepSeek-V3","preprint":{"id":"2412.19437","submittedOn":"2024-12-27","url":"https://arxiv.org/abs/2412.19437v2"},"publication":null,"citation":"@misc{deepseekdeepseekv32024,\n  title = {{DeepSeek-V3 Technical Report}},\n  author = {DeepSeek-AI},\n  year = {2024},\n  eprint = {2412.19437},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.19437v2}\n}\n","citationPath":"/content/papers/citations/deepseek/deepseek-v3.be22b3ba4d67.bib"},"thumbnail":{"src":"/content/papers/assets/b8d2616142a70acbc98edf7ed2c61027966273f0bce6cfff57a8969c007b3c05.jpg","width":1224,"height":560},"locale":"ja","path":"/content/papers/ja/deepseek/deepseek-v3.9e4c58f2ff50.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"補助損失なしの戦略","text":"補助損失なしの戦略","depth":3},{"id":"multitoken-prediction","text":"Multi‑Token Prediction","depth":3},{"id":"infrastructures","text":"Infrastructures","depth":2},{"id":"事前訓練","text":"事前訓練","depth":2},{"id":"事後訓練","text":"事後訓練","depth":2},{"id":"監督付き微調整sft","text":"監督付き微調整（SFT）","depth":3},{"id":"強化学習rl","text":"強化学習（RL）","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"deepseek/deepseek-v2","relation":"background","topic":"DeepSeek 言語モデルと推論の学習"},{"id":"deepseek/deepseek-r1","relation":"next","topic":"DeepSeek 言語モデルと推論の学習"}]}],"text":"以前の論文では MoE の効果を試す予定が述べられており、3 ヶ月も経たないうちにこの論文が登場しました。\n\nこの論文は 52 ページに及び、大量の実験データと技術的詳細が含まれていますので、いつも通り重要なポイントを取り上げます。\n\n\n> [!WARNING]\n> \n> 数学警告：本論文の主な焦点はモデルモジュールの最適化にあり、その中には大量の数学が含まれていますので、慎重に読んでください。\n\n\n## 問題の定義\n\n近年、大規模な言語モデルの急速な発展に伴い、パラメータ数の増加は確かにモデルの能力を著しく向上させ、いくつかの「出現能力」を示し、汎用人工知能に向けての希望を見出しました。\n\nしかし、この向上には膨大な計算資源の消費が伴い、トレーニングコストが非常に高く、推論時にも計算とメモリのボトルネックによって効率が低下し、これらのモデルの実際のアプリケーションへの普及と展開が影響を受けています。\n\nそのため、DeepSeek 研究チームは計算ボトルネックと効率性の問題に焦点を当て、DeepSeek-V2 モデルを提案しました。このモデルは、強力なパフォーマンスを維持しながら、計算効率を向上させ、トレーニングと推論コストを削減することを目指しています。\n\n## 問題の解決\n\nDeepSeek-V2 は引き続き標準の Transformer 構造を採用しており、各 Transformer ブロックには注意機構と前向きネットワーク（FFN）が含まれています。\n\n- **注意機構**：研究チームは MLA（Multi-head Latent Attention）を提案し、低ランクのキー・バリュー結合圧縮を用いて、従来の MHA が生成時に直面する KV キャッシュのボトルネック問題を解決しました。\n- **前向きネットワーク**：DeepSeekMoE 構造を採用しており、コストを抑えつつ強力なモデルをトレーニングする高性能な Mixture-of-Experts モデルです。\n\nその他の詳細（Layer Normalization や活性化関数など）は、DeepSeek 67B の設定を踏襲しており、全体の構造設計は以下の図の通りです：\n\n\n\n![modal_arch](/content/papers/assets/0c5c924a685f79d8a0037fb9862aa1358d05058a19ab295c1b1983dae491355d.jpg)\n\n\n\n### Multi-head Latent Attention\n\n\n\n![modal_arch](/content/papers/assets/38c080e5bcc397475b724702ee13917131d3d5891c53ed47c552cfa0451e883b.jpg)\n\n\n\n標準の多頭注意機構（MHA）では、以下のように仮定します：\n\n- $d$：埋め込み次元\n- $n_h$：注意ヘッド数\n- $d_h$：各ヘッドの次元\n- $h_t \\in \\mathbb{R}^{d}$：t 番目のトークンの入力表現\n\n3 つの投影行列$W_Q$、$W_K$、$W_V$を使って、それぞれクエリ（query）、キー（key）、値（value）を計算します：\n\n$$\n\\begin{aligned}\nq_t &= W_Q h_t\\\\[1mm]\nk_t &= W_K h_t\\\\[1mm]\nv_t &= W_V h_t\n\\end{aligned}\n$$\n\n次に、これらのベクトルは$n_h$個のヘッドに分割され、次のように表されます：\n\n$$\n[q_{t,1};\\, q_{t,2};\\, \\dots; \\, q_{t,n_h}] = q_t\n$$\n\n$$\n[k_{t,1};\\, k_{t,2};\\, \\dots; \\, k_{t,n_h}] = k_t\n$$\n\n$$\n[v_{t,1};\\, v_{t,2};\\, \\dots; \\, v_{t,n_h}] = v_t\n$$\n\n各ヘッドで注意計算を行います：\n\n$$\no_{t,i} = \\sum_{j=1}^{t} \\text{Softmax}_j\\!\\left(\\frac{q_{t,i}^\\top k_{j,i}}{\\sqrt{d_h}}\\right) v_{j,i}\n$$\n\n最終的に出力投影行列$W_O \\in \\mathbb{R}^{d \\times d_h n_h}$を使って、各ヘッドの出力を組み合わせます：\n\n$$\nu_t = W_O [o_{t,1};\\, o_{t,2};\\, \\dots; \\, o_{t,n_h}]\n$$\n\nここまでが標準的な MHA の計算プロセスです。\n\nただし推論時には、計算を速くするために過去のすべてのキーと値を保持します。MHAでは各層・各トークンにつき$2n_hd_h$個の要素が必要です。モデルの次元と層数が固定なら、KVキャッシュの容量は保持する系列長に比例して増え、これが大きなボトルネックになります。\n\nしたがって、MLA の核心は「低ランク圧縮」技術を利用して KV キャッシュを削減することにあります。\n\n具体的な手順は以下の通りです：\n\n1. **キー・バリュー圧縮**：各トークンについて、その圧縮後の潜在表現を計算します：\n\n   $$\n   c_{KV,t} = W_{DKV} h_t\n   $$\n\n   ここで、$c_{KV,t} \\in \\mathbb{R}^{d_c}$、$d_c \\ll d_h n_h$であり、$W_{DKV} \\in \\mathbb{R}^{d_c \\times d}$は下方向の投影行列です。\n\n2. **上方向投影によるキーと値の復元**：圧縮された表現からキーと値を復元します：\n\n   $$\n   k_C,t = W_{UK} c_{KV,t}\n   $$\n\n   $$\n   v_C,t = W_{UV} c_{KV,t}\n   $$\n\n   ここで、$W_{UK}$と$W_{UV}$はキーと値の上方向の投影行列で、そのサイズは$\\mathbb{R}^{d_h n_h \\times d_c}$です。\n\n位置情報を加える前なら、各層・各トークンにつき$c_{KV,t}$の$d_c$要素だけを保持します。RoPEを分離した実際のMLAでは、共有位置キー$k^R_t$も必要で、合計$d_c+d_h^R=512+64=576$要素です。\n\nまた、$W_{UK}$は$W_Q$と統合して吸収でき、$W_{UV}$は$W_O$と統合して吸収できるため、実際の注意計算ではキーと値を別途計算する必要はありません。\n\n最後に、トレーニング時の活性化メモリを削減するために、研究チームはクエリベクトルにも同様の低ランク圧縮を実施しました：\n\n$$\nc_{Q,t} = W_{DQ} h_t\n$$\n\n$$\nq_C,t = W_{UQ} c_{Q,t}\n$$\n\nここで、$c_{Q,t} \\in \\mathbb{R}^{d'_c}$はクエリの圧縮表現で、$d'_c \\ll d_h n_h$です。\n\n### 解耦旋回位置埋め込み\n\nRotary Position Embedding（RoPE）は、Transformer に位置情報を導入する方法の一つであり、キーとクエリの両方が位置に敏感であるという特徴があります。低ランク圧縮の場合、もし圧縮後のキー$k_C,t$に RoPE を直接適用すると、上投影行列$W_{UK}$と位置情報が結びつき、前に行った吸収合併最適化を破壊してしまいます。その結果、推論時には前のトークンに対してキーを再計算しなければならなくなります。\n\n\n> [!TIP]\n> \n> ちょっと、これどういう意味か分からない？\n> \n> 大丈夫、簡単にしましょう。例えば、10 人の名前を 1 つの名前に圧縮する場合を考えてみてください。\n> \n> 最初、10 人の名前（例えば「小明、阿華、小美、阿強……」）にはそれぞれ順番がありました。スペースを節約するために、これら 10 人の名前を 1 つにまとめて「明華美強……」という名前に圧縮することにしました。これをすることで、メモリの使用を減らし、管理が簡単になります。\n> \n> しかし、もしこの圧縮後の名前に元々の順番の情報を付け加えると、その名前と位置情報が密接に結びついてしまいます。\n> \n> 結果として、もし新しい名前を追加したり、前の名前の順番を確認したりするたびに、圧縮された名前を一度分解して、元の順番を再計算しなければならなくなります。これでは、最初に圧縮したメリットが失われ、後の処理が煩雑になってしまいます。\n> \n> Transformer で RoPE を使うのは、このような状況に似ています。RoPE はキーとクエリに位置情報を追加するための方法ですが、もし既に圧縮された（低ランク圧縮された）キーに RoPE を適用すると、圧縮された名前に位置情報を加えるようなものです。こうなると、上投影行列（後続処理ツール）は位置情報と絡み合ってしまい、推論時に新しいトークンが追加されるたびに、前のすべてのトークンのキーを再計算しなければならなくなります。これでは効率が低下し、最初の圧縮による利便性が損なわれます。\n\n\n研究チームはここで、RoPE の位置情報を解耦する戦略を提案しています。具体的な方法は次の通りです：\n\nRoPE の位置情報を持つために、追加の多頭クエリ$q_{R,t,i} \\in \\mathbb{R}^{d^R_h}$と共有のキー$k_{R,t} \\in \\mathbb{R}^{d^R_h}$を導入します。\n\n次に、それぞれを計算します：\n\n$$\n[q_{R,t,1};\\, q_{R,t,2};\\, \\dots; \\, q_{R,t,n_h}] = q_{R,t} = \\text{RoPE}(W_{QR} c_{Q,t})\n$$\n\n$$\nk_{R,t} = \\text{RoPE}(W_{KR} h_t)\n$$\n\nここで、$W_{QR} \\in \\mathbb{R}^{d^R_h n_h \\times d'_c}$ と $W_{KR} \\in \\mathbb{R}^{d^R_h \\times d}$ は、解耦されたクエリとキーを生成するための行列です。\n\n最終的に、圧縮部分と解耦部分を接続します：\n\n$$\nq_{t,i} = [q_{C,t,i};\\, q_{R,t,i}]\n$$\n\n$$\nk_{t,i} = [k_{C,t,i};\\, k_{R,t}]\n$$\n\nそして、注意計算を行います：\n\n$$\no_{t,i} = \\sum_{j=1}^{t} \\text{Softmax}_j\\!\\left(\\frac{q_{t,i}^\\top k_{j,i}}{\\sqrt{d_h + d^R_h}}\\right) v_{C,j,i}\n$$\n\n最後に、$W_O$を使って各ヘッドの出力を組み合わせます：\n\n$$\nu_t = W_O [o_{t,1};\\, o_{t,2};\\, \\dots; \\, o_{t,n_h}]\n$$\n\n位置用キー $k^R_t$ を独立させることで、内容キーの上射影をクエリ側へ吸収できます。推論では全ヘッドの K/V ではなく $c^{KV}_t$ と $k^R_t$ を保持します。\n\n### DeepSeekMoE\n\n\n\n![modal_moe](/content/papers/assets/70017d5a2b8b5523e53a34db643a17adc6d522e2933fbdd43d45aebe3eab5fae.jpg)\n\n\n\n従来の MoE モデルとは異なり、DeepSeekMoE は専門家をより細かく分割します：FFN モジュールを 2 つの部分に分けます。\n\n- **共有専門家（Shared Experts）**：固定数の専門家で、各トークンはこの部分の知識を利用します。\n- **ルーティング専門家（Routed Experts）**：動的に一部の専門家を選択して計算に参加させます。\n\n$t$番目のトークンに対して、その FFN 入力は$u_t$であり、最終的な FFN 出力$h'_t$は以下のように定義されます：\n\n$$\nh'_t = u_t + \\sum_{i=1}^{N_s} \\text{FFN}^{(s)}_i(u_t) + \\sum_{i=1}^{N_r} g_{i,t} \\,\\text{FFN}^{(r)}_i(u_t)\n$$\n\nここで：\n\n- $N_s$は共有専門家の数、\n- $N_r$はルーティング専門家の数、\n- $\\text{FFN}^{(s)}_i(\\cdot)$と$\\text{FFN}^{(r)}_i(\\cdot)$は、それぞれ第$i$個の共有専門家とルーティング専門家の前向き計算を表します。\n\nルーティング専門家の選択は、以下のようなゲーティング機構に依存します：\n\n$$\ng_{i,t} =\n\\begin{cases}\ns_{i,t}, & \\text{もし} \\, s_{i,t} \\in \\text{Topk}(\\{ s_{j,t} \\mid 1 \\le j \\le N_r\\}, K_r),\\\\[1mm]\n0, & \\text{それ以外の場合},\n\\end{cases}\n$$\n\nここで$K_r$は活性化されたルーティング専門家の数、$s_{i,t}$はトークンと第$i$個のルーティング専門家との親和スコアで、計算方法は以下の通りです：\n\n$$\ns_{i,t} = \\text{Softmax}_i\\bigl(u_t^\\top e_i\\bigr)\n$$\n\n$e_i$ は専門家 $i$ の学習可能なルーティングベクトルです。論文は centroid と呼びますが、データをクラスタリングして固定した重心ではありません。\n\nMoE モデルでは、専門家が複数のデバイスに分散されている場合、各トークンのルーティング決定にはデバイス間通信が必要になることがあります。もし活性化された専門家が多い場合、追加の通信コストが発生します。このコストを管理するために、DeepSeekMoE は**デバイス制限付きルーティング**メカニズムを採用しています：\n\n1. 各トークンについて、まず全てのデバイスから$M$個の最も高い親和スコアを持つデバイスを選びます。\n2. 次に、その$M$個のデバイス内で Top-K 専門家を選択します。\n\n論文の実験では、$M \\ge 3$なら、制限なしのTop-K選択に近い性能でした。この制限は、トークンが通信するデバイスの範囲を抑えるために設けられています。\n\nこの戦略の核心は、モデルのルーティング品質とデバイス間の通信負担をバランスよく調整することで、大規模分散環境において高い計算効率を実現することにあります。\n\n\n> [!TIP]\n> \n> Mixture-of-Experts（MoE）にあまり馴染みがない方は、以前のノートを参考にしてください：\n> \n> - [**[21.01] Switch Transformer: 専門家に話をさせる**](/blog/papers/transformers/switch-transformer)\n\n\n### 補助バランス損失\n\nMoE モデルでは、特定の専門家が過剰に活性化される（または完全に使用されない）問題が発生しやすく、これが「ルーティング崩壊」を引き起こすだけでなく、計算効率も低下させます。これに対処するために、DeepSeekMoE は負荷均衡を促進するための 3 つの補助的な損失関数を設計しました：\n\n1. **専門家レベルのバランス損失（Expert-Level Balance Loss）**\n\n   $$\n   L_{ExpBal} = \\alpha_1 \\sum_{i=1}^{N_r} f_i\\, P_i\n   $$\n\n   ここで、\n\n   $$\n   f_i = \\frac{N_r}{K_r\\,T} \\sum_{t=1}^{T} 1(\\text{Token } t \\text{ is routed to Expert } i)\n   $$\n\n   $$\n   P_i = \\frac{1}{T} \\sum_{t=1}^{T} s_{i,t}\n   $$\n\n   - $T$ はシーケンス内のトークンの総数、\n   - $1(\\cdot)$ は指示関数、\n   - $\\alpha_1$ は損失の重みを調整するためのハイパーパラメータです。\n\n   この損失関数は、各ルーティング専門家の活性化頻度と平均親和スコアがバランスを保つように設計されています。\n\n---\n\n2. **デバイスレベルのバランス損失（Device-Level Balance Loss）**\n\n   すべてのルーティング専門家を$D$組（各$E_i$は同じデバイス上に配置）に分け、損失を次のように定義します：\n\n   $$\n   L_{DevBal} = \\alpha_2 \\sum_{i=1}^{D} f'_i\\, P'_i\n   $$\n\n   ここで、\n\n   $$\n   f'_i = \\frac{1}{|E_i|} \\sum_{j \\in E_i} f_j\n   $$\n\n   $$\n   P'_i = \\sum_{j \\in E_i} P_j\n   $$\n\n   - $\\alpha_2$ はデバイスレベルのバランスのためのハイパーパラメータです。\n\n   これは、異なるデバイス間で計算負荷のバランスを取るために役立ち、特定のデバイスが過負荷になりボトルネックになるのを防ぎます。\n\n---\n\n3. **通信バランス損失（Communication Balance Loss）**\n\n   デバイス制限付きルーティングを採用しても、特定のデバイスが他のデバイスよりも多くのトークンを受信する場合、通信効率に影響を与える可能性があるため、次の損失関数を導入します：\n\n   $$\n   L_{CommBal} = \\alpha_3 \\sum_{i=1}^{D} f''_i\\, P''_i\n   $$\n\n   ここで、\n\n   $$\n   f''_i = \\frac{D}{M\\,T} \\sum_{t=1}^{T} 1(\\text{Token } t \\text{ がデバイス } i \\text{ に送信された場合})\n   $$\n\n   $$\n   P''_i = \\sum_{j \\in E_i} P_j\n   $$\n\n   - $\\alpha_3$ は通信バランスのためのハイパーパラメータです。\n\n   この設計は、各デバイス間の通信量が近くなるように促し、デバイス間での計算調整効率を向上させます。\n\n---\n\n最後に、バランス損失に加えて、研究チームは**デバイスレベルのトークン廃棄戦略**を導入し、負荷不均衡による計算浪費をさらに軽減しました。具体的な方法は次の通りです：\n\n1. 各デバイスの平均計算予算を計算し、各デバイスの容量係数が 1.0 になるようにします。\n2. 各デバイス上で親和スコアが最も低いトークンを廃棄し、計算予算に達するまで続けます。\n3. 学習系列の約 10% に属する token をまとめて保護します。個々の token を無作為に 10% 選ぶ方式ではありません。\n\n推論時のドロップ有無は効率要件に応じて選べますが、論文の評価では**ドロップしません**。一部の系列を保護することで、この設定にも学習信号を残しています。\n\n### 訓練戦略\n\n論文では、DeepSeek 67B と同じデータ処理フローが保持されていますが、以下の改善が行われました：\n\n- **データ量の拡大：** データクリーンアッププロセスを最適化し、以前に誤って削除された大量のデータを復元しました。\n- **データ品質の向上：** とくに中国語を含む高品質なデータを増やしました。最終的な8.1Tトークンのコーパスでは、中国語トークンの総数が英語より約12%多くなっています。品質によるフィルタリングも改善し、有益でない情報を取り除きつつ価値のある内容を残しました。\n- **論争的なコンテンツのフィルタリング：** この戦略は、特定の地域文化からの偏見を減らすことを目的としています。\n\nTokenizer は DeepSeek 67B と同じ Byte-level Byte-Pair Encoding（BBPE）アルゴリズムを使用し、語彙サイズは 100K に設定され、最終的な事前学習コーパスは 8.1T トークンを含んでいます。\n\nモデルのハイパーパラメータ設定は次の通りです：\n\n- Transformer 層数：60 層\n- 隠れ層の次元：5120\n- すべての学習可能なパラメータのランダム初期化時の標準偏差は 0.006 に設定\n- **MLA 関連：**\n  - 注意ヘッド数$n_h$は 128 に設定\n  - 各ヘッドの次元$d_h$は 128\n  - KV 圧縮次元$d_c$は 512\n  - クエリ圧縮次元$d'_c$は 1536\n  - 解耦されたクエリとキーの各ヘッド次元$d^R_h$は 64\n\nMoE 層の設定は次の通りです：最初の層を除き、残りの FFN 層はすべて MoE 層に置き換えられています。\n\n- 各 MoE 層には 2 つの共有専門家と 160 のルーティング専門家が含まれています\n- 各専門家の中間隠れ次元は 1536\n- 各トークンは 6 つのルーティング専門家を活性化\n- 低ランク圧縮と細粒度な専門家分割が層出力に与える影響に対応するため、論文では RMS Norm 層と追加のスケーリングファクターを導入し、訓練の安定性を確保\n\n最終的に、DeepSeek-V2 の総パラメータ数は 236B に達しますが、各トークンで活性化されるパラメータは 21B にとどまります。\n\n訓練のハイパーパラメータは次の通りです：\n\n- オプティマイザ：AdamW、ハイパーパラメータ$\\beta_1=0.9$、$\\beta_2=0.95$、weight_decay=0.1\n- 学習率スケジューリング：最初の 2000 ステップで線形増加、その後、予め定めた割合（約 60％と 90％のトークン数）でそれぞれ 0.316 を掛ける、最大学習率 2.4×10⁻⁴\n- 勾配クリッピングは 1.0 に設定\n- バッチサイズは段階的に調整され、2304 から 9216 に増加、その後は 9216 を維持\n- 最大シーケンス長は 4K に設定し、8.1T トークンで訓練\n- その他の並列化設定：\n  - パイプライン並列化を利用して異なる層を異なるデバイスにデプロイ\n  - ルーティング専門家は 8 つのデバイスに均等にデプロイ（$D=8$）\n  - デバイス制限付きルーティングは各トークンが最大 3 台のデバイスに送信されるように設定（$M=3$）\n  - 補助バランス損失のハイパーパラメータはそれぞれ$\\alpha_1=0.003$、$\\alpha_2=0.05$、$\\alpha_3=0.02$に設定\n  - 訓練中にトークン廃棄戦略を使用して加速し、評価時にはトークンを廃棄しない\n\n---\n\n初期事前学習が完了した後、研究チームは YaRN メソッドを使用して、モデルのデフォルトのコンテキストウィンドウを 4K から 128K に拡張しました。\n\n特に、RoPE を運ぶための解耦共有キー$k^R_t$に対して拡張を行い、パラメータを次のように設定しました：スケール$s=40$、$\\alpha=1$、$\\beta=32$、最大コンテキスト長は 160K に設定されました。\n\nユニークな注意機構に適応するため、長さスケーリングファクターを調整し、$\\sqrt{t}$の計算式は次のように設定しました：\n\n$$\n\\sqrt{t} = 0.0707 \\ln s + 1\n$$\n\nこれにより、perplexity の最小化を目指しました。\n\n長いコンテキストへの拡張では、系列長32K、バッチサイズ576系列で、追加の学習を1000ステップ行いました。「Needle In A Haystack」（NIAH）テストでは、最大128Kまでの評価対象となった系列長で良好な結果を示しています。\n\n## モデルのアライメント\n\nモデルが人間の好みにより適合し、回答の正確性と満足度を向上させるために、著者は強化学習を用いた調整を行いました。ここで使用されているのは、Group Relative Policy Optimization（GRPO）アルゴリズムであり、その主な利点はトレーニングコストの節約です。なぜなら、このアルゴリズムでは、戦略モデルと同じ規模の批評家モデルを必要とせず、代わりにグループスコアを用いてベースラインを推定します。\n\n強化学習のトレーニング戦略は 2 つの段階に分かれています：\n\n- **第一段階：推論アライメント（Reasoning Alignment）**\n\n  この段階では、著者はプログラミングや数学などの推論タスクに特化した報酬モデル $RM_{\\text{reasoning}}$ をトレーニングします：\n\n  $$\n  r_i = RM_{\\text{reasoning}}(o_i)\n  $$\n\n  このフィードバックで、モデルの数学・コード課題の解答能力を高めます。\n\n- **第二段階：人間の好みアライメント（Human Preference Alignment）**\n\n  この段階では、複数の報酬フレームワークが使用され、3 つの側面から報酬を得ます：\n\n  - 有用性の報酬モデル $RM_{\\text{helpful}}$\n  - 安全性報酬モデル $RM_{\\text{safety}}$\n  - 規則に基づく報酬モデル $RM_{\\text{rule}}$\n\n  最終的に、ある応答 $o_i$ に対する報酬値は次のように計算されます：\n\n  $$\n  r_i = c_1 \\cdot RM_{\\text{helpful}}(o_i) + c_2 \\cdot RM_{\\text{safety}}(o_i) + c_3 \\cdot RM_{\\text{rule}}(o_i)\n  $$\n\n  ここで $c_1, c_2, c_3$ はそれぞれの係数です。この多報酬設計により、モデルは応答を生成する際に複数の品質指標を同時に考慮することができます。\n\n信頼性のある報酬信号を得るために、研究チームは大量の選好データを収集しました：\n\n- プログラミングタスクの選好データはコンパイラのフィードバックに基づいています。\n- 数学タスクの選好データは正解ラベルに基づいています。\n\n報酬モデルはDeepSeek-V2 Chat (SFT) で初期化し、回答を個別に評価する損失か、回答の組を比較する損失で学習しました。\n\n## 討論\n\n篇幅の関係で、ここでは AlignBench の結果を見てみましょう。その他の実験結果に興味がある方は、元の論文を参照してください。\n\n\n\n![result](/content/papers/assets/6a9bf1816018b7728901582b367e9be4b23d9f66459fbfe65e16133ccb17915e.jpg)\n\n\n\n表は、AlignBenchの総合点が高い順にモデルを並べています。採点者はGPT-4-0613で、これは中国語の自由回答に関するモデル判定の結果です。順位は、この設問とモデル版の範囲で読む必要があります。\n\nDeepSeek-V2 Chat (RL)の総合点は7.91で、SFTの7.74を上回ります。両者とも表中のオープンソースモデルを上回り、Qwen1.5-72B-Chatは7.19です。RL後は中国語推論の平均が7.30から7.45、言語の平均が8.17から8.36に上がりましたが、論理推論は7.26から7.14に下がりました。\n\n「中国語の理解」はRLが8.28で、GPT-4-1106-Previewの7.33より高い一方、ERNIEBot-4.0-202404の8.53より低い値です。推論の平均もRLが7.45で、ERNIEBotの7.61とGPT-4-1106-Previewの7.73を下回ります。\n\nこのAlignBench表は中国語の課題だけを扱います。別の英語対話評価であるTable 4では、RL後にMT-Benchが8.62から8.97、AlpacaEval 2.0の長さ制御勝率が30.0から38.9に上がりました。調整の効果と例外は、評価ごとに分けて読む必要があります。\n\n## 結論\n\n\n\n![conclusion](/content/papers/assets/4ba6ca46c0c172d7eec26264e691c301389cb842b88649f4d92add8c6b0e7a37.jpg)\n\n\n\nDeepSeek‑V2 は MoE アーキテクチャに基づいた大規模言語モデルで、最大 128K のコンテキスト長をサポートします。\n\nこのモデルは次の 2 つの革新的な技術を活用しています：\n\n- **Multi-head Latent Attention：** 低ランクのキー・バリュー結合圧縮を通じて、推論時の KV キャッシュの要求を大幅に削減し、推論効率を向上させました。\n- **DeepSeekMoE：** 細粒度な専門家分割と共有専門家の設計を通じて、低コストで強力なモデルを訓練する目標を達成しました。\n\n前のバージョン DeepSeek LLM 67B と比較して、DeepSeek‑V2 は以下の点で優れています：\n\n- **トレーニングコスト**は 42.5％削減\n- **KV キャッシュ**は 93.3％削減\n- **生成スループット**は 5.76 倍向上\n\n全体のパラメータ数は 236B に達しますが、各トークンで活性化されるパラメータは 21B にとどまり、モデルは経済性とパフォーマンスの間で優れたバランスを達成しています。これにより、論文発表当時の公開 MoE 比較では競争力を示しました。報告されたスループットは論文の配備条件に依存します。\n","imageSizes":{"/content/papers/assets/0c5c924a685f79d8a0037fb9862aa1358d05058a19ab295c1b1983dae491355d.jpg":{"width":1224,"height":984},"/content/papers/assets/38c080e5bcc397475b724702ee13917131d3d5891c53ed47c552cfa0451e883b.jpg":{"width":758,"height":554},"/content/papers/assets/70017d5a2b8b5523e53a34db643a17adc6d522e2933fbdd43d45aebe3eab5fae.jpg":{"width":756,"height":426},"/content/papers/assets/6a9bf1816018b7728901582b367e9be4b23d9f66459fbfe65e16133ccb17915e.jpg":{"width":1408,"height":984},"/content/papers/assets/4ba6ca46c0c172d7eec26264e691c301389cb842b88649f4d92add8c6b0e7a37.jpg":{"width":1224,"height":592}}}
