論文ノートライブラリに戻る
arXiv 2024DeepSeek論文ノート

DeepSeek-V2

開源節流

原論文

DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model

論文の著者

DeepSeek-AI

発表先
正式な発表先は未確認
arXiv への初回投稿
arXiv:2405.04434
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{deepseekdeepseekv22024,
  title = {{DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model}},
  author = {DeepSeek-AI},
  year = {2024},
  eprint = {2405.04434},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2405.04434v5}
}
このページの内容

以前の論文では MoE の効果を試す予定が述べられており、3 ヶ月も経たないうちにこの論文が登場しました。

この論文は 52 ページに及び、大量の実験データと技術的詳細が含まれていますので、いつも通り重要なポイントを取り上げます。

問題の定義

近年、大規模な言語モデルの急速な発展に伴い、パラメータ数の増加は確かにモデルの能力を著しく向上させ、いくつかの「出現能力」を示し、汎用人工知能に向けての希望を見出しました。

しかし、この向上には膨大な計算資源の消費が伴い、トレーニングコストが非常に高く、推論時にも計算とメモリのボトルネックによって効率が低下し、これらのモデルの実際のアプリケーションへの普及と展開が影響を受けています。

そのため、DeepSeek 研究チームは計算ボトルネックと効率性の問題に焦点を当て、DeepSeek-V2 モデルを提案しました。このモデルは、強力なパフォーマンスを維持しながら、計算効率を向上させ、トレーニングと推論コストを削減することを目指しています。

問題の解決

DeepSeek-V2 は引き続き標準の Transformer 構造を採用しており、各 Transformer ブロックには注意機構と前向きネットワーク(FFN)が含まれています。

  • 注意機構:研究チームは MLA(Multi-head Latent Attention)を提案し、低ランクのキー・バリュー結合圧縮を用いて、従来の MHA が生成時に直面する KV キャッシュのボトルネック問題を解決しました。
  • 前向きネットワーク:DeepSeekMoE 構造を採用しており、コストを抑えつつ強力なモデルをトレーニングする高性能な Mixture-of-Experts モデルです。

その他の詳細(Layer Normalization や活性化関数など)は、DeepSeek 67B の設定を踏襲しており、全体の構造設計は以下の図の通りです:

Multi-head Latent Attention

標準の多頭注意機構(MHA)では、以下のように仮定します:

  • dd:埋め込み次元
  • nhn_h:注意ヘッド数
  • dhd_h:各ヘッドの次元
  • ht∈Rdh_t \in \mathbb{R}^{d}:t 番目のトークンの入力表現

3 つの投影行列WQW_Q、WKW_K、WVW_Vを使って、それぞれクエリ(query)、キー(key)、値(value)を計算します:

qt=WQhtkt=WKhtvt=WVht\begin{aligned} q_t &= W_Q h_t\\[1mm] k_t &= W_K h_t\\[1mm] v_t &= W_V h_t \end{aligned}

次に、これらのベクトルはnhn_h個のヘッドに分割され、次のように表されます:

[qt,1; qt,2; … ; qt,nh]=qt[q_{t,1};\, q_{t,2};\, \dots; \, q_{t,n_h}] = q_t [kt,1; kt,2; … ; kt,nh]=kt[k_{t,1};\, k_{t,2};\, \dots; \, k_{t,n_h}] = k_t [vt,1; vt,2; … ; vt,nh]=vt[v_{t,1};\, v_{t,2};\, \dots; \, v_{t,n_h}] = v_t

各ヘッドで注意計算を行います:

ot,i=∑j=1tSoftmaxj ⁣(qt,i⊤kj,idh)vj,io_{t,i} = \sum_{j=1}^{t} \text{Softmax}_j\!\left(\frac{q_{t,i}^\top k_{j,i}}{\sqrt{d_h}}\right) v_{j,i}

最終的に出力投影行列WO∈Rd×dhnhW_O \in \mathbb{R}^{d \times d_h n_h}を使って、各ヘッドの出力を組み合わせます:

ut=WO[ot,1; ot,2; … ; ot,nh]u_t = W_O [o_{t,1};\, o_{t,2};\, \dots; \, o_{t,n_h}]

ここまでが標準的な MHA の計算プロセスです。

ただし推論時には、計算を速くするために過去のすべてのキーと値を保持します。MHAでは各層・各トークンにつき2nhdh2n_hd_h個の要素が必要です。モデルの次元と層数が固定なら、KVキャッシュの容量は保持する系列長に比例して増え、これが大きなボトルネックになります。

したがって、MLA の核心は「低ランク圧縮」技術を利用して KV キャッシュを削減することにあります。

具体的な手順は以下の通りです:

  1. キー・バリュー圧縮:各トークンについて、その圧縮後の潜在表現を計算します:

    cKV,t=WDKVhtc_{KV,t} = W_{DKV} h_t

    ここで、cKV,t∈Rdcc_{KV,t} \in \mathbb{R}^{d_c}、dc≪dhnhd_c \ll d_h n_hであり、WDKV∈Rdc×dW_{DKV} \in \mathbb{R}^{d_c \times d}は下方向の投影行列です。

  2. 上方向投影によるキーと値の復元:圧縮された表現からキーと値を復元します:

    kC,t=WUKcKV,tk_C,t = W_{UK} c_{KV,t} vC,t=WUVcKV,tv_C,t = W_{UV} c_{KV,t}

    ここで、WUKW_{UK}とWUVW_{UV}はキーと値の上方向の投影行列で、そのサイズはRdhnh×dc\mathbb{R}^{d_h n_h \times d_c}です。

位置情報を加える前なら、各層・各トークンにつきcKV,tc_{KV,t}のdcd_c要素だけを保持します。RoPEを分離した実際のMLAでは、共有位置キーktRk^R_tも必要で、合計dc+dhR=512+64=576d_c+d_h^R=512+64=576要素です。

また、WUKW_{UK}はWQW_Qと統合して吸収でき、WUVW_{UV}はWOW_Oと統合して吸収できるため、実際の注意計算ではキーと値を別途計算する必要はありません。

最後に、トレーニング時の活性化メモリを削減するために、研究チームはクエリベクトルにも同様の低ランク圧縮を実施しました:

cQ,t=WDQhtc_{Q,t} = W_{DQ} h_t qC,t=WUQcQ,tq_C,t = W_{UQ} c_{Q,t}

ここで、cQ,t∈Rdc′c_{Q,t} \in \mathbb{R}^{d'_c}はクエリの圧縮表現で、dc′≪dhnhd'_c \ll d_h n_hです。

解耦旋回位置埋め込み

Rotary Position Embedding(RoPE)は、Transformer に位置情報を導入する方法の一つであり、キーとクエリの両方が位置に敏感であるという特徴があります。低ランク圧縮の場合、もし圧縮後のキーkC,tk_C,tに RoPE を直接適用すると、上投影行列WUKW_{UK}と位置情報が結びつき、前に行った吸収合併最適化を破壊してしまいます。その結果、推論時には前のトークンに対してキーを再計算しなければならなくなります。

研究チームはここで、RoPE の位置情報を解耦する戦略を提案しています。具体的な方法は次の通りです:

RoPE の位置情報を持つために、追加の多頭クエリqR,t,i∈RdhRq_{R,t,i} \in \mathbb{R}^{d^R_h}と共有のキーkR,t∈RdhRk_{R,t} \in \mathbb{R}^{d^R_h}を導入します。

次に、それぞれを計算します:

[qR,t,1; qR,t,2; … ; qR,t,nh]=qR,t=RoPE(WQRcQ,t)[q_{R,t,1};\, q_{R,t,2};\, \dots; \, q_{R,t,n_h}] = q_{R,t} = \text{RoPE}(W_{QR} c_{Q,t}) kR,t=RoPE(WKRht)k_{R,t} = \text{RoPE}(W_{KR} h_t)

ここで、WQR∈RdhRnh×dc′W_{QR} \in \mathbb{R}^{d^R_h n_h \times d'_c} と WKR∈RdhR×dW_{KR} \in \mathbb{R}^{d^R_h \times d} は、解耦されたクエリとキーを生成するための行列です。

最終的に、圧縮部分と解耦部分を接続します:

qt,i=[qC,t,i; qR,t,i]q_{t,i} = [q_{C,t,i};\, q_{R,t,i}] kt,i=[kC,t,i; kR,t]k_{t,i} = [k_{C,t,i};\, k_{R,t}]

そして、注意計算を行います:

ot,i=∑j=1tSoftmaxj ⁣(qt,i⊤kj,idh+dhR)vC,j,io_{t,i} = \sum_{j=1}^{t} \text{Softmax}_j\!\left(\frac{q_{t,i}^\top k_{j,i}}{\sqrt{d_h + d^R_h}}\right) v_{C,j,i}

最後に、WOW_Oを使って各ヘッドの出力を組み合わせます:

ut=WO[ot,1; ot,2; … ; ot,nh]u_t = W_O [o_{t,1};\, o_{t,2};\, \dots; \, o_{t,n_h}]

位置用キー ktRk^R_t を独立させることで、内容キーの上射影をクエリ側へ吸収できます。推論では全ヘッドの K/V ではなく ctKVc^{KV}_t と ktRk^R_t を保持します。

DeepSeekMoE

従来の MoE モデルとは異なり、DeepSeekMoE は専門家をより細かく分割します:FFN モジュールを 2 つの部分に分けます。

  • 共有専門家(Shared Experts):固定数の専門家で、各トークンはこの部分の知識を利用します。
  • ルーティング専門家(Routed Experts):動的に一部の専門家を選択して計算に参加させます。

tt番目のトークンに対して、その FFN 入力はutu_tであり、最終的な FFN 出力ht′h'_tは以下のように定義されます:

ht′=ut+∑i=1NsFFNi(s)(ut)+∑i=1Nrgi,t FFNi(r)(ut)h'_t = u_t + \sum_{i=1}^{N_s} \text{FFN}^{(s)}_i(u_t) + \sum_{i=1}^{N_r} g_{i,t} \,\text{FFN}^{(r)}_i(u_t)

ここで:

  • NsN_sは共有専門家の数、
  • NrN_rはルーティング専門家の数、
  • FFNi(s)(⋅)\text{FFN}^{(s)}_i(\cdot)とFFNi(r)(⋅)\text{FFN}^{(r)}_i(\cdot)は、それぞれ第ii個の共有専門家とルーティング専門家の前向き計算を表します。

ルーティング専門家の選択は、以下のようなゲーティング機構に依存します:

gi,t={si,t,もし si,t∈Topk({sj,t∣1≤j≤Nr},Kr),0,それ以外の場合,g_{i,t} = \begin{cases} s_{i,t}, & \text{もし} \, s_{i,t} \in \text{Topk}(\{ s_{j,t} \mid 1 \le j \le N_r\}, K_r),\\[1mm] 0, & \text{それ以外の場合}, \end{cases}

ここでKrK_rは活性化されたルーティング専門家の数、si,ts_{i,t}はトークンと第ii個のルーティング専門家との親和スコアで、計算方法は以下の通りです:

si,t=Softmaxi(ut⊤ei)s_{i,t} = \text{Softmax}_i\bigl(u_t^\top e_i\bigr)

eie_i は専門家 ii の学習可能なルーティングベクトルです。論文は centroid と呼びますが、データをクラスタリングして固定した重心ではありません。

MoE モデルでは、専門家が複数のデバイスに分散されている場合、各トークンのルーティング決定にはデバイス間通信が必要になることがあります。もし活性化された専門家が多い場合、追加の通信コストが発生します。このコストを管理するために、DeepSeekMoE はデバイス制限付きルーティングメカニズムを採用しています:

  1. 各トークンについて、まず全てのデバイスからMM個の最も高い親和スコアを持つデバイスを選びます。
  2. 次に、そのMM個のデバイス内で Top-K 専門家を選択します。

論文の実験では、M≥3M \ge 3なら、制限なしのTop-K選択に近い性能でした。この制限は、トークンが通信するデバイスの範囲を抑えるために設けられています。

この戦略の核心は、モデルのルーティング品質とデバイス間の通信負担をバランスよく調整することで、大規模分散環境において高い計算効率を実現することにあります。

補助バランス損失

MoE モデルでは、特定の専門家が過剰に活性化される(または完全に使用されない)問題が発生しやすく、これが「ルーティング崩壊」を引き起こすだけでなく、計算効率も低下させます。これに対処するために、DeepSeekMoE は負荷均衡を促進するための 3 つの補助的な損失関数を設計しました:

  1. 専門家レベルのバランス損失(Expert-Level Balance Loss)

    LExpBal=α1∑i=1Nrfi PiL_{ExpBal} = \alpha_1 \sum_{i=1}^{N_r} f_i\, P_i

    ここで、

    fi=NrKr T∑t=1T1(Token t is routed to Expert i)f_i = \frac{N_r}{K_r\,T} \sum_{t=1}^{T} 1(\text{Token } t \text{ is routed to Expert } i) Pi=1T∑t=1Tsi,tP_i = \frac{1}{T} \sum_{t=1}^{T} s_{i,t}
    • TT はシーケンス内のトークンの総数、
    • 1(⋅)1(\cdot) は指示関数、
    • α1\alpha_1 は損失の重みを調整するためのハイパーパラメータです。

    この損失関数は、各ルーティング専門家の活性化頻度と平均親和スコアがバランスを保つように設計されています。


  1. デバイスレベルのバランス損失(Device-Level Balance Loss)

    すべてのルーティング専門家をDD組(各EiE_iは同じデバイス上に配置)に分け、損失を次のように定義します:

    LDevBal=α2∑i=1Dfi′ Pi′L_{DevBal} = \alpha_2 \sum_{i=1}^{D} f'_i\, P'_i

    ここで、

    fi′=1∣Ei∣∑j∈Eifjf'_i = \frac{1}{|E_i|} \sum_{j \in E_i} f_j Pi′=∑j∈EiPjP'_i = \sum_{j \in E_i} P_j
    • α2\alpha_2 はデバイスレベルのバランスのためのハイパーパラメータです。

    これは、異なるデバイス間で計算負荷のバランスを取るために役立ち、特定のデバイスが過負荷になりボトルネックになるのを防ぎます。


  1. 通信バランス損失(Communication Balance Loss)

    デバイス制限付きルーティングを採用しても、特定のデバイスが他のデバイスよりも多くのトークンを受信する場合、通信効率に影響を与える可能性があるため、次の損失関数を導入します:

    LCommBal=α3∑i=1Dfi′′ Pi′′L_{CommBal} = \alpha_3 \sum_{i=1}^{D} f''_i\, P''_i

    ここで、

    fi′′=DM T∑t=1T1(Token t がデバイス i に送信された場合)f''_i = \frac{D}{M\,T} \sum_{t=1}^{T} 1(\text{Token } t \text{ がデバイス } i \text{ に送信された場合}) Pi′′=∑j∈EiPjP''_i = \sum_{j \in E_i} P_j
    • α3\alpha_3 は通信バランスのためのハイパーパラメータです。

    この設計は、各デバイス間の通信量が近くなるように促し、デバイス間での計算調整効率を向上させます。


最後に、バランス損失に加えて、研究チームはデバイスレベルのトークン廃棄戦略を導入し、負荷不均衡による計算浪費をさらに軽減しました。具体的な方法は次の通りです:

  1. 各デバイスの平均計算予算を計算し、各デバイスの容量係数が 1.0 になるようにします。
  2. 各デバイス上で親和スコアが最も低いトークンを廃棄し、計算予算に達するまで続けます。
  3. 学習系列の約 10% に属する token をまとめて保護します。個々の token を無作為に 10% 選ぶ方式ではありません。

推論時のドロップ有無は効率要件に応じて選べますが、論文の評価ではドロップしません。一部の系列を保護することで、この設定にも学習信号を残しています。

訓練戦略

論文では、DeepSeek 67B と同じデータ処理フローが保持されていますが、以下の改善が行われました:

  • データ量の拡大: データクリーンアッププロセスを最適化し、以前に誤って削除された大量のデータを復元しました。
  • データ品質の向上: とくに中国語を含む高品質なデータを増やしました。最終的な8.1Tトークンのコーパスでは、中国語トークンの総数が英語より約12%多くなっています。品質によるフィルタリングも改善し、有益でない情報を取り除きつつ価値のある内容を残しました。
  • 論争的なコンテンツのフィルタリング: この戦略は、特定の地域文化からの偏見を減らすことを目的としています。

Tokenizer は DeepSeek 67B と同じ Byte-level Byte-Pair Encoding(BBPE)アルゴリズムを使用し、語彙サイズは 100K に設定され、最終的な事前学習コーパスは 8.1T トークンを含んでいます。

モデルのハイパーパラメータ設定は次の通りです:

  • Transformer 層数:60 層
  • 隠れ層の次元:5120
  • すべての学習可能なパラメータのランダム初期化時の標準偏差は 0.006 に設定
  • MLA 関連:
    • 注意ヘッド数nhn_hは 128 に設定
    • 各ヘッドの次元dhd_hは 128
    • KV 圧縮次元dcd_cは 512
    • クエリ圧縮次元dc′d'_cは 1536
    • 解耦されたクエリとキーの各ヘッド次元dhRd^R_hは 64

MoE 層の設定は次の通りです:最初の層を除き、残りの FFN 層はすべて MoE 層に置き換えられています。

  • 各 MoE 層には 2 つの共有専門家と 160 のルーティング専門家が含まれています
  • 各専門家の中間隠れ次元は 1536
  • 各トークンは 6 つのルーティング専門家を活性化
  • 低ランク圧縮と細粒度な専門家分割が層出力に与える影響に対応するため、論文では RMS Norm 層と追加のスケーリングファクターを導入し、訓練の安定性を確保

最終的に、DeepSeek-V2 の総パラメータ数は 236B に達しますが、各トークンで活性化されるパラメータは 21B にとどまります。

訓練のハイパーパラメータは次の通りです:

  • オプティマイザ:AdamW、ハイパーパラメータβ1=0.9\beta_1=0.9、β2=0.95\beta_2=0.95、weight_decay=0.1
  • 学習率スケジューリング:最初の 2000 ステップで線形増加、その後、予め定めた割合(約 60%と 90%のトークン数)でそれぞれ 0.316 を掛ける、最大学習率 2.4×10⁻⁴
  • 勾配クリッピングは 1.0 に設定
  • バッチサイズは段階的に調整され、2304 から 9216 に増加、その後は 9216 を維持
  • 最大シーケンス長は 4K に設定し、8.1T トークンで訓練
  • その他の並列化設定:
    • パイプライン並列化を利用して異なる層を異なるデバイスにデプロイ
    • ルーティング専門家は 8 つのデバイスに均等にデプロイ(D=8D=8)
    • デバイス制限付きルーティングは各トークンが最大 3 台のデバイスに送信されるように設定(M=3M=3)
    • 補助バランス損失のハイパーパラメータはそれぞれα1=0.003\alpha_1=0.003、α2=0.05\alpha_2=0.05、α3=0.02\alpha_3=0.02に設定
    • 訓練中にトークン廃棄戦略を使用して加速し、評価時にはトークンを廃棄しない

初期事前学習が完了した後、研究チームは YaRN メソッドを使用して、モデルのデフォルトのコンテキストウィンドウを 4K から 128K に拡張しました。

特に、RoPE を運ぶための解耦共有キーktRk^R_tに対して拡張を行い、パラメータを次のように設定しました:スケールs=40s=40、α=1\alpha=1、β=32\beta=32、最大コンテキスト長は 160K に設定されました。

ユニークな注意機構に適応するため、長さスケーリングファクターを調整し、t\sqrt{t}の計算式は次のように設定しました:

t=0.0707ln⁡s+1\sqrt{t} = 0.0707 \ln s + 1

これにより、perplexity の最小化を目指しました。

長いコンテキストへの拡張では、系列長32K、バッチサイズ576系列で、追加の学習を1000ステップ行いました。「Needle In A Haystack」(NIAH)テストでは、最大128Kまでの評価対象となった系列長で良好な結果を示しています。

モデルのアライメント

モデルが人間の好みにより適合し、回答の正確性と満足度を向上させるために、著者は強化学習を用いた調整を行いました。ここで使用されているのは、Group Relative Policy Optimization(GRPO)アルゴリズムであり、その主な利点はトレーニングコストの節約です。なぜなら、このアルゴリズムでは、戦略モデルと同じ規模の批評家モデルを必要とせず、代わりにグループスコアを用いてベースラインを推定します。

強化学習のトレーニング戦略は 2 つの段階に分かれています:

  • 第一段階:推論アライメント(Reasoning Alignment)

    この段階では、著者はプログラミングや数学などの推論タスクに特化した報酬モデル RMreasoningRM_{\text{reasoning}} をトレーニングします:

    ri=RMreasoning(oi)r_i = RM_{\text{reasoning}}(o_i)

    このフィードバックで、モデルの数学・コード課題の解答能力を高めます。

  • 第二段階:人間の好みアライメント(Human Preference Alignment)

    この段階では、複数の報酬フレームワークが使用され、3 つの側面から報酬を得ます:

    • 有用性の報酬モデル RMhelpfulRM_{\text{helpful}}
    • 安全性報酬モデル RMsafetyRM_{\text{safety}}
    • 規則に基づく報酬モデル RMruleRM_{\text{rule}}

    最終的に、ある応答 oio_i に対する報酬値は次のように計算されます:

    ri=c1⋅RMhelpful(oi)+c2⋅RMsafety(oi)+c3⋅RMrule(oi)r_i = c_1 \cdot RM_{\text{helpful}}(o_i) + c_2 \cdot RM_{\text{safety}}(o_i) + c_3 \cdot RM_{\text{rule}}(o_i)

    ここで c1,c2,c3c_1, c_2, c_3 はそれぞれの係数です。この多報酬設計により、モデルは応答を生成する際に複数の品質指標を同時に考慮することができます。

信頼性のある報酬信号を得るために、研究チームは大量の選好データを収集しました:

  • プログラミングタスクの選好データはコンパイラのフィードバックに基づいています。
  • 数学タスクの選好データは正解ラベルに基づいています。

報酬モデルはDeepSeek-V2 Chat (SFT) で初期化し、回答を個別に評価する損失か、回答の組を比較する損失で学習しました。

討論

篇幅の関係で、ここでは AlignBench の結果を見てみましょう。その他の実験結果に興味がある方は、元の論文を参照してください。

表は、AlignBenchの総合点が高い順にモデルを並べています。採点者はGPT-4-0613で、これは中国語の自由回答に関するモデル判定の結果です。順位は、この設問とモデル版の範囲で読む必要があります。

DeepSeek-V2 Chat (RL)の総合点は7.91で、SFTの7.74を上回ります。両者とも表中のオープンソースモデルを上回り、Qwen1.5-72B-Chatは7.19です。RL後は中国語推論の平均が7.30から7.45、言語の平均が8.17から8.36に上がりましたが、論理推論は7.26から7.14に下がりました。

「中国語の理解」はRLが8.28で、GPT-4-1106-Previewの7.33より高い一方、ERNIEBot-4.0-202404の8.53より低い値です。推論の平均もRLが7.45で、ERNIEBotの7.61とGPT-4-1106-Previewの7.73を下回ります。

このAlignBench表は中国語の課題だけを扱います。別の英語対話評価であるTable 4では、RL後にMT-Benchが8.62から8.97、AlpacaEval 2.0の長さ制御勝率が30.0から38.9に上がりました。調整の効果と例外は、評価ごとに分けて読む必要があります。

結論

DeepSeek‑V2 は MoE アーキテクチャに基づいた大規模言語モデルで、最大 128K のコンテキスト長をサポートします。

このモデルは次の 2 つの革新的な技術を活用しています:

  • Multi-head Latent Attention: 低ランクのキー・バリュー結合圧縮を通じて、推論時の KV キャッシュの要求を大幅に削減し、推論効率を向上させました。
  • DeepSeekMoE: 細粒度な専門家分割と共有専門家の設計を通じて、低コストで強力なモデルを訓練する目標を達成しました。

前のバージョン DeepSeek LLM 67B と比較して、DeepSeek‑V2 は以下の点で優れています:

  • トレーニングコストは 42.5%削減
  • KV キャッシュは 93.3%削減
  • 生成スループットは 5.76 倍向上

全体のパラメータ数は 236B に達しますが、各トークンで活性化されるパラメータは 21B にとどまり、モデルは経済性とパフォーマンスの間で優れたバランスを達成しています。これにより、論文発表当時の公開 MoE 比較では競争力を示しました。報告されたスループットは論文の配備条件に依存します。