Retour à la bibliothèque
arXiv 2026DeepSeekNotes de lecture

DeepSeek-V4

Retenir plus, calculer moins

Article original

DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence

Auteurs de l’article

DeepSeek-AI · Anyi Xu · Bangcai Lin …

Afficher les 319 auteurs

DeepSeek-AI · Anyi Xu · Bangcai Lin · Bing Xue · Bingxuan Wang · Bingzheng Xu · Bochao Wu · Bowei Zhang · Chaofan Lin · Chen Dong · Chenchen Ling · Chengda Lu · Chenggang Zhao · Chengqi Deng · Chengyu Hou · Chenhao Xu · Chenze Shao · Chong Ruan · Conner Sun · Damai Dai · Daya Guo · Dejian Yang · Deli Chen · Donghao Li · Dongjie Ji · Erhang Li · Fang Wei · Fangyun Lin · Fangzhou Yuan · Feiyu Xia · Fucong Dai · Guangbo Hao · Guanting Chen · Guoai Cao · Guolai Meng · Guowei Li · Han Yu · Han Zhang · Hanwei Xu · Hao Li · Haofen Liang · Haoling Zhang · Haoming Luo · Haoran Wei · Haotian Yuan · Haowei Zhang · Haowen Luo · Haoyu Chen · Haozhe Ji · Hengqing Zhang · Honghui Ding · Hongxuan Tang · Huanqi Cao · Huazuo Gao · Hui Qu · Hui Zeng · J Yang · JQ Zhu · Jia Luo · Jia Song · Jia Yu · Jialiang Huang · Jialu Cai · Jian Liang · Jiangting Zhou · Jiasheng Ye · Jiashi Li · Jiaxin Xu · Jiewen Hu · Jieyu Yang · Jin Chen · Jin Yan · Jingchang Chen · Jingli Zhou · Jingting Xiang · Jingyang Yuan · Jingyuan Cheng · Jingzi Zhou · Jinhua Zhu · Jiping Yu · Joseph Sun · Jun Ran · Junguang Jiang · Junjie Qiu · Junlong Li · Junmin Zheng · Junxiao Song · Kai Dong · Kaige Gao · Kang Guan · Kexing Zhou · Kezhao Huang · Kuai Yu · Lean Wang · Lecong Zhang · Lei Wang · Leyi Xia · Li Zhang · Liang Zhao · Lihua Guo · Lingxiao Luo · Linwang Ma · Linyan Zhu · Litong Wang · Liyu Cai · Liyue Zhang · Longhao Chen · MS Di · MY Xu · Max Mei · Miaojun Wang · Mingchuan Zhang · Minghua Zhang · Minghui Tang · Mingming Li · Mingxu Zhou · Minmin Han · Ning Wang · Panpan Huang · Panpan Wang · Peixin Cong · Peiyi Wang · Peng Zhang · Qiancheng Wang · Qihao Zhu · Qingyang Li · Qinyu Chen · Qiushi Du · Qiwei Jiang · Rui Tian · Ruifan Xu · Ruijie Lu · Ruiling Xu · Ruiqi Ge · Ruisong Zhang · Ruizhe Pan · Runji Wang · Runqian Chen · Runqiu Yin · Runxin Xu · Ruomeng Shen · Ruoyu Zhang · Ruyi Chen · SH Liu · Shanghao Lu · Shangmian Sun · Shangyan Zhou · Shanhuang Chen · Shaofei Cai · Shaoheng Nie · Shaoqing Wu · Shaoyuan Chen · Shengding Hu · Shengyu Liu · Shiqiang Hu · Shirong Ma · Shiyu Wang · Shuiping Yu · Shunfeng Zhou · Shuting Pan · Shuying Yu · Songyang Zhou · Tao Ni · Tao Yun · Tian Jin · Tian Pei · Tian Ye · Tianle Lin · Tianran Ji · Tianyi Cui · Tianyuan Yue · Tingting Yu · Tun Wang · W Zhang · WL Xiao · Wangding Zeng · Wei An · Weilin Zhao · Wen Liu · Wenfeng Liang · Wenjie Pang · Wenjing Luo · Wenjing Yao · Wenjun Gao · Wenkai Yang · Wenlve Huang · Wenqing Hou · Wentao Zhang · Wenting Ma · Xi Gao · Xiang He · Xiangwen Wang · Xianzu Wang · Xiao Bi · Xiaodong Liu · Xiaohan Wang · Xiaokang Chen · Xiaokang Zhang · Xiaotao Nie · Xiaowen Sun · Xiaoxiang Wang · Xin Cheng · Xin Liu · Xin Xie · Xingchao Liu · Xingchen Liu · Xingkai Yu · Xingyou Li · Xinyu Yang · Xinyu Zhang · Xu Chen · Xuanyu Wang · Xuecheng Su · Xueyin Chen · Xuheng Lin · Xuwei Fu · YC Yan · YQ Wang · YW Ma · Yanfeng Luo · Yang Zhang · Yanhong Xu · Yanru Ma · Yanwen Huang · Yao Li · Yao Li · Yao Xu · Yao Zhao · Yaofeng Sun · Yaohui Wang · Yi Qian · Yi Shao · Yi Yu · Yichao Zhang · Yifan Ding · Yifan Shi · Yijia Wu · Yiliang Xiong · Yiling Ma · Ying He · Ying Tang · Ying Zhou · Yingjia Luo · Yinmin Zhong · Yishi Piao · Yisong Wang · Yixiang Zhang · Yixiao Chen · Yixuan Tan · Yixuan Wei · Yiyang Ma · Yiyuan Liu · Yonglun Yang · Yongqiang Guo · Yongtong Wu · Yu Wu · YuKun Li · Yuan Cheng · Yuan Ou · Yuanfan Xu · Yuanhao Li · Yuduan Wang · Yuehan Yang · Yuer Xu · Yuhan Wu · Yuhao Meng · Yuheng Zou · Yukun Zha · Yunfan Xiong · Yupeng Chen · Yuping Lin · Yuqian Cao · Yuqian Wang · Yushun Zhang · Yuting Yan · Yutong Lin · Yuxian Gu · Yuxiang Luo · Yuxiang You · Yuxuan Liu · Yuxuan Zhou · Yuyang Zhou · Yuzhen Huang · ZF Wu · Zehao Wang · Zehua Zhao · Zehui Ren · Zekai Zhang · Zhangli Sha · Zhe Fu · Zhe Ju · Zhean Xu · Zhenda Xie · Zhengyan Zhang · Zheren Gao · Zhewen Hao · Zhibin Gou · Zhicheng Ma · Zhigang Yan · Zhihong Shao · Zhixian Huang · Zhixuan Chen · Zhiyu Wu · Zhizhou Ren · Zhongyu Wu · Zhuoshu Li · Zhuping Zhang · Zian Xu · Zihao Wang · Zihua Qu · Zihui Gu · Zijia Zhu · Zilin Li · Zipeng Zhang · Ziwei Xie · Ziyi Gao · Ziyi Wan · Zizheng Pan · Zongqing Yao

Publication
Lieu de publication non encore vérifié
Premier dépôt sur arXiv
arXiv:2606.19348
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{deepseekdeepseekv42026,
  title = {{DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence}},
  author = {DeepSeek-AI and Anyi Xu and Bangcai Lin and Bing Xue and Bingxuan Wang and Bingzheng Xu and Bochao Wu and Bowei Zhang and Chaofan Lin and Chen Dong and Chenchen Ling and Chengda Lu and Chenggang Zhao and Chengqi Deng and Chengyu Hou and Chenhao Xu and Chenze Shao and Chong Ruan and Conner Sun and Damai Dai and Daya Guo and Dejian Yang and Deli Chen and Donghao Li and Dongjie Ji and Erhang Li and Fang Wei and Fangyun Lin and Fangzhou Yuan and Feiyu Xia and Fucong Dai and Guangbo Hao and Guanting Chen and Guoai Cao and Guolai Meng and Guowei Li and Han Yu and Han Zhang and Hanwei Xu and Hao Li and Haofen Liang and Haoling Zhang and Haoming Luo and Haoran Wei and Haotian Yuan and Haowei Zhang and Haowen Luo and Haoyu Chen and Haozhe Ji and Hengqing Zhang and Honghui Ding and Hongxuan Tang and Huanqi Cao and Huazuo Gao and Hui Qu and Hui Zeng and J Yang and JQ Zhu and Jia Luo and Jia Song and Jia Yu and Jialiang Huang and Jialu Cai and Jian Liang and Jiangting Zhou and Jiasheng Ye and Jiashi Li and Jiaxin Xu and Jiewen Hu and Jieyu Yang and Jin Chen and Jin Yan and Jingchang Chen and Jingli Zhou and Jingting Xiang and Jingyang Yuan and Jingyuan Cheng and Jingzi Zhou and Jinhua Zhu and Jiping Yu and Joseph Sun and Jun Ran and Junguang Jiang and Junjie Qiu and Junlong Li and Junmin Zheng and Junxiao Song and Kai Dong and Kaige Gao and Kang Guan and Kexing Zhou and Kezhao Huang and Kuai Yu and Lean Wang and Lecong Zhang and Lei Wang and Leyi Xia and Li Zhang and Liang Zhao and Lihua Guo and Lingxiao Luo and Linwang Ma and Linyan Zhu and Litong Wang and Liyu Cai and Liyue Zhang and Longhao Chen and MS Di and MY Xu and Max Mei and Miaojun Wang and Mingchuan Zhang and Minghua Zhang and Minghui Tang and Mingming Li and Mingxu Zhou and Minmin Han and Ning Wang and Panpan Huang and Panpan Wang and Peixin Cong and Peiyi Wang and Peng Zhang and Qiancheng Wang and Qihao Zhu and Qingyang Li and Qinyu Chen and Qiushi Du and Qiwei Jiang and Rui Tian and Ruifan Xu and Ruijie Lu and Ruiling Xu and Ruiqi Ge and Ruisong Zhang and Ruizhe Pan and Runji Wang and Runqian Chen and Runqiu Yin and Runxin Xu and Ruomeng Shen and Ruoyu Zhang and Ruyi Chen and SH Liu and Shanghao Lu and Shangmian Sun and Shangyan Zhou and Shanhuang Chen and Shaofei Cai and Shaoheng Nie and Shaoqing Wu and Shaoyuan Chen and Shengding Hu and Shengyu Liu and Shiqiang Hu and Shirong Ma and Shiyu Wang and Shuiping Yu and Shunfeng Zhou and Shuting Pan and Shuying Yu and Songyang Zhou and Tao Ni and Tao Yun and Tian Jin and Tian Pei and Tian Ye and Tianle Lin and Tianran Ji and Tianyi Cui and Tianyuan Yue and Tingting Yu and Tun Wang and W Zhang and WL Xiao and Wangding Zeng and Wei An and Weilin Zhao and Wen Liu and Wenfeng Liang and Wenjie Pang and Wenjing Luo and Wenjing Yao and Wenjun Gao and Wenkai Yang and Wenlve Huang and Wenqing Hou and Wentao Zhang and Wenting Ma and Xi Gao and Xiang He and Xiangwen Wang and Xianzu Wang and Xiao Bi and Xiaodong Liu and Xiaohan Wang and Xiaokang Chen and Xiaokang Zhang and Xiaotao Nie and Xiaowen Sun and Xiaoxiang Wang and Xin Cheng and Xin Liu and Xin Xie and Xingchao Liu and Xingchen Liu and Xingkai Yu and Xingyou Li and Xinyu Yang and Xinyu Zhang and Xu Chen and Xuanyu Wang and Xuecheng Su and Xueyin Chen and Xuheng Lin and Xuwei Fu and YC Yan and YQ Wang and YW Ma and Yanfeng Luo and Yang Zhang and Yanhong Xu and Yanru Ma and Yanwen Huang and Yao Li and Yao Li and Yao Xu and Yao Zhao and Yaofeng Sun and Yaohui Wang and Yi Qian and Yi Shao and Yi Yu and Yichao Zhang and Yifan Ding and Yifan Shi and Yijia Wu and Yiliang Xiong and Yiling Ma and Ying He and Ying Tang and Ying Zhou and Yingjia Luo and Yinmin Zhong and Yishi Piao and Yisong Wang and Yixiang Zhang and Yixiao Chen and Yixuan Tan and Yixuan Wei and Yiyang Ma and Yiyuan Liu and Yonglun Yang and Yongqiang Guo and Yongtong Wu and Yu Wu and YuKun Li and Yuan Cheng and Yuan Ou and Yuanfan Xu and Yuanhao Li and Yuduan Wang and Yuehan Yang and Yuer Xu and Yuhan Wu and Yuhao Meng and Yuheng Zou and Yukun Zha and Yunfan Xiong and Yupeng Chen and Yuping Lin and Yuqian Cao and Yuqian Wang and Yushun Zhang and Yuting Yan and Yutong Lin and Yuxian Gu and Yuxiang Luo and Yuxiang You and Yuxuan Liu and Yuxuan Zhou and Yuyang Zhou and Yuzhen Huang and ZF Wu and Zehao Wang and Zehua Zhao and Zehui Ren and Zekai Zhang and Zhangli Sha and Zhe Fu and Zhe Ju and Zhean Xu and Zhenda Xie and Zhengyan Zhang and Zheren Gao and Zhewen Hao and Zhibin Gou and Zhicheng Ma and Zhigang Yan and Zhihong Shao and Zhixian Huang and Zhixuan Chen and Zhiyu Wu and Zhizhou Ren and Zhongyu Wu and Zhuoshu Li and Zhuping Zhang and Zian Xu and Zihao Wang and Zihua Qu and Zihui Gu and Zijia Zhu and Zilin Li and Zipeng Zhang and Ziwei Xie and Ziyi Gao and Ziyi Wan and Zizheng Pan and Zongqing Yao},
  year = {2026},
  eprint = {2606.19348},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2606.19348}
}
Sur cette page

De DeepSeek-V3 à DeepSeek-R1, cette série poursuit toujours le même but : obtenir des modèles plus forts avec moins de calcul.

L'arrivée des modèles de raisonnement a ajouté une nouvelle difficulté. Le modèle doit d'abord écrire un long raisonnement avant de répondre, et les tâches d'agent l'obligent en plus à travailler dans de très longs historiques d'appels d'outils ; le contexte atteint facilement plusieurs centaines de milliers de tokens. Le calcul de l'attention standard croît avec le carré de la longueur, et le cache KV grandit linéairement avec elle. Dès que le contexte s'allonge, le coût d'inférence est entièrement dévoré par l'attention.

DeepSeek-V4 est la réponse à ce problème. Le rapport publie une préversion, avec deux modèles : DeepSeek-V4-Pro, 1.6T paramètres au total et 49B actifs par token ; DeepSeek-V4-Flash, 284B au total et 13B actifs. Tous deux prennent en charge nativement un contexte d'un million de tokens, et leurs poids sont publiés.

Le rapport apporte trois nouveautés d'architecture : CSA et HCA, deux attentions compressées utilisées en combinaison ; mHC, qui remplace les connexions résiduelles classiques ; et l'optimiseur Muon. Le post-entraînement comporte en outre un changement décisif du point de vue de la fusion de modèles. DeepSeek n'intègre plus les capacités des modèles experts par fusion des poids ni par apprentissage par renforcement mixte, mais par distillation on-policy à plusieurs enseignants.

Définir le problème

Figure 1 de l'article : à gauche, un diagramme en barres comparant DeepSeek-V4-Pro-Max (hachuré), Claude-Opus-4.6-Max, GPT-5.4-xHigh et Gemini-3.1-Pro-High sur SimpleQA Verified, HLE, Apex Shortlist, Codeforces, SWE Verified, Terminal Bench 2.0 et Toolathlon. En haut à droite, les FLOPs d'inférence d'un seul token en fonction de sa position (de 0 à 1 024K) : la courbe pointillée de DeepSeek-V3.2 monte jusqu'à environ 1.15T, V4-Pro reste vers 0.31T, avec la mention 3.7 fois moins, et V4-Flash vers 0.12T, avec la mention 9.8 fois moins. En bas à droite, la taille cumulée du cache KV en fonction de la longueur de séquence : à 1M, V3.2 atteint environ 48 GB, V4-Pro environ 5 GB, 9.5 fois moins, et V4-Flash environ 3.5 GB, 13.7 fois moins.
Figure 1 de l'article de DeepSeek-AI, extraite de la page 1 du PDF, licence arXiv, citation académique.

Regardons d'abord les deux graphiques de droite, qui résument l'objectif de tout le rapport.

En haut à droite, le calcul nécessaire pour générer un token, avec en abscisse la position de ce token dans le contexte. La courbe pointillée de la génération précédente, DeepSeek-V3.2, monte presque en ligne droite : plus la position est tardive, plus chaque token coûte cher. À un million de tokens, V4-Pro n'a besoin que de 27 % du calcul de V3.2, et V4-Flash de 10 %.

En bas à droite, le cache KV. Toujours à un million de tokens, V4-Pro n'a besoin que de 10 % de celui de V3.2, et V4-Flash de 7 %.

Précisons que V3.2 utilise déjà une attention clairsemée et n'a donc rien d'une référence dispendieuse ; de plus, V4-Pro active même plus de paramètres par token que V3.2. L'écart sur ces deux graphiques vient donc surtout de la refonte de l'attention.

À gauche, la configuration la plus forte, DeepSeek-V4-Pro-Max, est comparée à trois modèles fermés ; nous y reviendrons dans la discussion.

Résoudre le problème

Architecture d'ensemble

Figure 2 de l'article : l'architecture d'ensemble de DeepSeek-V4. Les tokens d'entrée passent par la couche d'embedding puis entrent dans L blocs Transformer. Dans chaque bloc, le flux résiduel est dessiné comme quatre vecteurs empilés (le résiduel élargi) ; il passe d'abord par le mélange résiduel (Residual Mixing) et le mélange pré-bloc (Pre-Block Mixing), qui produisent une entrée unique envoyée à l'attention CSA/HCA ; la sortie passe par le mélange post-bloc (Post-Block Mixing) et est rajoutée au flux résiduel ; vient ensuite, de la même manière, DeepSeekMoE. Tout en haut, la tête de prédiction et le module MTP calculent respectivement la perte de modèle de langage et la perte de prédiction multi-token.
Figure 2 de l'article de DeepSeek-AI, extraite de la page 6 du PDF, licence arXiv, citation académique.

L'essentiel reprend DeepSeek-V3 : la couche feed-forward est DeepSeekMoE, avec experts partagés et experts routés à grain fin ; l'équilibrage de charge passe par un ajustement de biais sans perte auxiliaire, et la prédiction multi-token (MTP) est conservée. Il y a deux petits changements. La fonction qui calcule l'affinité de routage passe de Sigmoid à Softplus(⋅)\sqrt{\text{Softplus}(\cdot)} ; et les toutes premières couches, autrefois des couches feed-forward denses, deviennent elles aussi des MoE, mais avec un routage par hachage, qui choisit directement l'expert d'après l'ID du token.

Le plus visible sur la figure, c'est le flux résiduel dessiné comme quatre vecteurs empilés : c'est mHC.

mHC : élargir le flux résiduel, puis le contraindre

Une connexion résiduelle ordinaire s'écrit xl+1=xl+Fl(xl)x_{l+1}=x_l+F_l(x_l) : il n'y a qu'un seul flux résiduel, de largeur égale à la dimension cachée dd.

Hyper-Connections (HC) élargit le flux résiduel en nhcn_{hc} copies ; l'état devient Xl∈Rnhc×dX_l\in\mathbb{R}^{n_{hc}\times d}, et trois petites matrices décident de la lecture et de l'écriture :

Xl+1=BlXl+Cl Fl(AlXl)X_{l+1}=B_l X_l + C_l\,F_l(A_l X_l)

Al∈R1×nhcA_l\in\mathbb{R}^{1\times n_{hc}} mélange les nhcn_{hc} copies résiduelles en une seule, qui sert d'entrée à la couche ; Cl∈Rnhc×1C_l\in\mathbb{R}^{n_{hc}\times1} répartit la sortie de la couche sur les différentes copies ; Bl∈Rnhc×nhcB_l\in\mathbb{R}^{n_{hc}\times n_{hc}} mélange les copies entre elles. L'entrée et la sortie de la couche restent de dimension dd, donc sa conception interne n'a pas à changer ; et comme nhcn_{hc} est bien plus petit que dd, le calcul supplémentaire est minime.

Le problème de HC est qu'après empilement de nombreuses couches, les valeurs deviennent facilement instables. La raison se devine sans peine. Chaque couche multiplie par une BlB_l, et si sa norme spectrale dépasse 1, le signal explose au bout de quelques dizaines de couches.

mHC (Manifold-Constrained HC) contraint BlB_l à être une matrice doublement stochastique : tous ses éléments sont positifs ou nuls, et la somme de chaque ligne comme de chaque colonne vaut 1. La norme spectrale d'une matrice doublement stochastique vaut exactement 1, elle n'amplifie donc pas le signal ; le produit de deux matrices doublement stochastiques est encore doublement stochastique, si bien que cela reste vrai quel que soit le nombre de couches empilées. AlA_l et ClC_l sont quant à elles rendues non négatives et bornées par une Sigmoid, pour éviter que les signaux s'annulent entre eux.

Pour projeter une matrice quelconque sur les matrices doublement stochastiques, on utilise l'algorithme de Sinkhorn-Knopp : on prend d'abord l'exponentielle pour rendre tous les éléments positifs, puis on alterne normalisation des colonnes et normalisation des lignes. V4 fait 20 itérations. Essayons avec nhc=4n_{hc}=4 :

python
import numpy as np

rng = np.random.default_rng(0)
B_raw = rng.normal(scale=2.0, size=(4, 4))          # matrice de mélange résiduel sans contrainte (n_hc = 4)
print("Norme spectrale avant contrainte :", round(np.linalg.norm(B_raw, 2), 3))

M = np.exp(B_raw)                                     # exponentielle d'abord : chaque élément devient positif
for _ in range(20):                                   # t_max = 20
    M = M / M.sum(axis=0, keepdims=True)              # somme de chaque colonne = 1
    M = M / M.sum(axis=1, keepdims=True)              # somme de chaque ligne = 1

print("Sommes des lignes :", np.round(M.sum(axis=1), 4))
print("Sommes des colonnes :", np.round(M.sum(axis=0), 4))
print("Norme spectrale après contrainte :", round(np.linalg.norm(M, 2), 4))

x = rng.normal(size=4)
y = x.copy()
for _ in range(60):                                   # le même mélange résiduel appliqué sur 60 couches
    y = M @ y
print("Norme de l'entrée :", round(np.linalg.norm(x), 3), " après 60 couches :", round(np.linalg.norm(y), 3))
text
Norme spectrale avant contrainte : 6.07
Sommes des lignes : [1. 1. 1. 1.]
Sommes des colonnes : [1. 1. 1. 1.]
Norme spectrale après contrainte : 1.0
Norme de l'entrée : 1.286  après 60 couches : 0.297

Avant contrainte, la norme spectrale de la matrice est de 6.07 : multipliée sur 60 couches, elle donnerait un nombre astronomique. Après projection, elle vaut 1.0, et sur 60 couches le signal ne fait que converger, sans exploser. Pour rendre l'effet bien visible, cet exemple utilise la même matrice pour les 60 couches ; dans un vrai modèle, chaque couche a sa propre BlB_l, mais chacune est doublement stochastique, et la conclusion est la même.

Les AlA_l, BlB_l et ClC_l réelles sont générées dynamiquement à partir de l'entrée. On aplatit XlX_l, on applique RMSNorm, puis une petite couche linéaire ; on ajoute un biais statique, on multiplie par un coefficient de porte initialement très petit, et l'on applique enfin les contraintes ci-dessus. Les deux modèles V4 utilisent nhc=4n_{hc}=4.

CSA et HCA : deux attentions compressées

L'attention est le goulot d'étranglement du long contexte. V4 conçoit deux types d'attention, utilisés en alternance.

CSA (Compressed Sparse Attention) compresse d'abord, puis sélectionne de façon clairsemée.

Figure 3 de l'article : la structure de CSA. En bas, une longue suite d'états cachés de tokens KV passe par un compresseur au niveau des tokens, qui compresse chaque groupe de m tokens en une entrée KV compressée. Dans le cadre pointillé de droite, le lightning indexer : l'état caché du token de requête produit des requêtes d'indexeur, qui font une attention multi-requêtes avec un autre ensemble de clés d'indexeur compressées ; on obtient un score d'index pour chaque entrée compressée, transmis à un sélecteur Top-k qui choisit les entrées KV compressées les plus pertinentes. À gauche, un ensemble d'entrées KV à fenêtre glissante est concaténé aux entrées KV compressées sélectionnées, et le tout est envoyé à une attention multi-requêtes à KV partagés.
Figure 3 de l'article de DeepSeek-AI, extraite de la page 9 du PDF, licence arXiv, citation académique.

Lisons de bas en haut.

Première étape, la compression. Les KV de chaque groupe de mm tokens sont compressés en une seule entrée ; les poids de compression sont donnés par une projection apprise plus un biais de position, passés dans un softmax, ce qui revient à une moyenne pondérée de ces mm tokens. V4 fixe m=4m=4.

Deuxième étape, la sélection. Elle reprend la DeepSeek Sparse Attention (DSA) de V3.2 : un lightning indexer léger note toutes les entrées compressées et ne garde que les kk les mieux notées. Pour V4-Pro, k=1024k=1024 ; pour V4-Flash, 512. L'indexeur lui-même calcule en précision FP4.

Troisième étape, compléter le voisinage. Une entrée compressée ne voit que « les blocs entiers précédents », et pas les autres tokens de son propre bloc ; de plus, un modèle de langage a généralement surtout besoin du contexte le plus récent. On ajoute donc une branche à fenêtre glissante, qui garde non compressés les 128 KV les plus récents.

Enfin, chaque entrée KV sert à la fois de clé et de valeur et est partagée par toutes les têtes de requête : c'est la forme de l'attention multi-requêtes (MQA).

HCA (Heavily Compressed Attention) compresse beaucoup plus fort : chaque groupe de m′=128m'=128 tokens donne une seule entrée, mais sans sélection clairsemée ; toutes les entrées compressées sont prises en compte, avec là aussi une fenêtre glissante de 128 tokens.

Faisons le calcul pour un million de tokens. Combien d'entrées KV chaque requête doit-elle regarder ?

AttentionEntrées KV après compressionEntrées réellement vues par requête
Attention standard1 000 0001 000 000
CSA (m=4m=4, k=1024k=1024 pour Pro)250 0001024+128=11521024+128=1152
HCA (m′=128m'=128)environ 7 813environ 7813+128=79417813+128=7941

CSA mise sur la sélection clairsemée : chaque requête ne regarde qu'un peu plus d'un millier d'entrées, mais triées sur le volet parmi 250 000 entrées compressées. HCA ne trie pas, mais chaque entrée représente 128 tokens et donne les contours grossiers de tout le contexte. En les alternant, l'une se charge de la recherche précise, l'autre de la vue d'ensemble.

La taille du cache KV dépend du nombre d'entrées à stocker après compression. Selon le rapport, par rapport à une référence courante en BF16, avec GQA à 8 groupes et une dimension de tête de 128, le cache KV de V4 à un million de tokens n'en représente qu'environ 2 %. Ce chiffre inclut d'autres économies, par exemple stocker en BF16 les dimensions RoPE des entrées KV et en FP8 les autres dimensions, ce qui économise presque la moitié.

Le rapport liste aussi quelques détails qui rendent cette conception entraînable : RMSNorm sur les requêtes et sur les entrées KV avant l'attention, pour éviter l'explosion des logits d'attention ; RoPE appliqué seulement aux 64 dernières dimensions ; un sink logit appris ajouté à l'attention, qui permet à la somme de l'attention d'une tête d'être inférieure à 1.

L'optimiseur Muon

V4 utilise l'optimiseur Muon pour la plupart de ses paramètres ; l'embedding, la tête de prédiction, les poids de RMSNorm et les biais statiques de mHC restent sous AdamW.

Le cœur de Muon est d'« orthogonaliser » la matrice de momentum, pour que toutes les valeurs singulières de la mise à jour soient proches de 1. La méthode exacte demanderait une décomposition en valeurs singulières, trop coûteuse ; on l'approche donc par des itérations de Newton-Schulz :

Mk=aMk−1+b (Mk−1Mk−1⊤)Mk−1+c (Mk−1Mk−1⊤)2Mk−1M_k = aM_{k-1}+b\,(M_{k-1}M_{k-1}^\top)M_{k-1}+c\,(M_{k-1}M_{k-1}^\top)^2M_{k-1}

V4 procède par 10 itérations « hybrides ». Les 8 premières utilisent (a,b,c)=(3.4445,−4.7750,2.0315)(a,b,c)=(3.4445,-4.7750,2.0315), qui poussent rapidement les valeurs singulières vers 1 ; les 2 dernières passent à (2,−1.5,0.5)(2,-1.5,0.5), qui les stabilisent à 1.

Comme l'architecture d'attention applique déjà RMSNorm aux requêtes et aux KV, les logits d'attention n'explosent pas, et V4 n'a pas besoin du QK-Clip qu'utilisent d'autres implémentations de Muon pour contenir les logits.

Préentraînement

Configuration

V4-FlashV4-Pro
Couches / dimension cachée43 / 4 09661 / 7 168
Experts routés (actifs par token)256 (6)384 (6)
Nombre de sélections CSA kk5121 024
Paramètres totaux / actifs284B / 13B1.6T / 49B
Tokens d'entraînement32T33T

Les deux modèles ont un taux de compression de 4 pour CSA et de 128 pour HCA, et leurs 3 premières couches MoE utilisent le routage par hachage. Les deux premières couches de V4-Flash n'utilisent que l'attention à fenêtre glissante, celles de V4-Pro utilisent HCA ; ensuite, CSA et HCA alternent.

L'entraînement commence avec des séquences de 4K, puis passe progressivement à 16K, 64K et 1M. L'attention clairsemée n'est pas utilisée dès le début. V4-Flash s'échauffe d'abord en attention dense sur les 1T premiers tokens (la phase dense de V4-Pro est plus longue) ; l'attention clairsemée n'est ajoutée qu'à la longueur de 64K, après un bref échauffement du lightning indexer. Le taux d'apprentissage reste constant la plupart du temps, puis décroît en cosinus jusqu'au dixième de sa valeur à la fin.

En phase de post-entraînement, les poids des experts routés et le chemin QK de l'indexeur passent aussi par un entraînement conscient de la quantification FP4, qui économise encore de la mémoire et du calcul.

Gérer les pics de perte

Quand on entraîne un MoE à des milliers de milliards de paramètres, les pics de perte sont difficiles à éviter. Les auteurs constatent qu'ils sont toujours liés à des valeurs aberrantes dans les couches MoE, et que le mécanisme de routage lui-même semble amplifier ces valeurs aberrantes, ce qui crée un cercle vicieux. Un simple retour en arrière ne règle le problème que temporairement ; les pics reviennent.

Ils ont trouvé deux remèdes efficaces, tout en reconnaissant franchement ne pas encore en comprendre le principe :

  1. Routage anticipé (Anticipatory Routing) : à l'étape tt, les caractéristiques sont calculées avec les paramètres courants θt\theta_t, mais la décision de routage l'est avec des paramètres un peu plus anciens, θt−Δt\theta_{t-\Delta t}, ce qui casse le cercle vicieux né de la mise à jour simultanée du réseau principal et du routeur. Cela ajoute environ 20 % de temps ; ce mode n'est donc pas activé en temps normal. Quand le système détecte un pic, il revient automatiquement un peu en arrière, active ce mode pendant un moment, puis le désactive.
  2. Écrêtage de SwiGLU : la branche linéaire de SwiGLU est bornée à [−10,10][-10,10] et la branche de porte plafonnée à 10, ce qui écrase directement les valeurs aberrantes.

Selon les auteurs, ces deux remèdes ont été efficaces dans l'entraînement de V4-Flash comme de V4-Pro, sans nuire aux performances.

Comparaison des modèles de base

Les auteurs comparent trois modèles de base, V3.2, V4-Flash et V4-Pro. Le plus intéressant est V4-Flash : avec moins de paramètres actifs et moins de paramètres au total que V3.2, il le bat pourtant sur la plupart des benchmarks, en particulier sur les tâches de connaissances et de long contexte.

Post-entraînement : de la fusion des poids à la distillation

Entraîner d'abord une équipe d'experts

La première étape du post-entraînement ressemble à celle de V3.2. Pour chaque domaine, un SFT suivi d'un apprentissage par renforcement avec GRPO produit une équipe de modèles experts.

L'intensité du raisonnement passe aussi par des experts. V4 a trois modes de raisonnement : sans réflexion, Think High et Think Max. Chaque mode est entraîné avec sa propre pénalité de longueur et sa propre longueur de contexte ; Think Max injecte en plus, au début du prompt système, une instruction qui demande au modèle de « fournir l'effort maximal, sans prendre de raccourci » et d'écrire tout son raisonnement.

Pour les tâches difficiles à vérifier, V4 n'entraîne plus de modèle de récompense qui produit un score ; il utilise des grilles d'évaluation avec un modèle de récompense génératif (GRM), et c'est le modèle de politique lui-même qui fait office de GRM, si bien que sa capacité de jugement et sa capacité de génération sont optimisées ensemble par l'apprentissage par renforcement.

Remplacer la fusion par la distillation

L'étape suivante est justement celle que cette note veut souligner.

Avec plus d'une dizaine d'experts, comment intégrer leurs capacités dans un seul modèle ? Command A utilise une fusion linéaire des poids ; V3.2, un apprentissage par renforcement mixte. V4 n'utilise ni l'un ni l'autre, mais une distillation on-policy à plusieurs enseignants (OPD) :

LOPD(θ)=∑i=1Nwi⋅DKL(πθ ∥ πEi)\mathcal{L}_{\text{OPD}}(\theta)=\sum_{i=1}^{N} w_i\cdot D_{\text{KL}}\big(\pi_\theta\,\|\,\pi_{E_i}\big)

πθ\pi_\theta est l'élève à entraîner, πEi\pi_{E_i} le ii-ème expert et wiw_i son poids. « On-policy » signifie que les données d'entraînement sont générées par l'élève lui-même, puis que chaque expert donne sa propre distribution de probabilité pour chaque token écrit par l'élève. C'est la KL inverse, DKL(πθ∥πEi)D_{\text{KL}}(\pi_\theta\|\pi_{E_i}) : sur un problème de maths, l'élève se rapproche naturellement de l'expert en mathématiques ; sur un problème de code, de l'expert en code.

Les auteurs donnent explicitement la raison de ce choix : aligner les connaissances au niveau des logits évite en pratique la dégradation des performances fréquente avec la fusion des poids classique ou l'apprentissage par renforcement mixte. Cette étape utilise plus d'une dizaine de modèles enseignants pour distiller un seul élève.

Dans le détail, les implémentations courantes d'OPD simplifient la KL sur tout le vocabulaire en ne regardant, à chaque position, que le token échantillonné, utilisé comme avantage pour l'apprentissage par renforcement. C'est économe en ressources, mais la variance du gradient est grande et l'entraînement instable. V4 s'en tient à une distillation des logits sur le vocabulaire complet, ce qui l'oblige à résoudre le problème d'ordonnancement posé par plus d'une dizaine d'enseignants fournissant en même temps des logits complets.

De Model Soups à Command A, l'argument de la fusion de modèles a toujours été son faible coût : pas de données, pas d'entraînement, une moyenne suffit. Le choix de V4 montre que, lorsqu'on dispose de données et de calcul, et que les experts à intégrer sont plus d'une dizaine, aux capacités très différentes, consentir le coût d'une distillation pour éviter les pertes de la fusion en vaut la peine pour DeepSeek.

La gestion du contexte pendant le raisonnement

Un contexte d'un million de tokens change aussi la façon de conserver le contenu du raisonnement. V3.2 conservait la réflexion entre les appels d'outils, mais dès que l'utilisateur envoyait un nouveau message, toute la réflexion précédente était abandonnée. Dans les scénarios avec appels d'outils, V4 conserve toute la réflexion de la conversation, y compris par-delà les messages de l'utilisateur ; pour la conversation ordinaire, il garde l'ancienne pratique. Le format des appels d'outils passe aussi à un style XML, qui, selon les auteurs, réduit les erreurs d'échappement et les échecs d'appels d'outils.

Discussion

Résultats

Moitié gauche de la Figure 1 de l'article : diagramme en barres comparant DeepSeek-V4-Pro-Max (hachuré), Claude-Opus-4.6-Max, GPT-5.4-xHigh et Gemini-3.1-Pro-High sur sept évaluations. Les quatre de gauche portent sur les connaissances et le raisonnement (SimpleQA Verified, HLE, Apex Shortlist, Codeforces), les trois de droite sur les capacités d'agent (SWE Verified, Terminal Bench 2.0, Toolathlon). V4-Pro-Max obtient dans l'ordre 57.9, 37.7, 90.2, une cote de 3206, 80.6, 67.9 et 51.8.
Moitié gauche de la Figure 1 de l'article de DeepSeek-AI, extraite de la page 1 du PDF, licence arXiv, citation académique.

Les barres hachurées sont V4-Pro-Max ; les trois autres sont les réglages de raisonnement les plus forts des modèles fermés.

En connaissances, V4-Pro-Max obtient 57.9 sur SimpleQA Verified, au-dessus des 46.2 de Claude-Opus-4.6-Max et des 45.3 de GPT-5.4-xHigh, mais nettement sous les 75.6 de Gemini-3.1-Pro-High ; sur HLE, il obtient 37.7, un peu sous les trois autres (40.0, 39.8, 44.4). En tâches d'agent, ses 80.6 sur SWE Verified sont presque identiques aux scores des autres modèles ; sur Terminal Bench 2.0, il obtient 67.9, derrière les 75.1 de GPT-5.4-xHigh.

Cela concorde avec la synthèse des auteurs eux-mêmes : les meilleurs résultats parmi les modèles ouverts, un raisonnement proche des modèles fermés de pointe, et des tâches d'agent au niveau des meilleurs modèles ouverts, un peu en retrait des modèles fermés de pointe.

V4-Flash-Max fait moins bien sur les connaissances, faute de paramètres, mais avec un budget de réflexion plus grand, il égale V4-Pro sur les tâches de raisonnement.

Les limites reconnues par les auteurs

La conclusion contient un passage très franc. Pour pousser à l'extrême l'efficacité en long contexte, l'architecture de V4 est assez audacieuse ; pour réduire les risques, elle conserve aussi de nombreux composants et petites astuces déjà validés, si bien que l'ensemble est devenu assez complexe. Les auteurs annoncent comme prochaine étape une étude plus complète et plus méthodique, pour réduire l'architecture à l'essentiel. Le routage anticipé et l'écrêtage de SwiGLU fonctionnent, mais leur principe reste obscur.

Par ailleurs, le titre du rapport indique qu'il s'agit d'une « préversion » ; la plupart des comparaisons sont faites dans le cadre d'évaluation des auteurs, et une partie des comparaisons sur les tâches d'agent vient d'évaluations internes.

Conclusion

DeepSeek-V4 rend abordable un contexte d'un million de tokens grâce à deux attentions compressées : CSA compresse par 4 puis sélectionne avec soin un peu plus d'un millier d'entrées, HCA compresse par 128 pour saisir les contours globaux. mHC élargit le flux résiduel et verrouille la stabilité avec des matrices doublement stochastiques, et Muon accélère la convergence. Au final, à un million de tokens, le calcul par token de V4-Pro n'est plus qu'environ le quart de celui de la génération précédente, et son cache KV le dixième.

Pour qui suit la fusion de modèles, ce rapport fournit un contre-exemple intéressant. Pour un même objectif, réunir une équipe d'experts en un seul modèle, Command A choisit de moyenner les poids, DeepSeek de laisser l'élève écrire lui-même et les enseignants le guider token par token.

L'atout de la fusion, c'est son faible coût ; celui de la distillation, sa précision. La puissance de calcul de DeepSeek peut visiblement se payer la seconde.