DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence
- 發表版本
- 正式發表資訊尚未核實
- arXiv 首次提交
- arXiv:2606.19348
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{deepseekdeepseekv42026,
title = {{DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence}},
author = {DeepSeek-AI and Anyi Xu and Bangcai Lin and Bing Xue and Bingxuan Wang and Bingzheng Xu and Bochao Wu and Bowei Zhang and Chaofan Lin and Chen Dong and Chenchen Ling and Chengda Lu and Chenggang Zhao and Chengqi Deng and Chengyu Hou and Chenhao Xu and Chenze Shao and Chong Ruan and Conner Sun and Damai Dai and Daya Guo and Dejian Yang and Deli Chen and Donghao Li and Dongjie Ji and Erhang Li and Fang Wei and Fangyun Lin and Fangzhou Yuan and Feiyu Xia and Fucong Dai and Guangbo Hao and Guanting Chen and Guoai Cao and Guolai Meng and Guowei Li and Han Yu and Han Zhang and Hanwei Xu and Hao Li and Haofen Liang and Haoling Zhang and Haoming Luo and Haoran Wei and Haotian Yuan and Haowei Zhang and Haowen Luo and Haoyu Chen and Haozhe Ji and Hengqing Zhang and Honghui Ding and Hongxuan Tang and Huanqi Cao and Huazuo Gao and Hui Qu and Hui Zeng and J Yang and JQ Zhu and Jia Luo and Jia Song and Jia Yu and Jialiang Huang and Jialu Cai and Jian Liang and Jiangting Zhou and Jiasheng Ye and Jiashi Li and Jiaxin Xu and Jiewen Hu and Jieyu Yang and Jin Chen and Jin Yan and Jingchang Chen and Jingli Zhou and Jingting Xiang and Jingyang Yuan and Jingyuan Cheng and Jingzi Zhou and Jinhua Zhu and Jiping Yu and Joseph Sun and Jun Ran and Junguang Jiang and Junjie Qiu and Junlong Li and Junmin Zheng and Junxiao Song and Kai Dong and Kaige Gao and Kang Guan and Kexing Zhou and Kezhao Huang and Kuai Yu and Lean Wang and Lecong Zhang and Lei Wang and Leyi Xia and Li Zhang and Liang Zhao and Lihua Guo and Lingxiao Luo and Linwang Ma and Linyan Zhu and Litong Wang and Liyu Cai and Liyue Zhang and Longhao Chen and MS Di and MY Xu and Max Mei and Miaojun Wang and Mingchuan Zhang and Minghua Zhang and Minghui Tang and Mingming Li and Mingxu Zhou and Minmin Han and Ning Wang and Panpan Huang and Panpan Wang and Peixin Cong and Peiyi Wang and Peng Zhang and Qiancheng Wang and Qihao Zhu and Qingyang Li and Qinyu Chen and Qiushi Du and Qiwei Jiang and Rui Tian and Ruifan Xu and Ruijie Lu and Ruiling Xu and Ruiqi Ge and Ruisong Zhang and Ruizhe Pan and Runji Wang and Runqian Chen and Runqiu Yin and Runxin Xu and Ruomeng Shen and Ruoyu Zhang and Ruyi Chen and SH Liu and Shanghao Lu and Shangmian Sun and Shangyan Zhou and Shanhuang Chen and Shaofei Cai and Shaoheng Nie and Shaoqing Wu and Shaoyuan Chen and Shengding Hu and Shengyu Liu and Shiqiang Hu and Shirong Ma and Shiyu Wang and Shuiping Yu and Shunfeng Zhou and Shuting Pan and Shuying Yu and Songyang Zhou and Tao Ni and Tao Yun and Tian Jin and Tian Pei and Tian Ye and Tianle Lin and Tianran Ji and Tianyi Cui and Tianyuan Yue and Tingting Yu and Tun Wang and W Zhang and WL Xiao and Wangding Zeng and Wei An and Weilin Zhao and Wen Liu and Wenfeng Liang and Wenjie Pang and Wenjing Luo and Wenjing Yao and Wenjun Gao and Wenkai Yang and Wenlve Huang and Wenqing Hou and Wentao Zhang and Wenting Ma and Xi Gao and Xiang He and Xiangwen Wang and Xianzu Wang and Xiao Bi and Xiaodong Liu and Xiaohan Wang and Xiaokang Chen and Xiaokang Zhang and Xiaotao Nie and Xiaowen Sun and Xiaoxiang Wang and Xin Cheng and Xin Liu and Xin Xie and Xingchao Liu and Xingchen Liu and Xingkai Yu and Xingyou Li and Xinyu Yang and Xinyu Zhang and Xu Chen and Xuanyu Wang and Xuecheng Su and Xueyin Chen and Xuheng Lin and Xuwei Fu and YC Yan and YQ Wang and YW Ma and Yanfeng Luo and Yang Zhang and Yanhong Xu and Yanru Ma and Yanwen Huang and Yao Li and Yao Li and Yao Xu and Yao Zhao and Yaofeng Sun and Yaohui Wang and Yi Qian and Yi Shao and Yi Yu and Yichao Zhang and Yifan Ding and Yifan Shi and Yijia Wu and Yiliang Xiong and Yiling Ma and Ying He and Ying Tang and Ying Zhou and Yingjia Luo and Yinmin Zhong and Yishi Piao and Yisong Wang and Yixiang Zhang and Yixiao Chen and Yixuan Tan and Yixuan Wei and Yiyang Ma and Yiyuan Liu and Yonglun Yang and Yongqiang Guo and Yongtong Wu and Yu Wu and YuKun Li and Yuan Cheng and Yuan Ou and Yuanfan Xu and Yuanhao Li and Yuduan Wang and Yuehan Yang and Yuer Xu and Yuhan Wu and Yuhao Meng and Yuheng Zou and Yukun Zha and Yunfan Xiong and Yupeng Chen and Yuping Lin and Yuqian Cao and Yuqian Wang and Yushun Zhang and Yuting Yan and Yutong Lin and Yuxian Gu and Yuxiang Luo and Yuxiang You and Yuxuan Liu and Yuxuan Zhou and Yuyang Zhou and Yuzhen Huang and ZF Wu and Zehao Wang and Zehua Zhao and Zehui Ren and Zekai Zhang and Zhangli Sha and Zhe Fu and Zhe Ju and Zhean Xu and Zhenda Xie and Zhengyan Zhang and Zheren Gao and Zhewen Hao and Zhibin Gou and Zhicheng Ma and Zhigang Yan and Zhihong Shao and Zhixian Huang and Zhixuan Chen and Zhiyu Wu and Zhizhou Ren and Zhongyu Wu and Zhuoshu Li and Zhuping Zhang and Zian Xu and Zihao Wang and Zihua Qu and Zihui Gu and Zijia Zhu and Zilin Li and Zipeng Zhang and Ziwei Xie and Ziyi Gao and Ziyi Wan and Zizheng Pan and Zongqing Yao},
year = {2026},
eprint = {2606.19348},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2606.19348}
}
從 DeepSeek-V3 到 DeepSeek-R1,這個系列一直在做同一件事:用更少的計算做出更強的模型。
推理模型出現之後,這件事多了一個新的難題。模型要先寫一大段思考再回答,代理任務還要在很長的工具呼叫紀錄裡來回工作,上下文動輒幾十萬個 token。標準注意力的計算量隨長度平方成長,KV 快取也隨長度線性變大。上下文一長,推論成本就整個被注意力吃掉。
DeepSeek-V4 是對這個問題的回答。報告公開的是預覽版,有兩個模型:DeepSeek-V4-Pro,總參數 1.6T、每個 token 啟動 49B;DeepSeek-V4-Flash,總參數 284B、啟動 13B。兩者都原生支援一百萬個 token 的上下文,權重也都公開。
報告裡有三個架構上的新東西:混合了兩種壓縮注意力的 CSA 與 HCA、取代傳統殘差連接的 mHC,以及 Muon 優化器。後訓練則有一個對模型合併來說很關鍵的改變,DeepSeek 不再把專家模型的能力用權重合併或混合強化學習整合,而是用多教師的 on-policy 蒸餾。
定義問題

先看右邊兩張,這是整篇報告的目標。
右上圖是生成一個 token 要花的計算量,橫軸是這個 token 在上下文中的位置。上一代 DeepSeek-V3.2 的虛線幾乎是一條直線往上,位置越後面,每個 token 越貴。到了一百萬個 token,V4-Pro 只需要 V3.2 的 27%,V4-Flash 只要 10%。
右下圖是 KV 快取。同樣在一百萬個 token,V4-Pro 只需要 V3.2 的 10%,V4-Flash 只要 7%。
要特別說明的是,V3.2 已經用了稀疏注意力,本身就不是一個浪費的基準;而 V4-Pro 每個 token 啟動的參數還比 V3.2 多。所以這兩張圖的差距,主要來自注意力的重新設計。
左邊是最強設定 DeepSeek-V4-Pro-Max 和三個閉源模型的比較,後面討論時再回來看。
解決問題
整體架構

大部分沿用 DeepSeek-V3:前饋層是 DeepSeekMoE,有共享專家與細粒度的路由專家,負載平衡用不加輔助損失的偏置調整,也保留多 token 預測(MTP)。小改動有兩個:計算路由親和度的函數從 Sigmoid 換成 ;最前面幾層原本是稠密的前饋層,現在也換成 MoE,但用雜湊路由,直接依 token ID 決定送給哪個專家。
圖上最顯眼的,是殘差流畫成了四份疊在一起的向量,這就是 mHC。
mHC:把殘差流加寬,再加上限制
一般的殘差連接是 ,殘差流只有一份,寬度等於隱藏維度 。
Hyper-Connections(HC)把殘差流擴寬成 份,狀態變成 ,再用三個小矩陣決定怎麼讀寫:
把 份殘差混成一份,作為這一層的輸入; 把這一層的輸出分配回各份殘差; 讓各份殘差彼此混合。層本身的輸入輸出仍是 維,所以內部設計不用改,而 遠小於 ,額外的計算很少。
HC 的問題是堆疊很多層之後,數值很容易不穩定。原因不難想像,每一層都乘上一個 ,若它的譜範數大於 1,連乘幾十層訊號就會爆炸。
mHC(Manifold-Constrained HC)的做法是把 限制成雙隨機矩陣:所有元素非負,每一列與每一欄的總和都是 1。雙隨機矩陣的譜範數恰好是 1,不會放大訊號;兩個雙隨機矩陣相乘仍是雙隨機矩陣,所以疊再多層也一樣。 和 則用 Sigmoid 限制為非負且有界,避免訊號互相抵消。
把任意矩陣投影成雙隨機矩陣,用的是 Sinkhorn-Knopp 演算法:先取指數讓元素全為正,再反覆做欄正規化與列正規化。V4 迭代 20 次。我們用 試一次:
import numpy as np
rng = np.random.default_rng(0)
B_raw = rng.normal(scale=2.0, size=(4, 4)) # 未加限制的殘差混合矩陣(n_hc = 4)
print("限制前的譜範數:", round(np.linalg.norm(B_raw, 2), 3))
M = np.exp(B_raw) # 先取指數,保證每個元素為正
for _ in range(20): # t_max = 20
M = M / M.sum(axis=0, keepdims=True) # 每一欄加總為 1
M = M / M.sum(axis=1, keepdims=True) # 每一列加總為 1
print("列加總:", np.round(M.sum(axis=1), 4))
print("欄加總:", np.round(M.sum(axis=0), 4))
print("限制後的譜範數:", round(np.linalg.norm(M, 2), 4))
x = rng.normal(size=4)
y = x.copy()
for _ in range(60): # 連乘 60 層同樣的殘差混合
y = M @ y
print("輸入範數:", round(np.linalg.norm(x), 3), " 經過 60 層後:", round(np.linalg.norm(y), 3))
限制前的譜範數: 6.07
列加總: [1. 1. 1. 1.]
欄加總: [1. 1. 1. 1.]
限制後的譜範數: 1.0
輸入範數: 1.286 經過 60 層後: 0.297
限制前的矩陣譜範數是 6.07,連乘 60 層會是天文數字;投影之後是 1.0,連乘 60 層訊號只會收斂,不會爆炸。這個例子為了凸顯效果,60 層都用同一個矩陣;實際模型裡每層的 不同,但每一個都是雙隨機的,結論相同。
實際的 、、 會依輸入動態產生。做法是把 攤平、做 RMSNorm,再經過小型線性層,加上靜態的偏置,乘上一個初始很小的門控係數,最後才套上述的限制。V4 的兩個模型都用 。
CSA 與 HCA:兩種壓縮注意力
注意力是長上下文的瓶頸。V4 設計了兩種注意力,交錯使用。
CSA(Compressed Sparse Attention) 先壓縮,再稀疏選取。

從下往上看。
第一步是壓縮。每 個 token 的 KV 壓成一個項,壓縮權重由可學習的投影加上位置偏置,經過 softmax 決定,等於是這 個 token 的加權平均。V4 設 。
第二步是選取。這是沿用 V3.2 的 DeepSeek 稀疏注意力(DSA),由一個輕量的 lightning indexer 對所有壓縮項打分,只挑出分數最高的 個。V4-Pro 的 ,V4-Flash 是 512。indexer 本身用 FP4 精度計算。
第三步是補上近處。壓縮項只能看到「之前的整個區塊」,看不到自己所在區塊裡的其他 token;而且語言模型通常最需要最近的上下文。所以另外加一條滑動視窗分支,保留最近 128 個未壓縮的 KV。
最後,每個 KV 項同時當 key 和 value,所有查詢頭共用,是多查詢注意力(MQA)的形式。
HCA(Heavily Compressed Attention) 則壓得更狠,每 個 token 壓成一項,但不做稀疏選取,所有壓縮項都看;同樣加上 128 個 token 的滑動視窗。
用一百萬個 token 算一次,每個查詢要看多少個 KV 項:
| 注意力 | 壓縮後的 KV 項數 | 每個查詢實際看的項數 |
|---|---|---|
| 標準注意力 | 1,000,000 | 1,000,000 |
| CSA(,Pro 的 ) | 250,000 | |
| HCA() | 約 7,813 | 約 |
CSA 靠稀疏選取,每個查詢只看一千多項,但能從 25 萬個壓縮項中精挑細選;HCA 不挑,但每一項都代表 128 個 token,看的是整段上下文的粗略輪廓。兩者交錯使用,一種負責精準查找,一種負責全局概覽。
KV 快取的大小則取決於壓縮後要存多少項。報告說,以常見的 BF16、8 組 GQA、頭維度 128 為基準,V4 在一百萬 token 時的 KV 快取只有它的 2% 左右。這還加上了其他省法,例如 KV 項中 RoPE 的維度用 BF16、其他維度用 FP8,幾乎省下一半。
報告也列了幾個讓這套設計能訓練的細節:查詢與 KV 項在注意力前各做 RMSNorm,避免注意力 logit 爆炸;RoPE 只用在最後 64 維;注意力加入可學習的 sink logit,讓一個頭的注意力總和可以小於 1。
Muon 優化器
V4 大部分參數改用 Muon 優化器,嵌入層、預測頭、RMSNorm 權重與 mHC 的靜態偏置則仍用 AdamW。
Muon 的核心是把動量矩陣「正交化」,讓更新的所有奇異值都接近 1。精確做法要做奇異值分解,太貴,所以用 Newton-Schulz 迭代近似:
V4 的做法是「混合」的 10 次迭代。前 8 次用 ,快速把奇異值推到 1 附近;最後 2 次換成 ,把奇異值穩定在 1。
因為注意力架構本身已經對查詢和 KV 做了 RMSNorm,注意力 logit 不會爆炸,V4 也就不需要其他 Muon 實作中用來壓制 logit 的 QK-Clip。
預訓練
配置
| V4-Flash | V4-Pro | |
|---|---|---|
| 層數 / 隱藏維度 | 43 / 4,096 | 61 / 7,168 |
| 路由專家(每 token 啟動) | 256(6) | 384(6) |
| CSA 選取數 | 512 | 1,024 |
| 總參數 / 啟動參數 | 284B / 13B | 1.6T / 49B |
| 訓練 token | 32T | 33T |
兩者的 CSA 壓縮率都是 4、HCA 都是 128,前 3 個 MoE 層用雜湊路由。V4-Flash 最前面兩層只用滑動視窗注意力,V4-Pro 最前面兩層用 HCA,之後 CSA 與 HCA 交錯。
訓練從 4K 的序列長度開始,逐步拉到 16K、64K、1M。稀疏注意力不是一開始就用。V4-Flash 前 1T 個 token 先用稠密注意力暖身(V4-Pro 的稠密階段更長),到 64K 長度時才加入,並先短暫暖身 lightning indexer。學習率大部分時間維持固定,最後用 cosine 衰減到十分之一。
後訓練階段,路由專家的權重與 indexer 的 QK 路徑還做了 FP4 的量化感知訓練,進一步省下記憶體與計算。
損失暴衝怎麼處理
訓練兆級參數的 MoE,損失暴衝很難避免。作者發現暴衝總是和 MoE 層裡的離群值有關,而且路由機制本身似乎會放大離群值,形成惡性循環。單純回滾只能暫時解決,暴衝還是會再發生。
他們找到兩個有效的做法,也坦白說還不清楚原理:
- 預期路由(Anticipatory Routing):在第 步,用目前的參數 計算特徵,但路由的決定用舊一點的參數 來算,切斷主幹網路與路由器同步更新造成的惡性循環。這會增加約 20% 的時間,所以平時不開;系統偵測到暴衝時,自動短暫回滾並開啟這個模式一段時間,之後再關掉。
- SwiGLU 截斷:把 SwiGLU 的線性分支限制在 ,門控分支的上限設為 10,直接壓掉離群值。
作者說這兩招在 V4-Flash 和 V4-Pro 的訓練中都有效,而且不影響表現。
基底模型的比較
作者比較了 V3.2、V4-Flash、V4-Pro 三個基底模型。其中 V4-Flash 最有意思,它的啟動參數與總參數都比 V3.2 少,卻在多數基準上勝過 V3.2,特別是知識類與長上下文任務。
後訓練:從權重合併到蒸餾
先訓練一群專家
後訓練的第一步和 V3.2 類似,針對不同領域,先 SFT、再用 GRPO 做強化學習,訓練出一群專家模型。
推理強度也用專家來做。V4 有三種推理模式:不思考、Think High、Think Max。每種模式用不同的長度懲罰與上下文長度訓練,Think Max 還會在系統提示的開頭注入一段指令,要求模型「用最大的努力、不准抄捷徑」,把所有思考過程都寫出來。
難以驗證的任務,V4 不再訓練一個輸出分數的獎勵模型,而是用評分準則搭配生成式獎勵模型(GRM),而且讓策略模型本身就兼任 GRM,評判能力和生成能力一起被強化學習優化。
用蒸餾取代合併
接下來的一步,正是這篇筆記想強調的。
有了十幾個專家,要怎麼把它們的能力整合進一個模型?Command A 用權重的線性合併;V3.2 則用混合的強化學習。V4 兩者都不用,改用多教師的 on-policy 蒸餾(OPD):
是要訓練的學生, 是第 個專家, 是它的權重。「on-policy」指的是訓練資料由學生自己生成,再讓各個專家對學生寫出的每個 token 給出自己的機率分布。KL 是反向的,,學生在數學題上會自然靠向數學專家,在程式題上靠向程式專家。
作者明白寫出這樣做的理由:知識在 logit 層級對齊,實際上避開了傳統權重合併或混合強化學習常見的表現退化。這個階段用了十幾個教師模型,蒸餾出一個學生。
細節上,常見的 OPD 實作會把整個詞彙表的 KL 簡化成每個位置只看取樣到的那個 token,當作強化學習的優勢值來用。這很省資源,但梯度變異數大,訓練不穩定。V4 堅持用完整詞彙表的 logit 蒸餾,為此還得解決十幾個教師同時提供完整 logit 的排程問題。
從 Model Soups 到 Command A,模型合併的論證一直是「便宜」:不用資料、不用訓練,平均一下就好。V4 的選擇說明,當你有資料、有算力,而且要整合的專家多達十幾個、能力差異很大時,花一次蒸餾的成本換掉合併的損失,對 DeepSeek 來說是划算的。
推理時的上下文管理
一百萬 token 的上下文也改變了推理內容的保留方式。V3.2 在工具呼叫之間保留思考內容,但只要使用者一傳新訊息,之前的思考就全部丟掉。V4 在有工具呼叫的情境中,整段對話的思考內容全部保留,跨越使用者訊息也一樣;一般聊天情境則維持原本的做法。工具呼叫的格式也改成 XML 風格,作者說能減少跳脫字元錯誤與工具呼叫失敗。
討論
成績

斜線長條是 V4-Pro-Max,其他三個是閉源模型最強的推理設定。
知識類上,V4-Pro-Max 在 SimpleQA Verified 拿到 57.9,高於 Claude-Opus-4.6-Max 的 46.2 與 GPT-5.4-xHigh 的 45.3,但明顯低於 Gemini-3.1-Pro-High 的 75.6;HLE 是 37.7,略低於其他三者(40.0、39.8、44.4)。代理任務上,SWE Verified 的 80.6 和其他模型幾乎相同;Terminal Bench 2.0 是 67.9,落後 GPT-5.4-xHigh 的 75.1。
這和作者自己的總結一致:開源模型中的最佳成績,推理接近最前沿的閉源模型,代理任務與頂尖開源模型相當、略遜於最前沿的閉源模型。
V4-Flash-Max 的知識類表現因為參數較少而較差,但給它更多思考預算時,推理任務能和 V4-Pro 相當。
作者自己說的限制
結論中有一段很坦白。為了把長上下文效率推到極限,V4 的架構相當大膽;為了降低風險,又保留了許多先前驗證過的元件和小技巧,結果整個架構變得相當複雜。作者說下一步要做更全面、更有原則的研究,把架構精簡到最本質的設計。預期路由與 SwiGLU 截斷有效,但原理還不清楚。
另外,報告名稱標明是「預覽版」,多數比較是在作者自己的評測框架下進行,部分代理任務的比較來自內部評測。
結論
DeepSeek-V4 用兩種壓縮注意力把一百萬 token 的上下文變得負擔得起:CSA 壓 4 倍再精挑一千多項,HCA 壓 128 倍看全局輪廓。mHC 把殘差流加寬、用雙隨機矩陣鎖住穩定性,Muon 加快收斂。結果是 V4-Pro 在一百萬 token 時,每個 token 的計算量只有上一代的四分之一左右,KV 快取只有十分之一。
對模型合併這條線來說,這份報告提供了一個有意思的反例。同樣是把一群專家整合成一個模型,Command A 選擇平均權重,DeepSeek 選擇讓學生自己寫、讓老師們逐 token 指導。
合併的好處是便宜,蒸餾的好處是準。DeepSeek 的算力,顯然買得起後者。