Command A: An Enterprise-Ready Large Language Model
- 發表版本
- 正式發表資訊尚未核實
- arXiv 首次提交
- arXiv:2504.00698
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{transformerscommanda2025,
title = {{Command A: An Enterprise-Ready Large Language Model}},
author = {Team Cohere and Aakanksha and Arash Ahmadian and Marwan Ahmed and Jay Alammar and Milad Alizadeh and Yazeed Alnumay and Sophia Althammer and Arkady Arkhangorodsky and Viraat Aryabumi and Dennis Aumiller and Raphaël Avalos and Zahara Aviv and Sammie Bae and Saurabh Baji and Alexandre Barbet and Max Bartolo and Björn Bebensee and Neeral Beladia and Walter Beller-Morales and Alexandre Bérard and Andrew Berneshawi and Anna Bialas and Phil Blunsom and Matt Bobkin and Adi Bongale and Sam Braun and Maxime Brunet and Samuel Cahyawijaya and David Cairuz and Jon Ander Campos and Cassie Cao and Kris Cao and Roman Castagné and Julián Cendrero and Leila Chan Currie and Yash Chandak and Diane Chang and Giannis Chatziveroglou and Hongyu Chen and Claire Cheng and Alexis Chevalier and Justin T. Chiu and Eugene Cho and Eugene Choi and Eujeong Choi and Tim Chung and Volkan Cirik and Ana Cismaru and Pierre Clavier and Henry Conklin and Lucas Crawhall-Stein and Devon Crouse and Andres Felipe Cruz-Salinas and Ben Cyrus and Daniel D'souza and Hugo Dalla-Torre and John Dang and William Darling and Omar Darwiche Domingues and Saurabh Dash and Antoine Debugne and Théo Dehaze and Shaan Desai and Joan Devassy and Rishit Dholakia and Kyle Duffy and Ali Edalati and Ace Eldeib and Abdullah Elkady and Sarah Elsharkawy and Irem Ergün and Beyza Ermis and Marzieh Fadaee and Boyu Fan and Lucas Fayoux and Yannis Flet-Berliac and Nick Frosst and Matthias Gallé and Wojciech Galuba and Utsav Garg and Matthieu Geist and Mohammad Gheshlaghi Azar and Ellen Gilsenan-McMahon and Seraphina Goldfarb-Tarrant and Tomas Goldsack and Aidan Gomez and Victor Machado Gonzaga and Nithya Govindarajan and Manoj Govindassamy and Nathan Grinsztajn and Nikolas Gritsch and Patrick Gu and Shangmin Guo and Kilian Haefeli and Rod Hajjar and Tim Hawes and Jingyi He and Sebastian Hofstätter and Sungjin Hong and Sara Hooker and Tom Hosking and Stephanie Howe and Eric Hu and Renjie Huang and Hemant Jain and Ritika Jain and Nick Jakobi and Madeline Jenkins and JJ Jordan and Dhruti Joshi and Jason Jung and Trushant Kalyanpur and Siddhartha Rao Kamalakara and Julia Kedrzycki and Gokce Keskin and Edward Kim and Joon Kim and Wei-Yin Ko and Tom Kocmi and Michael Kozakov and Wojciech Kryściński and Arnav Kumar Jain and Komal Kumar Teru and Sander Land and Michael Lasby and Olivia Lasche and Justin Lee and Patrick Lewis and Jeffrey Li and Jonathan Li and Hangyu Lin and Acyr Locatelli and Kevin Luong and Raymond Ma and Lukáš Mach and Marina Machado and Joanne Magbitang and Brenda Malacara Lopez and Aryan Mann and Kelly Marchisio and Olivia Markham and Alexandre Matton and Alex McKinney and Dominic McLoughlin and Jozef Mokry and Adrien Morisot and Autumn Moulder and Harry Moynehan and Maximilian Mozes and Vivek Muppalla and Lidiya Murakhovska and Hemangani Nagarajan and Alekhya Nandula and Hisham Nasir and Shauna Nehra and Josh Netto-Rosen and Daniel Ohashi and James Owers-Bardsley and Jason Ozuzu and Dennis Padilla and Gloria Park and Sam Passaglia and Jeremy Pekmez and Laura Penstone and Aleksandra Piktus and Case Ploeg and Andrew Poulton and Youran Qi and Shubha Raghvendra and Miguel Ramos and Ekagra Ranjan and Pierre Richemond and Cécile Robert-Michon and Aurélien Rodriguez and Sudip Roy and Sebastian Ruder and Laura Ruis and Louise Rust and Anubhav Sachan and Alejandro Salamanca and Kailash Karthik Saravanakumar and Isha Satyakam and Alice Schoenauer Sebag and Priyanka Sen and Sholeh Sepehri and Preethi Seshadri and Ye Shen and Tom Sherborne and Sylvie Shang Shi and Sanal Shivaprasad and Vladyslav Shmyhlo and Anirudh Shrinivason and Inna Shteinbuk and Amir Shukayev and Mathieu Simard and Ella Snyder and Ava Spataru and Victoria Spooner and Trisha Starostina and Florian Strub and Yixuan Su and Jimin Sun and Dwarak Talupuru and Eugene Tarassov and Elena Tommasone and Jennifer Tracey and Billy Trend and Evren Tumer and Ahmet Üstün and Bharat Venkitesh and David Venuto and Pat Verga and Maxime Voisin and Alex Wang and Donglu Wang and Shijian Wang and Edmond Wen and Naomi White and Jesse Willman and Marysia Winkels and Chen Xia and Jessica Xie and Minjie Xu and Bowen Yang and Tan Yi-Chern and Ivan Zhang and Zhenyu Zhao and Zhoujie Zhao},
year = {2025},
eprint = {2504.00698},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2504.00698}
}
Cohere 是一家以企業客戶為主的加拿大語言模型公司,創辦人之一 Aidan Gomez 是〈Attention Is All You Need〉的共同作者。它的模型主打檢索增強生成(RAG)、工具使用與多語言,通常不在聊天排行榜上搶第一,而是強調在企業的實際場景裡好用、好部署。
2025 年 3 月,Cohere 發布了 Command A。這是一個 1,110 億參數的模型,支援 23 種商業語言,只要兩張 A100 或 H100 就能部署。權重以非商業授權(CC-BY-NC)公開,供研究使用。
這份技術報告的重點在後訓練流程。一般的做法是拿一個模型依序做 SFT、偏好學習、強化學習;Command A 則是讓好幾個團隊各自訓練擅長不同能力的專家模型,最後用模型合併把它們合成一個。報告說,這是第一次在這種規模上把模型合併當成後訓練的核心。
定義問題
企業用的語言模型要同時做很多事:讀文件回答問題、呼叫工具、寫程式、做數學、說多國語言、遵守安全規範,還要能處理很長的上下文。
這些能力的訓練方式差很多。程式和數學容易驗證,可以大量合成資料,用可驗證的獎勵做強化學習;安全和 RAG 則多半依賴人工標註,資料量小得多,適合用偏好比較來訓練。把這些資料全部混在一起、用同一套超參數訓練一個模型,很難讓每一項都達到最好。
組織上也有同樣的問題。多個團隊同時改進不同能力時,如果都在同一個模型上工作,彼此的實驗會互相干擾,進度也得互相等待。
能不能讓每個能力各自訓練到最好,再便宜地合在一起?這是整份報告想回答的問題。
解決問題
架構與預訓練
先快速看一下底座。Command A 是純解碼器的 Transformer,主要有三個設計。
- 交錯的注意力層:每 4 層中,3 層是滑動視窗注意力,1 層是完整注意力,比例 3:1。滑動視窗層使用 RoPE,完整注意力層則不用任何位置編碼(NoPE)。
- 平行的 Transformer 區塊:注意力和前饋網路平行計算,而不是先後串接。作者說表現相當,吞吐量明顯提升。
- 其他:GQA、SwiGLU、不使用偏置項、輸入與輸出共用嵌入矩陣。詞彙表有 255,000 個 token,共用嵌入能省下大量記憶體。
訓練用 µP 在小模型上調超參數,再直接搬到大模型。主要的矩陣乘法用 FP8 計算,作者沒有觀察到不穩定,但全程用 FP8 會讓下游表現略差,所以先用 BF16 訓練一段,再切換到 FP8。預訓練最後有一段冷卻期,學習率在 50,000 步內從 降到 ,上下文長度先維持 8K,再逐步拉到 32K、128K、256K。
後訓練:兩次合併

這張圖由左往右讀。
- 指令模型:先在預訓練模型上做一次 SFT,得到具備基本能力的指令模型。
- SFT 專家:從同一個指令模型出發,平行訓練多個專家,各自用專門的資料配比與超參數。報告正文列出六個:程式、安全、RAG、數學、多語言,以及通用與長上下文。
- SFT Soup:把這些專家合併成一個模型。
- RL 專家:從 SFT Soup 出發,再平行訓練一組強化學習專家,每個領域用適合的方法,數學和程式用可驗證的獎勵,安全和多語言用偏好比較。
- RL Soup:再合併一次。
- 拋光:最後做一輪全域的對齊,修正合併留下的問題,並讓整體風格更符合人的偏好。
圖中兩個「Model Merging」欄位畫了一排滑桿,代表每個專家在合併時的權重可以調整。這是整套流程的關鍵,合併後如果發現某項能力不夠,不必重新訓練,調一下滑桿重新合併就好。
合併的四種用途
報告把模型合併分成四種用途,Command A 都用到了:
- 專家合併:把擅長不同能力的模型合成一個,這是主角。
- Polyak 平均:平均同一次訓練的多個 checkpoint,降低隨機梯度的雜訊。
- 種子合併:平均用不同隨機種子訓練的模型,減少偶然性。
- 插值回復能力:專家只在短上下文上訓練,長上下文能力會退化。把專家和原本的基底模型插值,可以找回大部分的長上下文能力,同時保留專家的新能力。作者指出這和 Google DeepMind 的 WARP 很接近。
線性合併就夠了
專家合併用的是線性平均:
作者試過 SLERP 和任務算術,發現沒有明顯的進步,反而增加了複雜度。線性合併還有一個實用的性質,它滿足結合律,合併的合併仍然可以寫成一次合併,整條流程比較容易追蹤。
權重 用人工搜尋。增加某個專家的權重,大致會提升那個領域的表現,這個關係很直觀;但因為所有權重總和要是 1,其他領域會被相應調低,而它們會掉多少就不太好預測。作者的搜尋方式是兩者結合:哪個領域不夠好就調高它的專家;再以目前的候選為中心,對每個專家的權重做小幅擾動、暴力搜尋。
整個過程追蹤了 500 個評估指標。作者說,如果用傳統的集中式開發,要同時照顧這麼多指標會困難得多。
一致性比最佳更重要
合併能不能成功,很大程度取決於專家之間是否「相容」。作者整理了幾個經驗:
所有專家都從同一個指令模型出發。 一個原因是特殊 token。有些專家會用到工具呼叫等特殊 token,其他專家沒用到,這些 token 的嵌入在它們那裡就沒有被訓練。作者試過只從有訓練到的專家那裡取這些嵌入,效果反而不如大家都從同一個起點出發、正常平均。另一個原因是長上下文,後訓練通常會削弱長上下文能力,而且很難救回來;從一個本身就能處理長上下文的指令模型出發,比較容易保住。
做「去掉一個」的合併。 搜尋時刻意比較少了某個專家的合併結果,就能找出哪個專家在拖累別人。作者稱這種現象為「碰撞」。
每個專家都放一點其他領域的資料。 少量的跨領域資料像是正則項,讓專家不要偏離太遠,保持彼此相容。碰撞有時也來自共用資料在風格或格式上的小差異。
作者的結論是,維持專家之間的一致性,比追求單一專家的最佳表現更重要。
合併很便宜,評估很貴
這一點是在實際產品中才會遇到的問題。學術研究通常固定一組專家,再去找最好的合併方法,目標是少數幾個指標。但 Command A 要同時照顧幾百個指標,每試一組權重,都要跑完整套評估。合併本身的計算量很小,評估卻要大量的推論時間。
而且專家本身也一直在變。作者說,讓合併成功的很大一部分工作,其實是回頭修改專家的訓練方式。
討論
合併保留了多少專家能力

左圖是所有被追蹤的指標,合併後與最佳專家的分數差。絕大多數集中在 0 附近偏左,報告說平均只掉了 1.8%,絕大多數指標保留在最佳專家的 2.5% 以內,少數甚至比專家還好。
右圖按領域拆開。多語言、RAG 和一般能力保留得最好;程式損失最多,平均約 3%。安全的誤差線很長,表示不同安全指標在合併後的變化差異很大。
作者還觀察到,在 111B 的規模下,合併相當穩定。大幅調整專家權重,領域表現通常只變動 2% 到 3%,很少出現某項能力整個崩潰的情況。
合併是粗略的操作
合併後的模型不保證落在損失地形的局部最佳點上。作者發現,在合併後的模型上,用比主要 SFT 低 10 到 20 倍的學習率,再做少量的 SFT 步數,就能明顯提升表現,很多指標達到甚至超過專家的 100%。
作者的直覺解釋是,合併能把各項能力組合起來,但它們在表示空間裡可能還沒「對齊」;少量的梯度更新可以把這些能力調整到位。這和拋光階段的作用一致,拋光也被用來修補合併時掉下的分數。
拋光本身用了兩種 Cohere 的方法,交替進行:離線的 SRPO 與線上的 CoPG。作者發現交替使用能互相修正,某一階段若出現退步,通常會在下一階段被拉回來。
整體成績
學術基準上,Command A 與 DeepSeek-V3、GPT-4o、Llama 3.3 70B 互有勝負。例如 MATH 是 80.0,高於 DeepSeek-V3 的 70.2 與 GPT-4o 的 68.5;GPQA 是 50.8,低於 DeepSeek-V3 的 59.1。企業代理任務 τ-bench 是 51.7,高於 DeepSeek-V3 的 39.1。
人工評測中,Command A 對 GPT-4o(2024 年 11 月版)與 DeepSeek-V3 的勝率大致是五五波,程式項目上對 DeepSeek-V3 的勝率是 54.7%,對 GPT-4o 則是 46.8%。速度方面,作者宣稱 Command A 每秒最多可輸出 156 個 token,是 GPT-4o 的 1.75 倍、DeepSeek-V3 的 2.4 倍;這是廠商自己的量測,部署條件不同時數字會變。
讀這份報告要注意的事
合併的效果只以分布圖與平均值呈現,沒有列出每個專家、每組權重的具體分數,也沒有比較「不合併、直接混資料訓練一個模型」的對照組。權重是人工搜尋出來的,換一組專家或換一個規模,同樣的經驗是否成立,報告沒有驗證。
結論
Command A 讓模型合併從研究技巧變成大型模型的開發流程。每個團隊各自把一項能力練到最好,再用最簡單的線性平均合成一個模型,必要時調一下權重重新合併,不用重新訓練。
報告裡最實用的,是那幾條經驗談:所有專家從同一個起點出發、每個專家都摻一點別人的資料、用「去掉一個」的合併找出搗亂的專家、合併後補幾步低學習率的 SFT。
學術論文多半在比哪一種合併方法最好;Cohere 選了最簡單的那一種,把力氣花在讓專家彼此合得來。合併只是最後那一下,功夫都在合併之前。