{"notes":[{"id":"transformers/mixtral","category":"transformers","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Mixtral of Experts","subtitle":"Huit experts disponibles, deux au travail","author":"Z. Yuan","paperDate":"2024-01-08","publishedOn":"2026-10-14","paperTitle":"Mixtral of Experts","paperUrl":"https://arxiv.org/abs/2401.04088","bibliography":{"title":"Mixtral of Experts","authors":["Albert Q. Jiang","Alexandre Sablayrolles","Antoine Roux","Arthur Mensch","Blanche Savary","Chris Bamford","Devendra Singh Chaplot","Diego de las Casas","Emma Bou Hanna","Florian Bressand","Gianna Lengyel","Guillaume Bour","Guillaume Lample","Lélio Renard Lavaud","Lucile Saulnier","Marie-Anne Lachaux","Pierre Stock","Sandeep Subramanian","Sophia Yang","Szymon Antoniak","Teven Le Scao","Théophile Gervet","Thibaut Lavril","Thomas Wang","Timothée Lacroix","William El Sayed"],"url":"https://arxiv.org/abs/2401.04088","pdfUrl":"https://arxiv.org/pdf/2401.04088v1","codeUrl":"https://github.com/mistralai/mistral-inference","preprint":{"id":"2401.04088","submittedOn":"2024-01-08","url":"https://arxiv.org/abs/2401.04088"},"publication":null,"citation":"@misc{transformersmixtral2024,\n  title = {{Mixtral of Experts}},\n  author = {Albert Q. Jiang and Alexandre Sablayrolles and Antoine Roux and Arthur Mensch and Blanche Savary and Chris Bamford and Devendra Singh Chaplot and Diego de las Casas and Emma Bou Hanna and Florian Bressand and Gianna Lengyel and Guillaume Bour and Guillaume Lample and Lélio Renard Lavaud and Lucile Saulnier and Marie-Anne Lachaux and Pierre Stock and Sandeep Subramanian and Sophia Yang and Szymon Antoniak and Teven Le Scao and Théophile Gervet and Thibaut Lavril and Thomas Wang and Timothée Lacroix and William El Sayed},\n  year = {2024},\n  eprint = {2401.04088},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2401.04088}\n}\n","citationPath":"/content/papers/citations/transformers/mixtral.2b2db338a9b5.bib"},"thumbnail":{"src":"/content/papers/assets/1347eb75040f1144f7ea5820cae7b4bd60c49b6bf351fb1c9e77b4c20e642c46.png","width":2116,"height":968},"locale":"fr","path":"/content/papers/fr/transformers/mixtral.eb7a68d2384e.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"visualiser-un-token-et-une-couche-du-modèle","text":"Visualiser un token et une couche du modèle","depth":3},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"où-se-trouvent-les-huit-experts-","text":"Où se trouvent les huit experts ?","depth":3},{"id":"suivre--réunion--dans-une-couche","text":"Suivre « réunion » dans une couche","depth":3},{"id":"que-fait-un-expert-de-son-entrée-","text":"Que fait un expert de son entrée ?","depth":3},{"id":"pourquoi-87b-mais-seulement-47b-","text":"Pourquoi 8×7B, mais seulement 47B ?","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"les-scores-montent-mais-que-mesurent-ils-","text":"Les scores montent, mais que mesurent-ils ?","depth":3},{"id":"les-huit-experts-se-répartissent-ils-vraiment-les-matières-","text":"Les huit experts se répartissent-ils vraiment les matières ?","depth":3},{"id":"que-signifie-une-fenêtre-de-contexte-de-32k-","text":"Que signifie une fenêtre de contexte de 32K ?","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/switch-transformer","relation":"background","topic":"Routage des tokens vers des experts"},{"id":"deepseek/deepseek-v2","relation":"next","topic":"Routage des tokens vers des experts"}]},{"id":"transformers/switch-transformer","category":"transformers","legacyPath":"transformers/2101-switch-transformer","legacySlug":"2101-switch-transformer","legacyPaths":[],"title":"Switch Transformer","subtitle":"Laissons parler les experts","author":"Z. Yuan","paperDate":"2021-01-11","publishedOn":"2024-12-09","paperTitle":"Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity","paperUrl":"https://arxiv.org/abs/2101.03961","bibliography":{"title":"Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity","authors":["William Fedus","Barret Zoph","Noam Shazeer"],"url":"https://arxiv.org/abs/2101.03961","pdfUrl":"https://arxiv.org/pdf/2101.03961","codeUrl":null,"preprint":{"id":"2101.03961","submittedOn":"2021-01-11","url":"https://arxiv.org/abs/2101.03961"},"publication":{"venue":"Journal of Machine Learning Research","shortVenue":"JMLR","year":2022,"kind":"journal","url":"https://jmlr.org/papers/v23/21-0998.html"},"citation":"@misc{transformersswitchtransformer2021,\n  title = {{Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity}},\n  author = {William Fedus and Barret Zoph and Noam Shazeer},\n  year = {2021},\n  eprint = {2101.03961},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2101.03961}\n}\n","citationPath":"/content/papers/citations/transformers/switch-transformer.3c79c3cd0240.bib"},"thumbnail":{"src":"/content/papers/assets/eecbcc790357c0311e5dbbaebb405abcb6c03693360947f21b08eb91602f1ac1.jpg","width":1224,"height":648},"locale":"fr","path":"/content/papers/fr/transformers/switch-transformer.ec4eaf3a4f11.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"capacité-des-experts","text":"Capacité des experts","depth":3},{"id":"perte-déquilibrage-de-charge","text":"Perte d'équilibrage de charge","depth":3},{"id":"stabiliser-lentraînement-et-lajustement-fin","text":"Stabiliser l'entraînement et l'ajustement fin","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"comparaison-avec-les-modèles-denses","text":"Comparaison avec les modèles denses","depth":3},{"id":"effet-du-nombre-dexperts","text":"Effet du nombre d'experts","depth":3},{"id":"calcul-fixe-et-temps-dentraînement","text":"Calcul fixe et temps d'entraînement","depth":3},{"id":"parallélisme-de-modèle-et-de-données","text":"Parallélisme de modèle et de données","depth":3},{"id":"tout-sexplique-t-il-par-le-nombre-de-paramètres-","text":"Tout s'explique-t-il par le nombre de paramètres ?","depth":3},{"id":"et-pour-les-petits-modèles-","text":"Et pour les petits modèles ?","depth":3},{"id":"pourquoi-les-modèles-clairsemés-ne-sont-ils-pas-plus-répandus-","text":"Pourquoi les modèles clairsemés ne sont-ils pas plus répandus ?","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/mixtral","relation":"next","topic":"Routage des tokens vers des experts"}]},{"id":"deepseek/deepseek-v2","category":"deepseek","legacyPath":"deepseek/2405-deepseek-v2","legacySlug":"2405-deepseek-v2","legacyPaths":[],"title":"DeepSeek-V2","subtitle":"Source ouverte, coûts réduits","author":"Z. Yuan","paperDate":"2024-05-07","publishedOn":"2025-03-27","paperTitle":"DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model","paperUrl":"https://arxiv.org/abs/2405.04434v5","bibliography":{"title":"DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model","authors":["DeepSeek-AI"],"url":"https://arxiv.org/abs/2405.04434v5","pdfUrl":"https://arxiv.org/pdf/2405.04434v5","codeUrl":"https://github.com/deepseek-ai/DeepSeek-V2","preprint":{"id":"2405.04434","submittedOn":"2024-05-07","url":"https://arxiv.org/abs/2405.04434v5"},"publication":null,"citation":"@misc{deepseekdeepseekv22024,\n  title = {{DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model}},\n  author = {DeepSeek-AI},\n  year = {2024},\n  eprint = {2405.04434},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.04434v5}\n}\n","citationPath":"/content/papers/citations/deepseek/deepseek-v2.2792b9f48a76.bib"},"thumbnail":{"src":"/content/papers/assets/0c5c924a685f79d8a0037fb9862aa1358d05058a19ab295c1b1983dae491355d.jpg","width":1224,"height":984},"locale":"fr","path":"/content/papers/fr/deepseek/deepseek-v2.fbad9a4213ba.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"multi-head-latent-attention","text":"Multi-head Latent Attention","depth":3},{"id":"encodage-positionnel-rotatif-découplé","text":"Encodage positionnel rotatif découplé","depth":3},{"id":"deepseekmoe","text":"DeepSeekMoE","depth":3},{"id":"pertes-auxiliaires-déquilibrage","text":"Pertes auxiliaires d'équilibrage","depth":3},{"id":"stratégie-dentraînement","text":"Stratégie d'entraînement","depth":3},{"id":"alignement-du-modèle","text":"Alignement du modèle","depth":2},{"id":"discussion","text":"Discussion","depth":2},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"transformers/mixtral","relation":"background","topic":"Routage des tokens vers des experts"},{"id":"deepseek/deepseek-llm","relation":"background","topic":"Modèles de langage DeepSeek et entraînement au raisonnement"},{"id":"deepseek/deepseek-v3","relation":"next","topic":"Modèles de langage DeepSeek et entraînement au raisonnement"}]}],"text":"Fin 2023, Mistral a [publié les poids de Mixtral 8×7B](https://mistral.ai/news/mixtral-of-experts/) sous licence Apache 2.0, qui permet l'usage commercial et la modification. L'annonce affirmait surtout que Mixtral dépassait Llama 2 70B sur la plupart des tests et que son inférence était six fois plus rapide. De quoi donner envie d'installer aussitôt le modèle dans un service. Mais si vous payez les GPU, vous vous demanderez sans doute d'abord ce que le modèle économise exactement.\n\nL'industrie a réagi vite. [AWS l'a ajouté à SageMaker JumpStart en décembre 2023](https://aws.amazon.com/blogs/machine-learning/mixtral-8x7b-is-now-available-in-amazon-sagemaker-jumpstart/), puis [à Bedrock en mars suivant](https://aws.amazon.com/blogs/aws/mistral-ai-models-now-available-on-amazon-bedrock/). [IBM l'a également intégré à watsonx](https://newsroom.ibm.com/2024-02-29-IBM-Announces-Availability-of-Open-Source-Mistral-AI-Model-on-watsonx%2C-Expands-Model-Choice-to-Help-Enterprises-Scale-AI-with-Trust-and-Flexibility). Ces annonces prouvent que les plateformes ont voulu le proposer. Elles ne disent ni combien d'entreprises l'ont réellement mis en production, ni à quelle vitesse il tourne sur une machine donnée.\n\nLaissons de côté les chiffres publicitaires. L'idée de Mixtral consiste à **préparer huit réseaux feed-forward parmi lesquels choisir, mais n'en faire travailler que deux pour chaque token à chaque couche**. Un token est un petit morceau de texte après découpage ; l'article appelle ces réseaux des « experts ». Personne ne leur a attribué d'avance les mathématiques, la programmation ou la littérature. Suivons d'abord un token dans le modèle, puis revenons aux figures pour voir ce que l'article permet vraiment de conclure sur la promesse des « six fois plus vite ».\n\n## Définir le problème\n\n### Visualiser un token et une couche du modèle\n\nLe modèle ne calcule pas directement sur un texte entier pris comme un seul objet. Il découpe le texte en tokens, puis transforme chacun en une suite de nombres, appelée vecteur. Un token ne correspond pas nécessairement à un caractère ou à un mot. Pour faciliter l'explication, **supposons provisoirement** que la note d’agenda « Demain après-midi : réunion » soit découpée en « demain / après-midi / réunion ». Ce n'est pas le découpage réel que nous attribuons au tokenizer de Mixtral.\n\nObservons le token « réunion ». Quand il entre dans une couche, le mécanisme d'attention peut utiliser les tokens précédents : sa représentation numérique intègre alors les informations apportées par « demain » et « après-midi ». Cette représentation passe ensuite dans un réseau feed-forward, ou FFN, pour subir une autre transformation. Retenons d'abord le trajet suivant :\n\n> représentation numérique du token → l'attention lit le contexte précédent → le FFN traite ce token → couche suivante\n\nCe trajet sert à situer la modification de Mixtral. Un bloc Transformer complet comprend aussi une normalisation et des connexions résiduelles. Le FFN ne consulte pas un dictionnaire pour choisir directement le mot suivant : il transforme un vecteur en un autre. Le modèle traverse encore d'autres couches avant de prédire le prochain token.\n\nDans un modèle dense ordinaire, chaque couche possède un FFN. Quel que soit le token traité, cette couche utilise les mêmes poids de FFN. Agrandir ce réseau est une manière directe de lui donner davantage de paramètres ; en contrepartie, chaque token doit effectuer tout ce calcul supplémentaire.\n\nPourrait-on préparer plusieurs FFN, tout en n'en utilisant qu'une partie pour le token présent ? C'est la question à laquelle répond un Sparse Mixture of Experts, ou SMoE, un mélange clairsemé d'experts. « Clairsemé » signifie ici que **seuls certains experts sont activés à chaque passage**. Cette parcimonie concerne l’activation des experts ; la séquence et les autres opérations du Transformer restent présentes, et l’ensemble des poids doit être stocké.\n\nLe [Switch Transformer](/blog/papers/transformers/switch-transformer) étudié précédemment choisit un expert par token ; Mixtral en choisit deux à chaque couche. L'article ne compare pas les deux modèles à conditions d'entraînement parfaitement identiques. Nous ne pouvons donc pas attribuer un gain précis au choix de deux experts plutôt que d'un.\n\nLe problème devient alors concret. Comment un token choisit-il deux experts, et comment leurs résultats rejoignent-ils le Transformer ? Même si seuls deux calculent, il faut loger quelque part les poids des huit. Enfin, moins de calcul signifie-t-il vraiment un service plus rapide ?\n\n## Résoudre le problème\n\n### Où se trouvent les huit experts ?\n\nMixtral reste un Transformer decoder-only qui génère le texte pas à pas en utilisant ce qui précède pour prédire le token suivant. Le Tableau 1 indique 32 couches, une dimension du modèle de 4096 et une attention dense sur un contexte pouvant atteindre 32 768 tokens. Retenons pour l'instant que le modèle compte **32 couches successives** et que chaque token transmet entre elles un vecteur de **4096 nombres**. Ce ne sont ni 4096 caractères ni 4096 experts.\n\nDans chaque couche, l'attention traite toujours la relation entre le token et son contexte antérieur. Mixtral intervient sur **l'emplacement du FFN après l'attention**, où il remplace l'unique FFN par huit FFN dotés chacun de leurs propres poids. Ce sont les experts de l'article. Ils ne disposent pas chacun d'un mécanisme d'attention complet et ne sont pas huit agents conversationnels indépendants.\n\nRegardons la Figure 1 de l'article original. Suivons d'abord les traits noirs continus. À gauche, le routeur reçoit l'entrée, choisit deux chemins et transmet le même vecteur à deux experts ; à droite, le cercle additionne leurs sorties. Les autres experts, dessinés en clair, appartiennent toujours au modèle, mais ne calculent pas le FFN de ce token. Les pointillés ne représentent pas deux experts supplémentaires, mais les poids de mélange que le routeur donne aux chemins choisis. La figure montre **une seule couche MoE**, pas huit modèles complets répondant à tour de rôle ; elle ne dessine pas non plus l'attention environnante.\n\n![Figure 1 de l'article Mixtral : le routeur choisit deux experts pour une entrée et combine leurs sorties.](/content/papers/assets/1347eb75040f1144f7ea5820cae7b4bd60c49b6bf351fb1c9e77b4c20e642c46.png)\n\n*Article original, [Figure 1](https://arxiv.org/html/2401.04088v1#S2.F1) : parcours d'une entrée dans une couche MoE. Image issue de l'article des auteurs, créditée selon la licence [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/).*\n\n### Suivre « réunion » dans une couche\n\nRevenons à « réunion ». Supposons qu'après avoir lu le contexte, ce token arrive à l'emplacement du FFN d'une couche avec un vecteur $x$. Dans Mixtral, $x$ contient réellement 4096 nombres. Inutile de tous les écrire : il suffit de retenir que le routeur et les experts reçoivent **le même $x$**.\n\nLe routeur calcule d'abord un score pour chacun des huit experts. En suivant le $xW_g$ de l'article, nous pouvons voir $x$ comme un vecteur de longueur 4096 et les poids de routage $W_g$ comme une matrice $4096\\times8$. Leur produit donne huit scores. Il ne colle pas à la phrase une étiquette humaine telle que « travail » ou « maths ». Supposons que $E_0$ obtienne le meilleur score, 1.2, et $E_3$ le suivant, 0.9, tous les autres étant en dessous de 0.9. Ces chiffres sont **un exemple pédagogique**, pas des mesures de l'article pour « réunion ».\n\nOn choisit d'abord les deux premiers, $E_0$ et $E_3$. Les six autres ne calculent pas leur FFN cette fois. Il faut ensuite convertir les deux scores en poids de mélange, une étape qui passe facilement inaperçue. Le TopK de l'article met les six scores écartés à moins l'infini ; ensuite seulement, le softmax leur attribue un poids nul et fait totaliser 1 aux deux poids restants. Le meilleur score reçoit une part plus grande, sans monopoliser la sortie.\n\nPour 1.2 et 0.9, les poids valent environ 0.574 et 0.426, soit 57.4% et 42.6%. Voici le calcul :\n\n$$\ng_0=\\frac{e^{1.2}}{e^{1.2}+e^{0.9}}\\approx0.574,\\qquad\ng_3=\\frac{e^{0.9}}{e^{1.2}+e^{0.9}}\\approx0.426.\n$$\n\nDans cette formule, $e$ est la base de la fonction exponentielle. Chaque numérateur correspond à un expert ; le dénominateur additionne les deux, ce qui donne une somme de 1. Le 57.4% n'est ni « la probabilité que la réponse soit correcte », ni « la part de la phrase relevant de la discipline de $E_0$ ». Il règle uniquement **la façon de combiner les deux sorties**.\n\n\n> [!TIP]\n> \n> Si l'on applique d'abord le softmax aux huit scores, puis que l'on jette six résultats, les deux poids conservés ne totalisent plus 1. La formule de Mixtral choisit les deux premiers, masque les autres, puis applique le softmax entre ces deux experts.\n\n\n### Que fait un expert de son entrée ?\n\nChaque expert choisi transforme $x$ en un nouveau vecteur. Les experts de Mixtral sont des FFN SwiGLU ; le Tableau 1 donne une dimension cachée interne de 14 336. Pour se faire une première image, le FFN déploie temporairement la représentation à 4096 dimensions, lui applique une transformation avec porte, puis la ramène à 4096 dimensions afin de rejoindre le chemin principal du Transformer. Les deux experts ont **la même forme de calcul, mais des poids différents** : le même $x$ peut donc produire des sorties différentes.\n\nIl faut distinguer deux « portes ». Le routeur décide **quels deux FFN complets vont travailler**. La porte interne de SwiGLU contrôle **comment un FFN transforme ses nombres**. L'une choisit entre experts ; l'autre agit dans un expert.\n\nEnfin, le modèle additionne les deux sorties selon les poids calculés :\n\n$$\ny=0.574E_0(x)+0.426E_3(x).\n$$\n\nSi 4096 dimensions restent trop abstraites, ne regardons provisoirement que deux positions. Supposons que $E_0(x)$ y donne $(10,0)$ et $E_3(x)$ donne $(0,10)$. Le résultat combiné est $(5.74,4.26)$. **C'est encore un exemple pédagogique, pas une véritable sortie de Mixtral.** Chaque expert produit un vecteur entier, et le modèle additionne, position par position, les valeurs pondérées. Les experts ne rédigent pas chacun une réponse pour ensuite voter.\n\nUne fois $y$ obtenu, le token traverse la suite du bloc et les couches suivantes. Sa représentation a changé quand il atteint la couche suivante ; le routeur y calcule de nouveaux scores. Un autre token de la même phrase peut emprunter d'autres chemins. Ainsi, **« réunion » n'est pas attaché à $E_0$ et $E_3$ de la première à la dernière couche**. « Deux experts par token et par couche » signifie que le choix est refait à chaque couche.\n\nPendant l'entraînement, les poids du routeur et des experts sont appris. Pendant l'inférence, lorsque le modèle répond réellement, il choisit deux experts d'après la représentation actuelle du token. Personne n'a étiqueté $E_0$ « expert des réunions », et un seul choix de route ne révèle pas sa spécialité.\n\n### Pourquoi 8×7B, mais seulement 47B ?\n\nLe nom pousse à multiplier huit modèles complets de 7B et à obtenir 56B. Ce calcul compte plusieurs fois les parties partagées. L'attention et d'autres composants de Mixtral sont communs ; ce sont surtout les ensembles de poids des FFN experts qui se multiplient dans chaque couche. L'article annonce **environ 47B paramètres au total** et **environ 13B paramètres actifs par token**. B signifie billion, soit un milliard : on compte des nombres appris, et non des octets de fichier.\n\nIl faut distinguer « total » et « actif ». Imaginez un établi avec huit boîtes à outils ; vous n'en utilisez que deux pour le travail en cours. Les outils inutilisés ne participent pas à cette étape, mais doivent être rangés quelque part. Mixtral ne calcule pas tous les experts pour chaque token, mais un service doit conserver ou répartir l'ensemble des quelque 47B poids. « 13B actifs » décrit le calcul par token ; la mémoire doit accueillir l’ensemble des poids.\n\nOn ne peut pas non plus traduire directement 13B en latence. Le modèle effectue encore l'attention et le routage, déplace les tokens et calcule vraiment avec les deux experts. Si ceux-ci résident sur des GPU différents, il faut envoyer les tokens vers les appareils concernés, puis récupérer les résultats. Si beaucoup de tokens affluent vers le même expert, une attente peut se former. Les Sections 2.1 et 3 distinguent donc **le calcul par token, la mémoire pour tous les poids et l'utilisation du matériel**. Un nombre moindre de paramètres actifs ouvre une possibilité de réduire le calcul ; ce n'est pas une mesure garantissant une accélération par cinq.\n\n## Discussion\n\n### Les scores montent, mais que mesurent-ils ?\n\nMaintenant que l'architecture est claire, demandons-nous si ces huit groupes d'experts améliorent les résultats. Les auteurs ont réévalué Mixtral, Mistral 7B et Llama 2 70B avec leur même procédure. Commençons par quatre tâches. Les chiffres proviennent du Tableau 2 original ; nous ne les avons pas reproduits ici.\n\n| Tâche | En quoi elle consiste | Mistral 7B | Mixtral 8×7B | Llama 2 70B |\n| --- | --- | ---: | ---: | ---: |\n| MMLU | Questions à choix multiple dans plusieurs matières | 62.5% | **70.6%** | 69.9% |\n| HumanEval | Générer du code et vérifier les tests | 26.2% | **40.2%** | 29.3% |\n| MATH | Résoudre des problèmes mathématiques | 12.7% | **28.4%** | 13.8% |\n| HellaSwag | Choisir la suite plausible d'une situation | 81.0% | 84.4% | **85.4%** |\n\n*Extrait du [Tableau 2](https://arxiv.org/html/2401.04088v1#S3.T2) original. MMLU est en 5-shot, HumanEval en 0-shot, MATH en 4-shot avec maj@4 ; HellaSwag appartient à la catégorie 0-shot du tableau.*\n\nSi le mot « shot » est nouveau pour vous, il indique combien d'exemples sont fournis avant la question : aucun en 0-shot, cinq en 5-shot. Pour MATH, maj@4 retient la réponse majoritaire parmi quatre tentatives. Ces réglages influencent les scores. Bien que toutes les lignes soient des pourcentages, **on ne peut pas comparer deux lignes pour dire que le modèle est meilleur en maths qu'en programmation**. Comparons surtout les modèles sur une même ligne.\n\nSur MMLU, les 70.6% de Mixtral dépassent légèrement les 69.9% de Llama 2 70B, soit 0.7 point de pourcentage. Les écarts sont plus visibles pour HumanEval, 40.2% contre 29.3%, et MATH, 28.4% contre 13.8%. Sur HellaSwag, Llama 2 70B prend l'avantage avec 85.4% contre 84.4%. Mixtral est compétitif sur plusieurs tâches de ce groupe, mais ne gagne pas partout.\n\nLa Figure 3 dessine six petits graphiques pour six groupes de tâches. Cherchons d'abord la légende en bas à droite, où **les carrés orange représentent la famille Mistral et les ronds rouges la famille Llama**. L'axe horizontal montre les paramètres actifs par token, l'axe vertical le score. Mixtral se trouve autour de 13B, Llama 2 70B à 70B. Les auteurs prennent « combien de paramètres calculer à la fois » comme approximation de l'efficacité, et non le nombre total de paramètres stockés.\n\n![Figure 3 de l'article Mixtral : scores par tâche en fonction des paramètres actifs par token.](/content/papers/assets/d24fdda9f5229a17cb0fee6017f54fe7f1373144309acd16e797e0a6153451a1.png)\n\n*Article original, [Figure 3](https://arxiv.org/html/2401.04088v1#S3.F3) : comparaison de Mistral, Mixtral et Llama 2 sur six groupes de tâches. Image issue de l'article des auteurs, créditée selon [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/). Sur téléphone, [ouvrir la figure en taille réelle](https://arxiv.org/html/2401.04088v1/images/231209_scaling.png) pour lire les axes et la légende.*\n\nComparons la hauteur de deux points dans un même petit graphique. En Math et en Code, Mixtral avec 13B actifs dépasse Llama 2 avec 70B ; en Reading Comprehension, c'est l'inverse. Les six graphiques ont des plages verticales différentes : comparer directement la pente des lignes entre graphiques serait trompeur. La ligne qui relie les modèles d'une même famille ne se lit pas non plus comme « il suffit d'ajouter des paramètres pour que le score suive la ligne ». La Figure 3 étaye **la comparaison entre ces modèles, sur ces tâches, des scores et des paramètres actifs**. Elle ne mesure ni les tokens générés par seconde, ni la mémoire GPU sur l'axe horizontal.\n\nPour estimer l'espace des seuls poids, 47B paramètres stockés chacun sur deux octets en bf16 représentent environ 94 GB, sans compter les caches pendant la génération et les autres besoins d'exécution. La Section 3 précise que l'analyse d'efficacité de la Figure 3 ne comprend ni le coût mémoire ni l'utilisation du matériel ; le routage et la lecture des poids des experts ajoutent une charge. La promesse des « six fois plus vite » ne découle donc pas de cette figure seule.\n\nL'amélioration vient-elle alors **uniquement** du remplacement du FFN par un choix de deux experts sur huit ? Cette comparaison ne l'isole pas. Les données d'entraînement, l'échelle des modèles et d'autres réglages ne sont pas fixés en ne laissant varier que le routage. Même réévalués par la même procédure, ces modèles ne constituent pas une expérience contrôlée sur une modification unique. L'article présente aussi Mixtral Instruct, ajusté pour suivre les instructions ; ses évaluations de conversation ne remplacent pas une étude d'ablation de l'architecture du modèle de base.\n\n### Les huit experts se répartissent-ils vraiment les matières ?\n\nImaginons que le routeur envoie toujours les problèmes de maths à un expert et les textes de philosophie à un autre. Pourrions-nous parler de spécialisation par matière ? Les auteurs ont posé une question semblable. Dans la Figure 7, les trois rangées correspondent aux couches 0, 15 et 31. L'axe horizontal numérote les experts de 0 à 7 ; l'axe vertical indique la proportion de tokens d'un domaine attribués à chacun. La ligne grise pointillée marque la part uniforme de $1/8$. Huit couleurs auprès de chaque expert correspondent à huit types de textes. La figure compte **les experts retenus en premier ou en second**.\n\n![Figure 7 de l'article Mixtral : sélection des huit experts pour huit types de textes aux couches 0, 15 et 31.](/content/papers/assets/852f57d807b93629c90e37418662ee901e34ca9972c3e928165afb53ca5251a4.png)\n\n*Article original, [Figure 7](https://arxiv.org/html/2401.04088v1#S5.F7) : fréquence de sélection des experts selon le domaine. Le SVG des auteurs a été converti en PNG sans recadrage, avec attribution selon [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/). Sur téléphone, [ouvrir l'original agrandissable](https://arxiv.org/html/2401.04088v1/routing-assignments-short.svg) pour lire la légende.*\n\nFixons un numéro d'expert et comparons ses barres de couleur. Les distributions des articles ArXiv, des résumés PubMed et des documents de philosophie se ressemblent. Rien n'indique clairement qu'un domaine soit toujours envoyé au même expert. À la couche 31, les données de mathématiques présentent quelques différences : les barres jaunes des experts 0 et 2 sont plus hautes, par exemple. Les auteurs rappellent que ce jeu de données est relativement synthétique et couvre peu de formes de langue naturelle. La figure mesure **la fréquence de sélection**, pas la justesse de chaque expert sur des problèmes mathématiques.\n\nLes auteurs ont aussi regardé si des tokens voisins suivent des routes similaires. Le [Tableau 5](https://arxiv.org/html/2401.04088v1#S5.T5) sépare deux groupes de colonnes. Celles de gauche demandent si le prochain token a **le même premier choix d'expert**, celles de droite si les deux experts retenus pour le prochain token ont **au moins un expert en commun** avec ceux du token courant. Il ne faut pas confondre ces pourcentages. Pour les textes ArXiv, le chiffre de gauche est 14.0% à la couche 0, proche du hasard $1/8=12.5\\%$ ; il atteint 27.9% à la couche 15 et vaut 22.7% à la couche 31. À droite, il est de 62.3% à la couche 15, à comparer à une référence aléatoire d'environ 46%. Dans les couches profondes, des tokens voisins se dirigent donc plus souvent vers les mêmes experts. Les tokens colorés de la [Figure 8](https://arxiv.org/html/2401.04088v1#S5.F8) suggèrent aussi des régularités locales de syntaxe et de forme textuelle.\n\nCes observations ont une portée pour le déploiement. Si de nombreux tokens voisins se dirigent vers le même expert, le GPU qui l'héberge pourrait recevoir plus de travail ; à l'inverse, des usages répétés pourraient favoriser la mise en cache. Ce sont des pistes d'ingénierie déduites de la distribution du routage. Le Tableau 5 ne suffit pas à annoncer la vitesse d'une machine particulière.\n\n### Que signifie une fenêtre de contexte de 32K ?\n\nL'article indique un contexte allant jusqu'à 32 768 tokens. Le modèle peut donc accepter une longue séquence dans une seule entrée. Mais **pouvoir l'insérer** et **réussir toute tâche sur un long document** sont deux affirmations distinctes. La moitié gauche de la [Figure 4](https://arxiv.org/html/2401.04088v1#S3.F4) montre un test synthétique de passkey, qui consiste à cacher un élément précis à différentes positions dans un long texte, puis à demander au modèle de le retrouver. Aux longueurs et positions testées, la récupération atteint 100%. La moitié droite mesure la perplexité sur une partie de Proof-Pile. Quand davantage de contexte précédent est disponible, la perplexité de la prédiction du token suivant diminue. Une perplexité plus basse signifie que le modèle prévoit avec plus d'assurance le prochain token de ces textes. Aucun de ces résultats ne teste directement la capacité à synthétiser correctement tout un long rapport.\n\nLe résultat est précis, mais il ne mesure que la capacité à retrouver une information désignée. Pour savoir si le modèle peut résumer un rapport ou suivre plusieurs passages contradictoires, il faut des tests correspondants. Distinguer « longueur acceptée », « retrouver un passage » et « comprendre tout le document » empêche qu'un seul beau chiffre réponde à trois questions différentes.\n\n## Conclusion\n\nRevenons à l'annonce « six fois plus vite ». Mixtral a effectivement réussi à placer huit FFN experts à chaque couche, à en choisir deux selon la représentation courante du token, et ainsi à n'activer qu'environ 13B paramètres à chaque passage sur un total proche de 47B. Le Tableau 2 et la Figure 3 montrent qu'avec moins de paramètres actifs, il obtenait à l'époque des scores compétitifs sur plusieurs évaluations. Cela aide à comprendre son arrivée rapide sur les plateformes de modèles cloud. Mais scores et paramètres actifs ne suffisent pas à chiffrer la latence ou la facture d'un service.\n\nEn octobre 2026, le bilan est plus nuancé. Côté positif, les poids ouverts peuvent toujours être déployés par soi-même ; [AWS Bedrock indique Mixtral Instruct comme Active](https://docs.aws.amazon.com/bedrock/latest/userguide/model-card-mistral-ai-mixtral-8x7b-instruct.html), et [MLPerf Inference](https://docs.mlcommons.org/inference/benchmarks/language/mixtral-8x7b/) continue à l'utiliser comme charge de référence pour les systèmes. [DeepSeek-V3](https://arxiv.org/abs/2412.19437) et [Qwen3](https://arxiv.org/abs/2505.09388), apparus plus tard, comprennent des modèles MoE : l'activation clairsemée reste une piste suivie. La recherche sur les MoE précède Mixtral ; on ne peut attribuer directement tous ces modèles à cet article.\n\nL'autre côté concerne le cycle de vie du modèle. [Mistral classe Mixtral 8×7B comme retiré depuis mars 2025 et recommande Mistral Small 4 pour de nouvelles intégrations](https://docs.mistral.ai/models/mixtral-8x7b-0-1). Les poids ouverts et les services tiers peuvent subsister, mais une avance mesurée en 2023 n'est pas une conclusion de sélection pour aujourd'hui. Le déploiement exige toujours l'ensemble des poids et doit composer avec le routage, les transferts entre appareils et les déséquilibres de charge ; la Figure 3 ne mesure rien de cela. Le long contexte réclame aussi des vérifications par tâche : dans le [test RULER ultérieur](https://arxiv.org/html/2404.06654), la version de base de Mixtral réussit bien une recherche simple à 32K, mais n'obtient que 41.3% sur une tâche d'agrégation d'informations à la même longueur. C'est un test synthétique, qui invite à tester ses propres documents, pas un taux de réussite valable pour tous les travaux sur de longs textes.\n\nSi vous envisagez aujourd'hui Mixtral pour un produit, comparez-le aux modèles plus récents sur vos propres tâches, langues et matériels : qualité des réponses, mémoire, latence et débit. L'article nous apprend à activer sélectivement les paramètres. Le slogan de vitesse qui séduisait lors du lancement doit encore être vérifié sur une charge de service réelle.\n","imageSizes":{"/content/papers/assets/1347eb75040f1144f7ea5820cae7b4bd60c49b6bf351fb1c9e77b4c20e642c46.png":{"width":2116,"height":968},"/content/papers/assets/d24fdda9f5229a17cb0fee6017f54fe7f1373144309acd16e797e0a6153451a1.png":{"width":4516,"height":2589},"/content/papers/assets/852f57d807b93629c90e37418662ee901e34ca9972c3e928165afb53ca5251a4.png":{"width":1428,"height":1020}}}
