Retour à la bibliothèque
arXiv 2024Langage et TransformersNotes de lecture

Mixtral of Experts

Huit experts disponibles, deux au travail

Article original

Mixtral of Experts

Auteurs de l’article

Albert Q. Jiang · Alexandre Sablayrolles · Antoine Roux …

Afficher les 26 auteurs

Albert Q. Jiang · Alexandre Sablayrolles · Antoine Roux · Arthur Mensch · Blanche Savary · Chris Bamford · Devendra Singh Chaplot · Diego de las Casas · Emma Bou Hanna · Florian Bressand · Gianna Lengyel · Guillaume Bour · Guillaume Lample · Lélio Renard Lavaud · Lucile Saulnier · Marie-Anne Lachaux · Pierre Stock · Sandeep Subramanian · Sophia Yang · Szymon Antoniak · Teven Le Scao · Théophile Gervet · Thibaut Lavril · Thomas Wang · Timothée Lacroix · William El Sayed

Publication
Lieu de publication non encore vérifié
Premier dépôt sur arXiv
arXiv:2401.04088
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{transformersmixtral2024,
  title = {{Mixtral of Experts}},
  author = {Albert Q. Jiang and Alexandre Sablayrolles and Antoine Roux and Arthur Mensch and Blanche Savary and Chris Bamford and Devendra Singh Chaplot and Diego de las Casas and Emma Bou Hanna and Florian Bressand and Gianna Lengyel and Guillaume Bour and Guillaume Lample and Lélio Renard Lavaud and Lucile Saulnier and Marie-Anne Lachaux and Pierre Stock and Sandeep Subramanian and Sophia Yang and Szymon Antoniak and Teven Le Scao and Théophile Gervet and Thibaut Lavril and Thomas Wang and Timothée Lacroix and William El Sayed},
  year = {2024},
  eprint = {2401.04088},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2401.04088}
}
Sur cette page

Fin 2023, Mistral a publié les poids de Mixtral 8×7B sous licence Apache 2.0, qui permet l'usage commercial et la modification. L'annonce affirmait surtout que Mixtral dépassait Llama 2 70B sur la plupart des tests et que son inférence était six fois plus rapide. De quoi donner envie d'installer aussitôt le modèle dans un service. Mais si vous payez les GPU, vous vous demanderez sans doute d'abord ce que le modèle économise exactement.

L'industrie a réagi vite. AWS l'a ajouté à SageMaker JumpStart en décembre 2023, puis à Bedrock en mars suivant. IBM l'a également intégré à watsonx. Ces annonces prouvent que les plateformes ont voulu le proposer. Elles ne disent ni combien d'entreprises l'ont réellement mis en production, ni à quelle vitesse il tourne sur une machine donnée.

Laissons de côté les chiffres publicitaires. L'idée de Mixtral consiste à préparer huit réseaux feed-forward parmi lesquels choisir, mais n'en faire travailler que deux pour chaque token à chaque couche. Un token est un petit morceau de texte après découpage ; l'article appelle ces réseaux des « experts ». Personne ne leur a attribué d'avance les mathématiques, la programmation ou la littérature. Suivons d'abord un token dans le modèle, puis revenons aux figures pour voir ce que l'article permet vraiment de conclure sur la promesse des « six fois plus vite ».

Définir le problème

Visualiser un token et une couche du modèle

Le modèle ne calcule pas directement sur un texte entier pris comme un seul objet. Il découpe le texte en tokens, puis transforme chacun en une suite de nombres, appelée vecteur. Un token ne correspond pas nécessairement à un caractère ou à un mot. Pour faciliter l'explication, supposons provisoirement que la note d’agenda « Demain après-midi : réunion » soit découpée en « demain / après-midi / réunion ». Ce n'est pas le découpage réel que nous attribuons au tokenizer de Mixtral.

Observons le token « réunion ». Quand il entre dans une couche, le mécanisme d'attention peut utiliser les tokens précédents : sa représentation numérique intègre alors les informations apportées par « demain » et « après-midi ». Cette représentation passe ensuite dans un réseau feed-forward, ou FFN, pour subir une autre transformation. Retenons d'abord le trajet suivant :

représentation numérique du token → l'attention lit le contexte précédent → le FFN traite ce token → couche suivante

Ce trajet sert à situer la modification de Mixtral. Un bloc Transformer complet comprend aussi une normalisation et des connexions résiduelles. Le FFN ne consulte pas un dictionnaire pour choisir directement le mot suivant : il transforme un vecteur en un autre. Le modèle traverse encore d'autres couches avant de prédire le prochain token.

Dans un modèle dense ordinaire, chaque couche possède un FFN. Quel que soit le token traité, cette couche utilise les mêmes poids de FFN. Agrandir ce réseau est une manière directe de lui donner davantage de paramètres ; en contrepartie, chaque token doit effectuer tout ce calcul supplémentaire.

Pourrait-on préparer plusieurs FFN, tout en n'en utilisant qu'une partie pour le token présent ? C'est la question à laquelle répond un Sparse Mixture of Experts, ou SMoE, un mélange clairsemé d'experts. « Clairsemé » signifie ici que seuls certains experts sont activés à chaque passage. Cette parcimonie concerne l’activation des experts ; la séquence et les autres opérations du Transformer restent présentes, et l’ensemble des poids doit être stocké.

Le Switch Transformer étudié précédemment choisit un expert par token ; Mixtral en choisit deux à chaque couche. L'article ne compare pas les deux modèles à conditions d'entraînement parfaitement identiques. Nous ne pouvons donc pas attribuer un gain précis au choix de deux experts plutôt que d'un.

Le problème devient alors concret. Comment un token choisit-il deux experts, et comment leurs résultats rejoignent-ils le Transformer ? Même si seuls deux calculent, il faut loger quelque part les poids des huit. Enfin, moins de calcul signifie-t-il vraiment un service plus rapide ?

Résoudre le problème

Où se trouvent les huit experts ?

Mixtral reste un Transformer decoder-only qui génère le texte pas à pas en utilisant ce qui précède pour prédire le token suivant. Le Tableau 1 indique 32 couches, une dimension du modèle de 4096 et une attention dense sur un contexte pouvant atteindre 32 768 tokens. Retenons pour l'instant que le modèle compte 32 couches successives et que chaque token transmet entre elles un vecteur de 4096 nombres. Ce ne sont ni 4096 caractères ni 4096 experts.

Dans chaque couche, l'attention traite toujours la relation entre le token et son contexte antérieur. Mixtral intervient sur l'emplacement du FFN après l'attention, où il remplace l'unique FFN par huit FFN dotés chacun de leurs propres poids. Ce sont les experts de l'article. Ils ne disposent pas chacun d'un mécanisme d'attention complet et ne sont pas huit agents conversationnels indépendants.

Regardons la Figure 1 de l'article original. Suivons d'abord les traits noirs continus. À gauche, le routeur reçoit l'entrée, choisit deux chemins et transmet le même vecteur à deux experts ; à droite, le cercle additionne leurs sorties. Les autres experts, dessinés en clair, appartiennent toujours au modèle, mais ne calculent pas le FFN de ce token. Les pointillés ne représentent pas deux experts supplémentaires, mais les poids de mélange que le routeur donne aux chemins choisis. La figure montre une seule couche MoE, pas huit modèles complets répondant à tour de rôle ; elle ne dessine pas non plus l'attention environnante.

Article original, Figure 1 : parcours d'une entrée dans une couche MoE. Image issue de l'article des auteurs, créditée selon la licence CC BY 4.0.

Suivre « réunion » dans une couche

Revenons à « réunion ». Supposons qu'après avoir lu le contexte, ce token arrive à l'emplacement du FFN d'une couche avec un vecteur xx. Dans Mixtral, xx contient réellement 4096 nombres. Inutile de tous les écrire : il suffit de retenir que le routeur et les experts reçoivent le même xx.

Le routeur calcule d'abord un score pour chacun des huit experts. En suivant le xWgxW_g de l'article, nous pouvons voir xx comme un vecteur de longueur 4096 et les poids de routage WgW_g comme une matrice 4096×84096\times8. Leur produit donne huit scores. Il ne colle pas à la phrase une étiquette humaine telle que « travail » ou « maths ». Supposons que E0E_0 obtienne le meilleur score, 1.2, et E3E_3 le suivant, 0.9, tous les autres étant en dessous de 0.9. Ces chiffres sont un exemple pédagogique, pas des mesures de l'article pour « réunion ».

On choisit d'abord les deux premiers, E0E_0 et E3E_3. Les six autres ne calculent pas leur FFN cette fois. Il faut ensuite convertir les deux scores en poids de mélange, une étape qui passe facilement inaperçue. Le TopK de l'article met les six scores écartés à moins l'infini ; ensuite seulement, le softmax leur attribue un poids nul et fait totaliser 1 aux deux poids restants. Le meilleur score reçoit une part plus grande, sans monopoliser la sortie.

Pour 1.2 et 0.9, les poids valent environ 0.574 et 0.426, soit 57.4% et 42.6%. Voici le calcul :

g0=e1.2e1.2+e0.9≈0.574,g3=e0.9e1.2+e0.9≈0.426.g_0=\frac{e^{1.2}}{e^{1.2}+e^{0.9}}\approx0.574,\qquad g_3=\frac{e^{0.9}}{e^{1.2}+e^{0.9}}\approx0.426.

Dans cette formule, ee est la base de la fonction exponentielle. Chaque numérateur correspond à un expert ; le dénominateur additionne les deux, ce qui donne une somme de 1. Le 57.4% n'est ni « la probabilité que la réponse soit correcte », ni « la part de la phrase relevant de la discipline de E0E_0 ». Il règle uniquement la façon de combiner les deux sorties.

Que fait un expert de son entrée ?

Chaque expert choisi transforme xx en un nouveau vecteur. Les experts de Mixtral sont des FFN SwiGLU ; le Tableau 1 donne une dimension cachée interne de 14 336. Pour se faire une première image, le FFN déploie temporairement la représentation à 4096 dimensions, lui applique une transformation avec porte, puis la ramène à 4096 dimensions afin de rejoindre le chemin principal du Transformer. Les deux experts ont la même forme de calcul, mais des poids différents : le même xx peut donc produire des sorties différentes.

Il faut distinguer deux « portes ». Le routeur décide quels deux FFN complets vont travailler. La porte interne de SwiGLU contrôle comment un FFN transforme ses nombres. L'une choisit entre experts ; l'autre agit dans un expert.

Enfin, le modèle additionne les deux sorties selon les poids calculés :

y=0.574E0(x)+0.426E3(x).y=0.574E_0(x)+0.426E_3(x).

Si 4096 dimensions restent trop abstraites, ne regardons provisoirement que deux positions. Supposons que E0(x)E_0(x) y donne (10,0)(10,0) et E3(x)E_3(x) donne (0,10)(0,10). Le résultat combiné est (5.74,4.26)(5.74,4.26). C'est encore un exemple pédagogique, pas une véritable sortie de Mixtral. Chaque expert produit un vecteur entier, et le modèle additionne, position par position, les valeurs pondérées. Les experts ne rédigent pas chacun une réponse pour ensuite voter.

Une fois yy obtenu, le token traverse la suite du bloc et les couches suivantes. Sa représentation a changé quand il atteint la couche suivante ; le routeur y calcule de nouveaux scores. Un autre token de la même phrase peut emprunter d'autres chemins. Ainsi, « réunion » n'est pas attaché à E0E_0 et E3E_3 de la première à la dernière couche. « Deux experts par token et par couche » signifie que le choix est refait à chaque couche.

Pendant l'entraînement, les poids du routeur et des experts sont appris. Pendant l'inférence, lorsque le modèle répond réellement, il choisit deux experts d'après la représentation actuelle du token. Personne n'a étiqueté E0E_0 « expert des réunions », et un seul choix de route ne révèle pas sa spécialité.

Pourquoi 8×7B, mais seulement 47B ?

Le nom pousse à multiplier huit modèles complets de 7B et à obtenir 56B. Ce calcul compte plusieurs fois les parties partagées. L'attention et d'autres composants de Mixtral sont communs ; ce sont surtout les ensembles de poids des FFN experts qui se multiplient dans chaque couche. L'article annonce environ 47B paramètres au total et environ 13B paramètres actifs par token. B signifie billion, soit un milliard : on compte des nombres appris, et non des octets de fichier.

Il faut distinguer « total » et « actif ». Imaginez un établi avec huit boîtes à outils ; vous n'en utilisez que deux pour le travail en cours. Les outils inutilisés ne participent pas à cette étape, mais doivent être rangés quelque part. Mixtral ne calcule pas tous les experts pour chaque token, mais un service doit conserver ou répartir l'ensemble des quelque 47B poids. « 13B actifs » décrit le calcul par token ; la mémoire doit accueillir l’ensemble des poids.

On ne peut pas non plus traduire directement 13B en latence. Le modèle effectue encore l'attention et le routage, déplace les tokens et calcule vraiment avec les deux experts. Si ceux-ci résident sur des GPU différents, il faut envoyer les tokens vers les appareils concernés, puis récupérer les résultats. Si beaucoup de tokens affluent vers le même expert, une attente peut se former. Les Sections 2.1 et 3 distinguent donc le calcul par token, la mémoire pour tous les poids et l'utilisation du matériel. Un nombre moindre de paramètres actifs ouvre une possibilité de réduire le calcul ; ce n'est pas une mesure garantissant une accélération par cinq.

Discussion

Les scores montent, mais que mesurent-ils ?

Maintenant que l'architecture est claire, demandons-nous si ces huit groupes d'experts améliorent les résultats. Les auteurs ont réévalué Mixtral, Mistral 7B et Llama 2 70B avec leur même procédure. Commençons par quatre tâches. Les chiffres proviennent du Tableau 2 original ; nous ne les avons pas reproduits ici.

TâcheEn quoi elle consisteMistral 7BMixtral 8×7BLlama 2 70B
MMLUQuestions à choix multiple dans plusieurs matières62.5%70.6%69.9%
HumanEvalGénérer du code et vérifier les tests26.2%40.2%29.3%
MATHRésoudre des problèmes mathématiques12.7%28.4%13.8%
HellaSwagChoisir la suite plausible d'une situation81.0%84.4%85.4%

Extrait du Tableau 2 original. MMLU est en 5-shot, HumanEval en 0-shot, MATH en 4-shot avec maj@4 ; HellaSwag appartient à la catégorie 0-shot du tableau.

Si le mot « shot » est nouveau pour vous, il indique combien d'exemples sont fournis avant la question : aucun en 0-shot, cinq en 5-shot. Pour MATH, maj@4 retient la réponse majoritaire parmi quatre tentatives. Ces réglages influencent les scores. Bien que toutes les lignes soient des pourcentages, on ne peut pas comparer deux lignes pour dire que le modèle est meilleur en maths qu'en programmation. Comparons surtout les modèles sur une même ligne.

Sur MMLU, les 70.6% de Mixtral dépassent légèrement les 69.9% de Llama 2 70B, soit 0.7 point de pourcentage. Les écarts sont plus visibles pour HumanEval, 40.2% contre 29.3%, et MATH, 28.4% contre 13.8%. Sur HellaSwag, Llama 2 70B prend l'avantage avec 85.4% contre 84.4%. Mixtral est compétitif sur plusieurs tâches de ce groupe, mais ne gagne pas partout.

La Figure 3 dessine six petits graphiques pour six groupes de tâches. Cherchons d'abord la légende en bas à droite, où les carrés orange représentent la famille Mistral et les ronds rouges la famille Llama. L'axe horizontal montre les paramètres actifs par token, l'axe vertical le score. Mixtral se trouve autour de 13B, Llama 2 70B à 70B. Les auteurs prennent « combien de paramètres calculer à la fois » comme approximation de l'efficacité, et non le nombre total de paramètres stockés.

Article original, Figure 3 : comparaison de Mistral, Mixtral et Llama 2 sur six groupes de tâches. Image issue de l'article des auteurs, créditée selon CC BY 4.0. Sur téléphone, ouvrir la figure en taille réelle pour lire les axes et la légende.

Comparons la hauteur de deux points dans un même petit graphique. En Math et en Code, Mixtral avec 13B actifs dépasse Llama 2 avec 70B ; en Reading Comprehension, c'est l'inverse. Les six graphiques ont des plages verticales différentes : comparer directement la pente des lignes entre graphiques serait trompeur. La ligne qui relie les modèles d'une même famille ne se lit pas non plus comme « il suffit d'ajouter des paramètres pour que le score suive la ligne ». La Figure 3 étaye la comparaison entre ces modèles, sur ces tâches, des scores et des paramètres actifs. Elle ne mesure ni les tokens générés par seconde, ni la mémoire GPU sur l'axe horizontal.

Pour estimer l'espace des seuls poids, 47B paramètres stockés chacun sur deux octets en bf16 représentent environ 94 GB, sans compter les caches pendant la génération et les autres besoins d'exécution. La Section 3 précise que l'analyse d'efficacité de la Figure 3 ne comprend ni le coût mémoire ni l'utilisation du matériel ; le routage et la lecture des poids des experts ajoutent une charge. La promesse des « six fois plus vite » ne découle donc pas de cette figure seule.

L'amélioration vient-elle alors uniquement du remplacement du FFN par un choix de deux experts sur huit ? Cette comparaison ne l'isole pas. Les données d'entraînement, l'échelle des modèles et d'autres réglages ne sont pas fixés en ne laissant varier que le routage. Même réévalués par la même procédure, ces modèles ne constituent pas une expérience contrôlée sur une modification unique. L'article présente aussi Mixtral Instruct, ajusté pour suivre les instructions ; ses évaluations de conversation ne remplacent pas une étude d'ablation de l'architecture du modèle de base.

Les huit experts se répartissent-ils vraiment les matières ?

Imaginons que le routeur envoie toujours les problèmes de maths à un expert et les textes de philosophie à un autre. Pourrions-nous parler de spécialisation par matière ? Les auteurs ont posé une question semblable. Dans la Figure 7, les trois rangées correspondent aux couches 0, 15 et 31. L'axe horizontal numérote les experts de 0 à 7 ; l'axe vertical indique la proportion de tokens d'un domaine attribués à chacun. La ligne grise pointillée marque la part uniforme de 1/81/8. Huit couleurs auprès de chaque expert correspondent à huit types de textes. La figure compte les experts retenus en premier ou en second.

Article original, Figure 7 : fréquence de sélection des experts selon le domaine. Le SVG des auteurs a été converti en PNG sans recadrage, avec attribution selon CC BY 4.0. Sur téléphone, ouvrir l'original agrandissable pour lire la légende.

Fixons un numéro d'expert et comparons ses barres de couleur. Les distributions des articles ArXiv, des résumés PubMed et des documents de philosophie se ressemblent. Rien n'indique clairement qu'un domaine soit toujours envoyé au même expert. À la couche 31, les données de mathématiques présentent quelques différences : les barres jaunes des experts 0 et 2 sont plus hautes, par exemple. Les auteurs rappellent que ce jeu de données est relativement synthétique et couvre peu de formes de langue naturelle. La figure mesure la fréquence de sélection, pas la justesse de chaque expert sur des problèmes mathématiques.

Les auteurs ont aussi regardé si des tokens voisins suivent des routes similaires. Le Tableau 5 sépare deux groupes de colonnes. Celles de gauche demandent si le prochain token a le même premier choix d'expert, celles de droite si les deux experts retenus pour le prochain token ont au moins un expert en commun avec ceux du token courant. Il ne faut pas confondre ces pourcentages. Pour les textes ArXiv, le chiffre de gauche est 14.0% à la couche 0, proche du hasard 1/8=12.5%1/8=12.5\% ; il atteint 27.9% à la couche 15 et vaut 22.7% à la couche 31. À droite, il est de 62.3% à la couche 15, à comparer à une référence aléatoire d'environ 46%. Dans les couches profondes, des tokens voisins se dirigent donc plus souvent vers les mêmes experts. Les tokens colorés de la Figure 8 suggèrent aussi des régularités locales de syntaxe et de forme textuelle.

Ces observations ont une portée pour le déploiement. Si de nombreux tokens voisins se dirigent vers le même expert, le GPU qui l'héberge pourrait recevoir plus de travail ; à l'inverse, des usages répétés pourraient favoriser la mise en cache. Ce sont des pistes d'ingénierie déduites de la distribution du routage. Le Tableau 5 ne suffit pas à annoncer la vitesse d'une machine particulière.

Que signifie une fenêtre de contexte de 32K ?

L'article indique un contexte allant jusqu'à 32 768 tokens. Le modèle peut donc accepter une longue séquence dans une seule entrée. Mais pouvoir l'insérer et réussir toute tâche sur un long document sont deux affirmations distinctes. La moitié gauche de la Figure 4 montre un test synthétique de passkey, qui consiste à cacher un élément précis à différentes positions dans un long texte, puis à demander au modèle de le retrouver. Aux longueurs et positions testées, la récupération atteint 100%. La moitié droite mesure la perplexité sur une partie de Proof-Pile. Quand davantage de contexte précédent est disponible, la perplexité de la prédiction du token suivant diminue. Une perplexité plus basse signifie que le modèle prévoit avec plus d'assurance le prochain token de ces textes. Aucun de ces résultats ne teste directement la capacité à synthétiser correctement tout un long rapport.

Le résultat est précis, mais il ne mesure que la capacité à retrouver une information désignée. Pour savoir si le modèle peut résumer un rapport ou suivre plusieurs passages contradictoires, il faut des tests correspondants. Distinguer « longueur acceptée », « retrouver un passage » et « comprendre tout le document » empêche qu'un seul beau chiffre réponde à trois questions différentes.

Conclusion

Revenons à l'annonce « six fois plus vite ». Mixtral a effectivement réussi à placer huit FFN experts à chaque couche, à en choisir deux selon la représentation courante du token, et ainsi à n'activer qu'environ 13B paramètres à chaque passage sur un total proche de 47B. Le Tableau 2 et la Figure 3 montrent qu'avec moins de paramètres actifs, il obtenait à l'époque des scores compétitifs sur plusieurs évaluations. Cela aide à comprendre son arrivée rapide sur les plateformes de modèles cloud. Mais scores et paramètres actifs ne suffisent pas à chiffrer la latence ou la facture d'un service.

En octobre 2026, le bilan est plus nuancé. Côté positif, les poids ouverts peuvent toujours être déployés par soi-même ; AWS Bedrock indique Mixtral Instruct comme Active, et MLPerf Inference continue à l'utiliser comme charge de référence pour les systèmes. DeepSeek-V3 et Qwen3, apparus plus tard, comprennent des modèles MoE : l'activation clairsemée reste une piste suivie. La recherche sur les MoE précède Mixtral ; on ne peut attribuer directement tous ces modèles à cet article.

L'autre côté concerne le cycle de vie du modèle. Mistral classe Mixtral 8×7B comme retiré depuis mars 2025 et recommande Mistral Small 4 pour de nouvelles intégrations. Les poids ouverts et les services tiers peuvent subsister, mais une avance mesurée en 2023 n'est pas une conclusion de sélection pour aujourd'hui. Le déploiement exige toujours l'ensemble des poids et doit composer avec le routage, les transferts entre appareils et les déséquilibres de charge ; la Figure 3 ne mesure rien de cela. Le long contexte réclame aussi des vérifications par tâche : dans le test RULER ultérieur, la version de base de Mixtral réussit bien une recherche simple à 32K, mais n'obtient que 41.3% sur une tâche d'agrégation d'informations à la même longueur. C'est un test synthétique, qui invite à tester ses propres documents, pas un taux de réussite valable pour tous les travaux sur de longs textes.

Si vous envisagez aujourd'hui Mixtral pour un produit, comparez-le aux modèles plus récents sur vos propres tâches, langues et matériels : qualité des réponses, mémoire, latence et débit. L'article nous apprend à activer sélectivement les paramètres. Le slogan de vitesse qui séduisait lors du lancement doit encore être vérifié sur une charge de service réelle.