DeepSeek LLM: Scaling Open-Source Language Models with Longtermism
- Publication
- Lieu de publication non encore vérifié
- Premier dépôt sur arXiv
- arXiv:2401.02954
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{deepseekdeepseekllm2024,
title = {{DeepSeek LLM: Scaling Open-Source Language Models with Longtermism}},
author = {DeepSeek-AI},
year = {2024},
eprint = {2401.02954},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2401.02954v1}
}
Depuis quelque temps, DeepSeek fait tellement parler de lui qu’OpenAI s’est même senti obligé d’ajouter son grain de sel.
Puisque l’écho est si grand, prenons le temps de lire les articles publiés par l’équipe ces dernières années.
Celui-ci fait 48 pages, avec beaucoup de résultats expérimentaux et de détails techniques. Comme d’habitude, choisissons les points essentiels.
Définir le problème
L’écart de performances entre modèles ouverts et fermés revient souvent dans les discussions. Dans de nombreux bancs d’essai antérieurs, les modèles ouverts étaient distancés, notamment parce que leur taille et les ressources disponibles étaient plus limitées.
Pour réduire cet écart, l’équipe propose DeepSeek LLM, une famille de modèles ouverts de 7B à 67B paramètres. Avant de les entraîner, elle remet en question les conclusions parfois divergentes des lois de mise à l’échelle existantes. Elle établit ses propres relations entre la taille du modèle, la quantité de données et le budget de calcul ; c’est le fil conducteur de l’article.
Nous allons donc nous concentrer sur ces lois, puis parcourir la conception et les résultats de DeepSeek LLM.
Résoudre le problème
Préparation des données
L’équipe suit trois étapes : dédupliquer, filtrer, puis rééquilibrer.
-
Déduplication :
Article original, Table 1 : taux de déduplication de Common Crawl entre plusieurs dumps. La déduplication porte sur l’ensemble du corpus Common Crawl. Le tableau montre qu’une déduplication entre plusieurs dumps supprime davantage de répétitions qu’un traitement limité à chaque dump ; le modèle voit ainsi davantage d’exemples distincts.
-
Filtrage : des critères linguistiques et sémantiques de qualité documentaire sont appliqués aux échelles locale et globale.
-
Rééquilibrage : les domaines sous-représentés sont renforcés pour limiter les déséquilibres du mélange de données.
Le tokenizer utilise le Byte-level Byte-Pair Encoding (BBPE). Une pré-segmentation évite de mélanger des catégories de caractères, comme les retours à la ligne, la ponctuation ou les symboles CJK ; chaque chiffre est également séparé. Le vocabulaire compte d’abord 100 000 entrées, auxquelles s’ajoutent 15 tokens spéciaux, puis une réserve porte la capacité à 102 400 entrées. Cette marge concilie le coût du modèle et de futures extensions.
Architecture des modèles
L’architecture reprend les grandes lignes de LLaMA : normalisation préalable avec RMSNorm, activation SwiGLU dans le réseau feed-forward et encodage positionnel rotatif (RoPE). Pour réduire le coût de l’inférence, le modèle 67B emploie la Grouped-Query Attention (GQA) à la place de l’attention multi-tête classique.
Les versions 7B et 67B comportent respectivement 30 et 95 couches. Selon les auteurs, ce choix maintient une taille comparable à celle d’autres modèles ouverts et facilite le découpage du pipeline. Pour agrandir le modèle 67B, ils privilégient la profondeur plutôt que la seule largeur intermédiaire du FFN.
Paramètres et entraînement
L’écart-type de l’initialisation est fixé à 0,006. L’optimiseur est AdamW, avec :
- ;
- ;
weight_decay=0.1.
Le calendrier du taux d’apprentissage commence par 2 000 pas de warmup. Après son maximum, le taux descend à 31,6 % puis 10 % de ce maximum lorsque 80 % puis 90 % des tokens d’entraînement ont été parcourus. Ce calendrier à paliers permet de prolonger un entraînement sans repartir de zéro. Les courbes de perte diffèrent de celles obtenues avec un calendrier cosinus, mais les performances finales de l’expérience sont proches.
Les gradients sont écrêtés à 1,0 pour limiter les explosions. L’entraînement utilise HAI-LLM, un cadre qui combine parallélisme des données, des tenseurs, des séquences et du pipeline, dans l’esprit de Megatron. FlashAttention améliore l’utilisation du matériel ; ZeRO-1 répartit les états de l’optimiseur pour réduire la mémoire nécessaire. Certaines opérations, dont LayerNorm, GEMM et la mise à jour Adam, sont fusionnées. Le calcul mélange bf16 pour l’entraînement et fp32 pour l’accumulation des gradients, avec un calcul d’entropie croisée sur place pour économiser la mémoire.
Les poids et les états de l’optimiseur sont sauvegardés automatiquement toutes les cinq minutes : une panne matérielle ou réseau devrait donc faire perdre au plus cinq minutes de cette progression. La reprise est possible avec une autre configuration du parallélisme 3D, ce qui aide quand les ressources disponibles changent. Pour l’évaluation, les tâches génératives passent par vLLM ; les autres utilisent des lots continus afin de réduire les réglages manuels de taille de lot et de remplissage des séquences.
Lois de mise à l’échelle
Choix des hyperparamètres
À un budget , l’équipe effectue une recherche en grille sur la taille de lot et le taux d’apprentissage , pour un modèle demandant 177M FLOPs par token.
La Figure 2 montre une région assez large où la perte de validation reste proche du minimum. Cette perte est mesurée en bits-per-byte : elle ne prédit pas directement chaque tâche en aval. Plusieurs couples sont donc « presque optimaux » dans les conditions de cette expérience.
Pour étudier des budgets allant de à , l’équipe utilise un calendrier à paliers : un entraînement peut être poursuivi à partir d’un état déjà obtenu. Elle appelle « presque optimale » une configuration dont l’erreur de généralisation ne dépasse pas le minimum de plus de 0,25 %. Les ajustements montrent que la taille de lot optimale augmente avec , tandis que le taux d’apprentissage optimal diminue :
Ces puissances quantifient les tendances observées ; elles ne disent pas que tout modèle suit les mêmes coefficients. À , sur un modèle de 2,94B FLOPs/token, les hyperparamètres prévus tombent près du centre de la zone presque optimale de la Figure 2, à droite.
Répartir le calcul entre modèle et données
Après les hyperparamètres, la question devient : pour un budget donné, quelle taille de modèle et quelle quantité de données minimisent la perte de validation ?
On cherche deux lois de puissance. Si désigne la taille optimale du modèle et le nombre optimal de tokens d’entraînement :
Les exposants et décrivent la part relative allouée au modèle et aux données lorsque le budget augmente. Une approximation classique relie le coût, le nombre de paramètres et les tokens par :
On peut alors estimer le coût du modèle par ou . Cependant, ces approximations rendent mal le calcul de l’attention : selon la taille du modèle, l’écart peut atteindre 50 %, surtout pour les petits modèles. Une telle erreur se répercute sur l’ajustement des lois.
L’équipe utilise donc , le nombre de FLOPs par token hors embeddings, qui inclut le calcul de l’attention mais exclut le calcul du vocabulaire :
Ici, est le nombre de couches, leur largeur et la longueur de séquence. Le budget s’écrit alors :
mesure un coût de calcul par token, pas le nombre brut de paramètres. L’objectif est de trouver et sous cette contrainte :
Pour limiter le coût de l’étude, l’équipe reprend les profils IsoFLOP de Chinchilla : huit budgets de à , environ dix répartitions modèle/données par budget, puis une mesure de perte sur un jeu de validation indépendant de 100M tokens. Les hyperparamètres de chaque configuration suivent les relations établies plus haut.
L’ajustement donne :
L’équipe confronte ensuite les prévisions issues de ces petites expériences aux modèles DeepSeek LLM 7B et 67B :
Dans les conditions de l’article, les expériences de petite échelle prédisent correctement la perte à un budget de calcul environ 1 000 fois supérieur. C’est un argument pratique pour préparer une grande campagne d’entraînement.
Effet de la qualité des données
L’équipe compare trois distributions : les données internes initiales, les données internes actuelles et OpenWebText2. La qualité attribuée aux données internes actuelles est supérieure à celle des premières ; OpenWebText2, plus petit et traité plus finement dans cette comparaison, est classé encore au-dessus.
Les valeurs rapportées sont , pour OpenAI avec OpenWebText2 ; , pour Chinchilla avec MassiveText ; , pour les premières données internes ; , pour les données internes actuelles ; et , pour leur ajustement sur OpenWebText2.
Dans ces trois distributions et leurs conditions de traitement, le classement de qualité accompagne une hausse de et une baisse de . Quand le budget augmente, la répartition optimale penche relativement davantage vers le modèle. Il s’agit d’une association empirique, non d’une expérience qui isole la qualité des données comme unique cause. Les écarts entre études antérieures ne peuvent donc pas être résumés par une recette universelle.
Alignement du modèle
L’alignement vise à obtenir des réponses utiles tout en évitant les sorties nuisibles. L’équipe réunit environ 1,5 million d’exemples d’instructions en chinois et en anglais : 1,2 million portent sur l’utilité de la réponse, avec 31,2 % de tâches générales, 46,6 % de mathématiques et 22,2 % de programmation ; environ 300 000 concernent la sécurité et les sujets sensibles.
La procédure comporte deux étapes : l’apprentissage supervisé d’instructions (SFT), puis la Direct Preference Optimization (DPO). Pour le SFT, le nombre d’époques varie avec la taille du modèle : le 67B surapprend plus vite, tandis que le 7B continue à progresser plus longtemps sur GSM8K et HumanEval.
La DPO ajuste ensuite les réponses à partir de préférences. L’équipe constitue séparément des données de préférence pour l’utilité et pour l’absence de nocivité. Elle rassemble des invites multilingues couvrant l’écriture créative, les questions-réponses et le suivi d’instructions ; DeepSeek Chat génère plusieurs réponses candidates, qui servent à construire les paires de préférence. Un processus voisin est utilisé pour la sécurité.
Discussion des résultats
L’article contient beaucoup d’évaluations. Regardons surtout les réponses ouvertes d’AlignBench en chinois et les conversations à plusieurs tours de MT-Bench en anglais. Les autres tableaux restent disponibles dans le papier.
Évaluation ouverte en chinois
AlignBench comprend 683 questions réparties en huit grandes catégories et 36 sous-catégories. Chaque question est accompagnée d’une consigne, d’une réponse de référence et d’un modèle de notation ; GPT-4-0613 évalue les réponses. Il s’agit donc d’une évaluation par modèle, dont les jugements demandent une validation.
L’équipe utilise le code officiel d’AlignBench. La température de génération est de 0,7 pour le jeu de rôle, l’écriture et les questions ouvertes, et de 0,1 pour les autres tâches. Dans ce tableau, DeepSeek 67B Chat DPO obtient 6,69 au total, devant ChatGPT à 6,08, mais derrière les deux versions de GPT-4 à 8,01 et 7,53.
La DPO fait passer le score total de 6,43 à 6,69, mais le raisonnement logique recule de 5,79 à 5,41 : toutes les catégories ne progressent pas. Regardons les colonnes : en compréhension du chinois, DeepSeek obtient 7,47, devant les 7,33 de GPT-4-1106-preview ; pour les tâches fondamentales, ses 7,29 restent sous les 7,99 de ce même modèle. Ses scores en mathématiques et en logique dépassent ceux de plusieurs modèles chinois du tableau, mais pas ceux des deux versions de GPT-4.
Évaluation ouverte en anglais
MT-Bench rassemble des questions à plusieurs tours dans huit catégories pour comparer les réponses des modèles sur ces types de tâches.
DeepSeek LLM 67B Chat obtient 8,35, devant LLaMA-2-Chat 70B, Xwin 70B v0.1 et TÜLU 2+DPO 70B dans le tableau, et près des 8,39 de GPT-3.5-turbo-0613. Après DPO, la moyenne atteint 8,76, sous les 9,26 de GPT-4. Pourtant, la catégorie Coding baisse de 7,35 à 6,75 : la hausse de la moyenne ne s’étend pas à tous les types de questions.
Autres observations intéressantes
Après cette batterie de tests, les auteurs rapportent encore cinq observations.
-
(1) Refus de répondre :
Article original, Table 11 : scores Do-Not-Answer ; une partie des valeurs comparatives vient de l’article sur ce banc d’essai. Le score Do-Not-Answer évalue les réponses sûres à 939 invites risquées. Un score plus élevé signifie davantage de tests passés avec ce jeu et cette méthode de notation ; il ne mesure pas toute la sécurité d’un modèle. DeepSeek-67B-Chat obtient 97,8, devant ChatGPT à 97,7 et GPT-4 à 96,5, mais derrière Claude à 98,3 et LLaMA-2-7B-Chat à 99,4. L’équipe a réévalué son propre modèle, tandis que la plupart des autres chiffres proviennent de l’étude du banc d’essai : gardons cette différence de provenance en tête.
-
(2) SFT en deux phases :
Sur un modèle plus petit, comme le 7B, prolonger le SFT sur les mathématiques et le code améliore ces spécialités mais peut dégrader la conversation et produire des répétitions. Les auteurs entraînent donc d’abord sur toutes les données disponibles, puis affinent sur les seules conversations. Dans leur Table 12, HumanEval reste à 48,2, GSM8K passe de 63,9 à 63,0, le taux de répétition baisse de 2,0 % à 1,4 % et IFEval monte de 38,0 à 41,2. Ces chiffres montrent le compromis observé pour ce modèle 7B.
-
(3) Questions à choix multiples :
L’équipe essaie d’ajouter 20 millions de questions chinoises à choix multiples pendant l’alignement. Les scores augmentent sur MMLU, C-Eval et CMMLU — dans la Table 13, respectivement 49,4→60,9, 47,0→71,3 et 49,7→73,8. En revanche, TriviaQA reste à 57,9 et les questions-réponses chinoises passent de 75,0 à 74,4. Pour éviter une adaptation excessive à ce format, l’équipe choisit finalement de ne pas inclure ces données QCM dans le préentraînement ni dans le SFT retenu.
-
(4) Instructions en fin de préentraînement :
Une autre expérience ajoute 5 millions d’instructions, principalement sous forme de QCM, pendant les derniers 10 % du préentraînement. Les scores des tâches testées montent, mais pas davantage qu’en ajoutant les mêmes données au SFT. Si l’on dispose d’un gros volume d’instructions, les injecter plus tôt reste possible ; ici, le choix d’écarter les QCM et la quantité limitée d’autres instructions conduisent l’équipe à ne pas le faire dans l’entraînement final.
-
(5) Effet du message système :
Un message système peut demander à l’assistant d’être utile, respectueux et honnête, et lui préciser une date limite de connaissances. Les auteurs testent une formulation proche de celle de LLaMA-2, notamment « You are DeepSeek Chat… ». Sur MT-Bench, elle fait légèrement baisser la moyenne du 7B de 7,15 à 7,11, mais monter celle du 67B de 8,35 à 8,58. Les auteurs proposent comme explications possibles la compréhension de la consigne et la différence entre entraînement et évaluation ; le tableau ne les isole pas.
Conclusion
DeepSeek LLM regroupe des modèles entraînés depuis zéro sur 2 000 milliards de tokens chinois et anglais. L’article documente leurs choix d’architecture et d’entraînement, ajuste des lois de mise à l’échelle sur une perte de validation en bits-per-byte, puis compare plusieurs stratégies d’alignement. Ces éléments aident à répartir un budget de calcul, à condition de conserver les hypothèses de données et de mesure de chaque expérience.
C’est aussi l’entrée publique de DeepSeek-AI dans les grands modèles ouverts. La série comporte déjà d’autres articles ; après ces 48 pages, nous avons au moins une bonne raison — et un peu d’élan — pour lire la suite.