Retour à la bibliothèque
arXiv 2025EMNLP 2025Adaptation des modèlesNotes de lecture

s1

Attends, réfléchis encore

Article original

s1: Simple test-time scaling

Auteurs de l’article

Niklas Muennighoff · Zitong Yang · Weijia Shi …

Afficher les 10 auteurs

Niklas Muennighoff · Zitong Yang · Weijia Shi · Xiang Lisa Li · Li Fei-Fei · Hannaneh Hajishirzi · Luke Zettlemoyer · Percy Liang · Emmanuel Candès · Tatsunori Hashimoto

Publication
EMNLP 2025Conférence
Premier dépôt sur arXiv
arXiv:2501.19393
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{modeltunings12025,
  title = {{s1: Simple test-time scaling}},
  author = {Niklas Muennighoff and Zitong Yang and Weijia Shi and Xiang Lisa Li and Li Fei-Fei and Hannaneh Hajishirzi and Luke Zettlemoyer and Percy Liang and Emmanuel Candès and Tatsunori Hashimoto},
  year = {2025},
  eprint = {2501.19393},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2501.19393}
}
Sur cette page

En septembre 2024, OpenAI présente o1, avec à l'appui une très jolie courbe, où plus on laisse le modèle réfléchir, plus ses réponses sont justes. Mais OpenAI ne publie pas sa méthode et se contente d'évoquer un apprentissage par renforcement à grande échelle.

Dans les mois qui suivent, de nombreuses équipes tentent de le reproduire. Certaines misent sur la recherche arborescente Monte-Carlo, d'autres sur plusieurs agents qui débattent entre eux ; en janvier 2025, DeepSeek-R1, avec des millions d'exemples et plusieurs étapes d'apprentissage par renforcement, rattrape les scores d'o1. Pourtant, parmi toutes ces reproductions, personne n'avait reproduit publiquement la courbe « plus on réfléchit longtemps, mieux on répond ».

Muennighoff, Yang et leurs collègues de Stanford, de l'Université de Washington, d'AI2 et d'autres institutions posent une question très directe. Quelle est la façon la plus simple d'obtenir à la fois cette courbe et de solides capacités de raisonnement ? Leur réponse est d'une simplicité inattendue. Il suffit de 1 000 exemples, de 26 minutes de fine-tuning sur 16 H100, et d'un « Wait ».

Figure 1 de l'article : précision de s1-32B sur trois benchmarks de raisonnement en fonction du nombre moyen de tokens de réflexion. Sur MATH500, on passe d'environ 65 % vers 512 tokens à environ 93 % vers 2 048 tokens ; sur AIME24, de presque 0 vers 512 tokens à environ 57 % vers 8 192 tokens ; sur GPQA Diamond, d'environ 40 % vers 1 024 tokens à environ 60 % vers 4 096 tokens. Dans les trois cas, plus la réflexion est longue, plus la précision est élevée.
Figure 1 de l'article de Muennighoff et al., extraite de la page 1 du PDF, licence arXiv, citation académique.

Définir le problème

Les auteurs classent en deux familles les méthodes qui dépensent plus de calcul à l'inférence :

  • Séquentielle : les calculs ultérieurs s'appuient sur les résultats précédents, par exemple l'écriture d'un long raisonnement.
  • Parallèle : des calculs indépendants, agrégés à la fin, par exemple un vote majoritaire.

Les auteurs se concentrent sur les méthodes séquentielles ; intuitivement, les calculs ultérieurs peuvent exploiter les résultats intermédiaires précédents, pousser le raisonnement plus loin et le corriger à plusieurs reprises.

Pour comparer les méthodes, la précision seule ne suffit pas ; il faut aussi savoir si l'on peut contrôler le calcul, et si la précision augmente quand le calcul augmente. Les auteurs définissent trois indicateurs. On lance une méthode plusieurs fois sur un même benchmark, avec différents niveaux de calcul a∈Aa \in \mathcal{A}, ce qui donne une précision f(a)f(a) :

Control=1∣A∣∑a∈A1(amin≤a≤amax),Scaling=1(∣A∣2)∑a,b∈A, b>af(b)−f(a)b−a,Performance=max⁡a∈Af(a)\text{Control} = \frac{1}{|\mathcal{A}|}\sum_{a \in \mathcal{A}} \mathbb{1}(a_{min} \le a \le a_{max}), \qquad \text{Scaling} = \frac{1}{\binom{|\mathcal{A}|}{2}}\sum_{a, b \in \mathcal{A},\, b > a} \frac{f(b) - f(a)}{b - a}, \qquad \text{Performance} = \max_{a \in \mathcal{A}} f(a)

Le contrôle est la proportion de cas où le nombre de tokens de réflexion effectivement utilisés tombe dans la plage demandée ; le scaling est la pente moyenne de la courbe, qui doit être positive pour être utile ; la performance est la meilleure précision atteinte.

Résoudre le problème

s1K : sélectionner 1 000 problèmes

Figure 2 de l'article : à gauche, les domaines couverts par les 1 000 problèmes de s1K, la taille des bulles indiquant leur poids, parmi lesquels la géométrie, la théorie des nombres, la combinatoire, les probabilités, l'analyse, la biologie, l'astronomie, l'économie et la théorie quantique, soit 50 domaines au total. À droite, la précision sur MATH500 en fonction du nombre d'exemples utilisés pour le fine-tuning de raisonnement : s1 n'en utilise que 1 000, pour une précision d'environ 93 %, et se situe en haut à gauche, dans la zone « la plus économe en exemples » ; Bespoke-Stratos et Sky-T1 en utilisent 17 000, r1-distill 800 000 ; le nombre d'exemples de QwQ et d'o1-preview n'est pas public.
Figure 2 de l'article de Muennighoff et al., extraite de la page 3 du PDF, licence arXiv, citation académique.

D'abord, collecter 59 000 problèmes. Ils proviennent de 16 sources, dont la plus importante est NuminaMATH, avec 30 660 problèmes de mathématiques ; s'y ajoutent les sujets de l'AIME des années passées (1983 à 2021), OlympicArena, des problèmes d'olympiades multidisciplinaires (4 250 problèmes), OmniMath, des mathématiques de compétition (4 238 problèmes), et AGIEval, des examens standardisés comme le SAT et le LSAT (2 385 problèmes). Les auteurs ont aussi constitué deux jeux maison, 182 problèmes de probabilités tirés des examens de qualification du doctorat de statistique de Stanford, et 23 casse-tête difficiles, classiques des entretiens pour le trading quantitatif.

Chaque problème passe par Gemini 2.0 Flash Thinking, de Google, qui produit un raisonnement et une solution ; on obtient 59 029 triplets « problème, raisonnement, solution ». Toutes les données qui partagent 8 mots consécutifs avec les problèmes des benchmarks (MATH500, GPQA Diamond, AIME24) sont supprimées, ainsi que les problèmes en double.

On filtre ensuite selon trois principes :

  1. Qualité : on retire les problèmes qui ont provoqué une erreur d'API, ce qui en laisse 54 116, puis ceux dont le format pose problème, par exemple des schémas en ASCII, des renvois à des images inexistantes ou une numérotation incohérente, ce qui en laisse 51 581. Parmi eux, 384 problèmes issus de jeux de données de haute qualité, qui n'ont pas besoin d'être filtrés davantage, entrent directement dans la liste finale.
  2. Difficulté : Qwen2.5-7B-Instruct et Qwen2.5-32B-Instruct tentent chacun une fois chaque problème, et Claude 3.5 Sonnet note leurs réponses en les comparant à la solution de référence. Il suffit qu'un des deux modèles réussisse pour que le problème soit jugé trop facile et retiré, ce qui en laisse 24 496. La longueur du raisonnement sert aussi d'indicateur de difficulté, en supposant que plus un problème est difficile, plus il demande de réflexion.
  3. Diversité : Claude 3.5 Sonnet classe chaque problème dans un domaine, selon la classification des sujets mathématiques de l'American Mathematical Society. À chaque fois, on tire d'abord un domaine au hasard, puis un problème de ce domaine, les raisonnements les plus longs ayant plus de chances d'être choisis ; on répète jusqu'à atteindre 1 000 problèmes, qui couvrent au final 50 domaines.

Selon le modèle de notation, seuls 53.6 % des raisonnements de s1K sont corrects. Les auteurs gardent délibérément ces erreurs ; ce qu'ils veulent, c'est le cheminement du raisonnement, et non des solutions parfaitement justes.

Budget forcing

Figure 3 de l'article : exemple de budget forcing. La question est « How many r in raspberry? ». Le raisonnement examine les lettres une à une : première lettre r, compteur à 1 ; septième lettre r, compteur à 2 ; huitième lettre y, compteur toujours à 2 ; « The number of 'r's in "raspberry" is 2 ». Le modèle veut terminer sa réflexion à ce stade, mais le délimiteur de fin est supprimé et remplacé par un « Wait » en rouge ; le modèle écrit alors « let's re-read the question carefully », recompte les lettres une à une et trouve le troisième r, ce qui porte le compteur à 3. La réponse indique « My initial answer of 2 was incorrect due to a quick reading of the word », puis donne 3 comme réponse finale.
Figure 3 de l'article de Muennighoff et al., extraite de la page 4 du PDF, licence arXiv, citation académique.

La méthode qui contrôle la longueur de réflexion s'appelle le budget forcing ; elle intervient directement pendant le décodage :

  • Fixer un plafond : si le nombre de tokens de réflexion dépasse le plafond, on ajoute directement le délimiteur de fin de réflexion, suivi au besoin de « Final Answer: », pour forcer le modèle à rendre sa meilleure réponse du moment.
  • Fixer un plancher : quand le modèle veut terminer sa réflexion, on supprime le délimiteur de fin et l'on ajoute « Wait » à la place, pour qu'il continue à réfléchir.

La figure ci-dessus en donne un exemple. Après un premier comptage, le modèle croit que raspberry ne contient que deux r et veut s'arrêter ; une fois le « Wait » ajouté, il relit la question et trouve le troisième r.

Ce que le modèle écrit après le « Wait » dépend de ce qu'il a appris dans ses données d'entraînement. Les raisonnements de s1K regorgent de phrases comme « attends » ou « revérifions » ; quand le modèle voit « Wait », il se met à vérifier son raisonnement précédent.

Les auteurs comparent aussi plusieurs autres méthodes de contrôle :

  • Nombre de tokens indiqué dans le prompt : on indique au modèle le nombre maximal de tokens de réflexion.
  • Nombre d'étapes indiqué dans le prompt : on indique au modèle le nombre maximal d'étapes de réflexion, chaque étape faisant environ 100 tokens.
  • Longueur indiquée dans le prompt : deux prompts, qui demandent au modèle de réfléchir brièvement ou longuement.
  • Échantillonnage de rejet : on échantillonne encore et encore, jusqu'à ce qu'une génération tombe pile dans le budget.

Entraînement

Le modèle de base est Qwen2.5-32B-Instruct. La partie réflexion commence par <|im_start|>think, la partie réponse par <|im_start|>answer. On entraîne 5 epochs sur s1K, avec un batch de 16, soit 315 étapes au total, un taux d'apprentissage de 10−510^{-5}, un échauffement sur les premiers 5 % puis une décroissance cosinus jusqu'à 0 ; la perte ne porte que sur le raisonnement et la solution, pas sur l'énoncé.

L'entraînement a pris 26 minutes sur 16 H100, soit environ 7 heures-GPU.

Discussion

Plus on réfléchit, mieux on répond

Figure 4 de l'article : (a) mise à l'échelle séquentielle sur AIME24. Les points de gauche correspondent à une réflexion tronquée par un plafond (par exemple 2 048 ou 4 096 tokens), avec une précision d'environ 13 % à 43 % ; le point du milieu, vers 50 %, correspond à l'absence d'intervention ; les trois points les plus à droite correspondent à 2, 4 et 6 « Wait » ajoutés quand le modèle veut s'arrêter, avec une précision qui monte jusqu'à environ 57 % avant de plafonner. (b) Comparaison sur GPQA Diamond. La ligne pointillée bleu foncé correspond à s1 en mise à l'échelle séquentielle avec budget forcing, qui passe d'environ 51 % à environ 60 % quand le nombre de tokens de sortie augmente ; la ligne pointillée bleu clair correspond à Qwen2.5-32B-Instruct en mise à l'échelle parallèle par vote majoritaire, entre environ 46 % et 52 %, qui ne la rattrape pas même avec un million de tokens au total.
Figure 4 de l'article de Muennighoff et al., extraite de la page 5 du PDF, licence arXiv, citation académique.

En allongeant la réflexion par budget forcing, AIME24 passe de 50 % sans intervention à 56.7 %. Mais à partir du sixième « Wait », la courbe s'aplatit ; à force de supprimer le délimiteur de fin, on fait tomber le modèle dans des boucles répétitives au lieu de prolonger son raisonnement.

La figure de droite compare les deux types de mise à l'échelle. Le modèle de base, Qwen2.5-32B-Instruct, échantillonne 64 fois par problème, à température 1, et fait un vote majoritaire sur 2 à 64 réponses ; sa précision ne rattrape jamais celle de s1 en mise à l'échelle séquentielle. Pour les auteurs, cela confirme l'intuition de départ, à savoir que la mise à l'échelle séquentielle est plus efficace que la parallèle.

Résultats

ModèleExemplesAIME24MATH500GPQA
o1-previewNon publié44.685.573.3
o1Non publié74.494.877.3
Gemini 2.0 Flash ThinkingNon publié60.0--
Qwen2.5-32B-Instruct-26.784.049.0
DeepSeek-R1≫ 800 00079.897.371.5
R1 distillé (32B)800 00072.694.362.1
Bespoke-32B17 00063.393.058.1
s1 (sans budget forcing)1 00050.092.656.6
s1-32B1 00056.793.059.6

D'après la Table 1 de l'article ; sélection de lignes ; « Exemples » : nombre d'exemples du fine-tuning de raisonnement ; scores en %.

Avec seulement 1 000 exemples d'entraînement en plus, s1-32B dépasse le modèle de base de 30 points de pourcentage sur AIME24. Sur AIME24 comme sur MATH500, il dépasse o1-preview ; le « jusqu'à 27 % de mieux » du résumé correspond à l'écart relatif sur AIME24, 56.7 contre 44.6. Sur GPQA, en revanche, il reste une bonne dizaine de points de pourcentage sous o1-preview.

Le R1 distillé, publié à la même période, fait mieux que s1, mais avec 800 fois plus de données. Sur AIME24, s1 approche aussi son professeur, Gemini 2.0 Flash Thinking, signe que la distillation a dans l'ensemble réussi.

Le choix des données compte beaucoup

DonnéesAIME24MATH500GPQA
1 000 au hasard (qualité seule)36.790.652.0
Les 1 000 plus variés (diversité seule)26.791.254.6
Les 1 000 aux raisonnements les plus longs (difficulté seule)33.390.459.6
Les 59 000 problèmes53.392.858.1
s1K50.093.057.6

D'après la Table 2 de l'article ; tous les scores de ce tableau sont obtenus avec un plafond de réflexion d'environ 30 000 tokens, pour éviter que le modèle reste coincé dans une boucle ; en %.

Avec un seul principe de sélection, AIME24 perd chaque fois de 13 à 23 points de pourcentage. s1K, qui combine les trois principes, fait à peu près jeu égal avec le modèle entraîné sur les 59 000 problèmes, lequel demande 394 heures-GPU, contre 7 seulement pour s1K.

Comment contrôler la longueur de réflexion

MéthodeContrôleScalingPerformance
Budget forcing100%1556.7
Tokens dans le prompt40%−2440.0
Tokens dans le prompt + budget forcing100%1340.0
Étapes dans le prompt60%336.7
Étapes dans le prompt + budget forcing100%636.7
Longueur dans le prompt50%2536.7
Échantillonnage de rejet100%−3540.0

D'après la Table 3 de l'article ; AIME24.

Le budget forcing s'en sort bien sur les trois indicateurs, avec un contrôle de 100 %, un scaling positif et la meilleure précision. Les autres méthodes ont chacune leurs problèmes :

  • Nombre de tokens imposé : le modèle ne sait pas compter précisément combien de tokens il a écrits, même avec un entraînement spécifique ; sans budget forcing, on ne le contrôle pas.
  • Nombre d'étapes imposé : le modèle sait très bien contourner la consigne. Si on lui demande moins d'étapes, il allonge chacune d'elles ; si on lui en demande plus, il les raccourcit, et le nombre total de tokens reste à peu près le même.
  • Longueur imposée : demander au modèle de réfléchir plus longtemps le fait effectivement réfléchir davantage, et le scaling est même le meilleur, mais la précision reste faible.
  • Échantillonnage de rejet : c'est le plus surprenant. Plus la longueur autorisée est grande, plus la précision baisse, avec un scaling de −35. En y regardant de plus près, les auteurs constatent que les générations courtes correspondent le plus souvent à des cas où le modèle est parti dans la bonne direction dès le début, et les générations longues à des cas où il s'est trompé de chemin et passe son temps à revenir en arrière et à douter de lui-même. Ne retenir que les réponses d'une certaine longueur revient à sélectionner des situations de difficulté différente.

Quant à ce qu'on ajoute à la suite, les auteurs ont comparé plusieurs options :

Fin de réflexionAIME24MATH500GPQA
Sans prolongation50.093.057.6
2 suppressions, rien d'ajouté50.090.255.1
2 suppressions + « Alternatively »50.092.259.6
2 suppressions + « Hmm »50.093.059.6
2 suppressions + « Wait »53.393.059.6

D'après la Table 4 de l'article ; en %.

Se contenter de supprimer le délimiteur de fin, sans rien ajouter, fait au contraire moins bien. « Wait » est globalement le meilleur, et le seul qui fasse progresser AIME24.

Pourquoi 1 000 exemples suffisent

L'hypothèse des auteurs est que la capacité de raisonnement est déjà présente dans le modèle. Le préentraînement porte sur plusieurs milliers de milliards de tokens, qui contiennent déjà une masse de données de raisonnement ; le fine-tuning sur 1 000 exemples ne fait que réveiller cette capacité, que le budget forcing amplifie ensuite à l'inférence. C'est proche de l'« hypothèse de l'alignement superficiel » avancée par LIMA, qui avait constaté que 1 000 exemples suffisent pour apprendre à un modèle à répondre selon les préférences des utilisateurs.

Limites

  • Plafonnement : au-delà d'un certain point, prolonger par budget forcing n'apporte plus rien, et trop de prolongations font tomber le modèle dans des boucles répétitives. Parmi les pistes d'amélioration proposées par les auteurs figurent l'alternance de différents mots, une pénalité de répétition ou une température plus élevée.
  • La longueur de contexte : si longue que soit la réflexion, elle ne peut pas dépasser la fenêtre de contexte du modèle. Sur AIME24, quand on demande au modèle de réfléchir jusqu'à 512 étapes, la sortie dépasse la longueur de contexte pour 12 problèmes sur 30, et le score s'effondre.
  • La mise à l'échelle parallèle peut compléter : les auteurs ont essayé REBASE, une recherche arborescente guidée par un modèle de récompense de processus, suivie d'un vote majoritaire ; elle passe mieux à l'échelle que le simple vote majoritaire et, dans cette comparaison, l'emporte aussi sur la mise à l'échelle séquentielle, au prix d'un passage supplémentaire du modèle de récompense à chaque étape.

Par ailleurs, les raisonnements de s1K ont tous été écrits par Gemini, et le modèle ne peut guère dépasser le niveau de son professeur, ce que montre plus clairement encore s1.1, présenté plus bas.

La suite

Sept jours après s1, les auteurs publient s1.1. Mêmes 1 000 problèmes, mais les raisonnements sont régénérés par DeepSeek-R1, avec la même méthode d'entraînement :

ModèleMATH500GPQAAIME24AIME25
s1 (sans budget forcing)92.656.650.026.7
s1 (4 « Wait »)92.258.656.736.7
s1.1 (sans budget forcing)94.460.656.750.0
s1.1 (2 « Wait »)95.463.656.750.0

D'après la Table 5 de l'annexe de l'article ; sélection de lignes, en %.

Il a suffi de changer de professeur pour que s1.1, sans aucun budget forcing, rattrape le meilleur score de s1 avec budget forcing ; sur AIME25, les nouveaux problèmes de 2025, il bondit de 26.7 % à 50.0 %. Les auteurs ont aussi essayé Claude 3.7 comme professeur, avec de moins bons résultats qu'avec R1. Détail amusant, une fois le « Wait » ajouté, les scores AIME de s1.1 ne progressent plus.

Le même tableau inclut quelques nouveaux concurrents. LIMO, fine-tuné sur 817 exemples, obtient 56.3 % sur AIME24 et arrive à une conclusion semblable à celle de s1. o3-mini, d'OpenAI, propose carrément trois niveaux d'effort de réflexion ; en low, medium et high, il obtient respectivement 56.3 %, 75.8 % et 83.8 % sur AIME24. Régler la durée de réflexion du modèle est devenu une option du produit.

Conclusion

Avec 1 000 problèmes triés sur le volet, 26 minutes de fine-tuning de Qwen2.5-32B-Instruct et un budget forcing pour contrôler la longueur de réflexion, s1 reproduit publiquement la courbe d'o1, « plus on réfléchit longtemps, mieux on répond ». AIME24 passe de 50 % à 56.7 %, devant o1-preview en mathématiques de compétition.

Le plus instructif, c'est le tableau d'ablation sur les données. Au hasard, les plus variés, les plus longs ; choisir 1 000 problèmes selon un seul de ces critères fait nettement moins bien que les trois réunis, et entraîner sur les 59 000 problèmes n'apporte qu'un tout petit plus. Le peu de données n'est pas le problème ; ce qui compte, c'est de bien les choisir.

Quant au « Wait », il est réellement utile, mais il ne prolonge la réflexion que jusqu'à un certain point, et passer à un meilleur professeur fait une bien plus grande différence. Ce qui permet vraiment à s1 de continuer à réfléchir, c'est moins ce mot que les habitudes de raisonnement que Gemini, puis R1, ont inscrites dans ces 1 000 problèmes.