Retour à la bibliothèque
ICLR 2018arXiv 2019OptimiseursNotes de lecture

AMSGrad

Loin des yeux, loin du cœur

Article original

On the Convergence of Adam and Beyond

Auteurs de l’article

Sashank J. Reddi · Satyen Kale · Sanjiv Kumar

Publication
ICLR 2018Conférence
Premier dépôt sur arXiv
arXiv:1904.09237
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{optimizersamsgrad2019,
  title = {{On the Convergence of Adam and Beyond}},
  author = {Sashank J. Reddi and Satyen Kale and Sanjiv Kumar},
  year = {2019},
  eprint = {1904.09237},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1904.09237}
}
Sur cette page

Commençons par un petit jeu.

Le paramètre xx doit rester entre −1-1 et 11. Le jeu se joue en manches de trois pas ; au premier pas, la perte vaut 3x3x, au deuxième et au troisième, elle vaut −x-x. Sur une manche, cela fait 3x−x−x=x3x-x-x=x ; plus xx est petit, mieux c'est, et la réponse est x=−1x=-1.

Les gradients se calculent facilement, +3+3 au premier pas et −1-1 aux deux suivants. À chaque manche, SGD fait un pas net vers le négatif, et finit à −1-1.

Adam, lui, s'arrête en x=+1x=+1, le pire point de tout l'intervalle.

Cet exemple vient de Sashank Reddi, Satyen Kale et Sanjiv Kumar, chez Google. Ils s'en servent pour démontrer que le théorème de convergence de l'article original d'Adam est faux, puis, à partir de l'endroit où il se trompe, dérivent une version corrigée qui ne change qu'une ligne, AMSGrad.

Définir le problème

La convergence revendiquée par Adam

L'article d'Adam analyse la convergence dans le cadre de l'optimisation convexe en ligne. À chaque pas, l'algorithme choisit d'abord un paramètre xtx_t, et ne découvre qu'ensuite la fonction de perte convexe ftf_t de ce pas. Le critère est le regret, c'est-à-dire l'excès de perte cumulée par rapport au « meilleur paramètre fixe, choisi a posteriori » :

RT=∑t=1Tft(xt)−min⁡x∈F∑t=1Tft(x)R_T=\sum_{t=1}^{T}f_t(x_t)-\min_{x\in\mathcal F}\sum_{t=1}^{T}f_t(x)

Si le regret moyen RT/TR_T/T tend vers 0, l'algorithme rattrape en moyenne la meilleure solution fixe. Le Theorem 4.1 de l'article d'Adam affirme que, sous des conditions comme des gradients bornés, β12/β2<1\beta_1^2/\sqrt{\beta_2}<1 et un taux d'apprentissage αt=α/t\alpha_t=\alpha/\sqrt t, le regret d'Adam est en O(T)O(\sqrt T), et que le regret moyen tend vers 0.

Le jeu du début est justement un problème d'optimisation convexe en ligne. Chaque ftf_t est une fonction linéaire, et le domaine admissible est [−1,1][-1,1]. Adam s'arrête en +1+1 ; à chaque manche, il subit une perte supérieure d'une quantité fixe à celle de x=−1x=-1, et son regret moyen ne tend jamais vers 0.

Le taux d'apprentissage effectif peut-il augmenter ?

Reddi et al. pointent une grandeur précise. Si l'on écrit les différentes méthodes adaptatives dans un même cadre, chaque mise à jour prend la forme xt+1=xt−αtmt/Vtx_{t+1}=x_t-\alpha_t m_t/\sqrt{V_t}, et αt/Vt\alpha_t/\sqrt{V_t} est le taux d'apprentissage effectif de chaque paramètre. Regardons comment son inverse évolue dans le temps :

Γt+1=Vt+1αt+1−Vtαt\Gamma_{t+1}=\frac{\sqrt{V_{t+1}}}{\alpha_{t+1}}-\frac{\sqrt{V_t}}{\alpha_t}

Pour SGD, VtV_t est fixe et αt\alpha_t décroît ; pour AdaGrad, VtV_t est la moyenne des carrés des gradients passés et, avec α/t\alpha/\sqrt t, le dénominateur contient en réalité la somme des carrés des gradients, qui ne fait que croître. Dans les deux cas, Γt\Gamma_t n'est jamais négatif, et le taux d'apprentissage ne peut que diminuer.

Adam et RMSProp utilisent une moyenne mobile exponentielle. Dès que les gradients récents diminuent, vtv_t diminue avec eux, le taux d'apprentissage augmente au contraire, et Γt\Gamma_t peut être négatif.

L'article commence par décrire ce qu'on observe en pratique. Dans les problèmes à très grand espace de sortie, certains mini-lots apportent des gradients grands et très informatifs, mais rares ; la moyenne mobile exponentielle fait disparaître très vite leur influence, et la convergence est mauvaise. L'article veut transformer cette intuition en un contre-exemple démontrable.

Résoudre le problème

Un contre-exemple : un grand gradient tous les trois pas

Le Theorem 1 de l'article est la version générale du jeu du début. Les fonctions de perte sont, dans l'ordre,

ft(x)={Cx,t mod 3=1−x,sinonx∈[−1,1], C>2f_t(x)= \begin{cases} Cx, & t \bmod 3 = 1\\ -x, & \text{sinon} \end{cases} \qquad x\in[-1,1],\ C>2

Le gradient total sur une manche vaut C−2>0C-2>0, et la solution optimale est x=−1x=-1. Adam est réglé avec β1=0\beta_1=0, β2=1/(1+C2)\beta_2=1/(1+C^2), αt=α/t\alpha_t=\alpha/\sqrt t, et α<1−β2\alpha<\sqrt{1-\beta_2} ; ces paramètres satisfont la condition β12/β2<1\beta_1^2/\sqrt{\beta_2}<1 qu'exige l'article d'Adam. L'annexe de l'article démontre par récurrence qu'en partant de x1=1x_1=1, xx revient à 11 à la fin de chaque manche.

Pourquoi ? Prenons C=3C=3, ce qui donne β2=0.1\beta_2=0.1, et calculons directement une manche. Après quelques manches, vtv_t entre dans un cycle fixe ; le tableau ci-dessous montre une manche de ce cycle. Les deux dernières colonnes donnent gt/vtg_t/\sqrt{v_t} ; une valeur positive pousse xx vers −1-1, une valeur négative vers +1+1. La mise à jour réelle doit encore être multipliée par αt\alpha_t, mais les αt\alpha_t des trois pas d'une même manche sont presque égaux, et nous les ignorons ici :

Pasgtg_tvtv_tAdamAMSGrad
1+3+38.21+1.05+1.05+1.05+1.05
2−1-11.72−0.76-0.76−0.35-0.35
3−1-11.07−0.97-0.97−0.35-0.35
Manche+1+1−0.68-0.68+0.35+0.35

Calcul fait pour cette note, avec C=3C=3, β1=0\beta_1=0 et β2=0.1\beta_2=0.1, réglages du Theorem 1. Le dénominateur d'AMSGrad utilise le plus grand vv observé, soit 8.21.

Regardons d'abord la colonne Adam. Au premier pas, le gradient vaut +3+3, mais il gonfle en même temps vtv_t jusqu'à 8.21 ; 3/8.21≈1.053/\sqrt{8.21}\approx1.05, et le grand gradient se trouve réduit d'un facteur proche de 3. Quand l'article dit que le grand gradient CC est réduit « d'un facteur presque CC », c'est de cela qu'il parle. Aux deux pas suivants, le gradient ne vaut que −1-1 ; vtv_t, qui ne garde qu'un dixième de sa valeur à chaque pas, retombe à 1.72 puis à 1.07, le taux d'apprentissage est multiplié par presque trois en deux pas, et les deux petits gradients poussent ensemble de 1.731.73. Sur une manche, l'effet net est un déplacement de 0.680.68 dans la mauvaise direction.

Voilà à quoi ressemble concrètement Γt<0\Gamma_t<0. Deux pas plus tard, la leçon du grand gradient est presque oubliée.

Avec ces réglages et α=0.5\alpha=0.5, en itérant réellement trois cent mille pas, Adam s'arrête en x=1x=1 avec un regret moyen de 0.6670.667, exactement la borne inférieure (2C−4)/3(2C-4)/3 donnée par l'article ; dans les mêmes conditions, AMSGrad arrive à −0.999-0.999.

L'article ajoute plusieurs points. L'exemple tient aussi avec un pas fixe αt=α\alpha_t=\alpha ; ajouter ϵ\epsilon au dénominateur ne le sauve pas non plus, car le Theorem 6 de l'annexe construit un contre-exemple semblable pour tout ϵ>0\epsilon>0. Sur le même problème, SGD et AdaGrad ont tous deux un regret moyen qui tend vers 0.

Avec des β\beta réellement utilisés

β2=0.1\beta_2=0.1 est trop artificiel ; en pratique, β2\beta_2 est toujours proche de 1. L'article démontre ensuite deux résultats plus forts.

Le Theorem 2 dit que, dès que β1<β2\beta_1<\sqrt{\beta_2} (ce que satisfont presque tous les réglages pratiques), il existe un problème convexe en ligne sur lequel le regret moyen d'Adam ne tend pas vers 0. La construction est la même, mais la période passe de 3 à CC ; un gradient CC apparaît une fois tous les CC pas, et tous les autres valent −1-1. CC doit être assez grand, assez pour que la mémoire de β2\beta_2 ne tienne pas sur toute une période.

Assez grand, c'est-à-dire ? L'annexe énumère trois conditions, dont β2(C−2)/2C2≤1\beta_2^{(C-2)/2}C^2\le1. En faisant le calcul, il faut CC d'au moins 3 218 pour β2=0.99\beta_2=0.99 (l'annexe B exige en outre que CC soit pair ; avec cette seule inégalité, ce serait 3 217), et d'au moins 42 622 pour β2=0.999\beta_2=0.999. Autrement dit, un gradient plus de quarante mille fois plus grand que d'habitude, qui ne revient qu'au bout de plus de quarante mille pas.

Le Theorem 3 transpose le scénario en optimisation stochastique. À chaque pas, on tire indépendamment ; avec une probabilité p=(1+δ)/(C+1)p=(1+\delta)/(C+1), on voit CxCx, sinon −x-x. La perte espérée vaut δx\delta x, et la solution optimale reste −1-1 ; mais quand CC est assez grand, l'espérance du déplacement d'Adam à chaque pas est positive, et le paramètre dérive en s'éloignant de l'optimum.

Les auteurs en concluent que, pour éviter ce comportement, ϵ\epsilon, β1\beta_1 et β2\beta_2 doivent tous dépendre du problème ; les problèmes de grande dimension exigeraient même un jeu différent pour chaque dimension, ce qui contredit l'idée même des méthodes adaptatives, censées dispenser de régler les hyperparamètres. Ils reconnaissent aussi que leurs exemples sont construits sur mesure, mais estiment que des phénomènes semblables, dans des situations réelles, ralentissent au moins la convergence.

Où la preuve se trompe

Avec un contre-exemple en main, on sait qu'une étape de la preuve originale d'Adam est forcément fausse. L'article montre, à la section 4 et dans l'annexe D, que la preuve d'Adam suppose Γt\Gamma_t semi-défini positif, autrement dit que le taux d'apprentissage n'augmente jamais ; cette hypothèse ne tient pas pour Adam. Les lemmes 10.3 et 10.4 de la preuve d'Adam posent en outre problème.

Les taux d'apprentissage de SGD et d'AdaGrad sont par nature non croissants, et ces méthodes échappent donc à ce problème. Cette observation indique directement la marche à suivre pour corriger.

AMSGrad

Puisque le problème vient de ce que vtv_t peut diminuer, il suffit que le dénominateur se souvienne du maximum historique :

mt=β1t mt−1+(1−β1t) gtvt=β2 vt−1+(1−β2) gt2v^t=max⁡(v^t−1, vt)xt+1=ΠF,V^t(xt−αt mt/v^t)\begin{aligned} m_t &= \beta_{1t}\, m_{t-1} + (1-\beta_{1t})\, g_t\\ v_t &= \beta_2\, v_{t-1} + (1-\beta_2)\, g_t^2\\ \hat v_t &= \max(\hat v_{t-1},\, v_t)\\ x_{t+1} &= \Pi_{\mathcal F,\sqrt{\hat V_t}}\big(x_t-\alpha_t\, m_t/\sqrt{\hat v_t}\big) \end{aligned}

La seule différence avec Adam est la troisième ligne. vtv_t est toujours mis à jour par moyenne mobile exponentielle, et son estimation de l'échelle du gradient ne regarde donc que la période récente ; mais le v^t\hat v_t réellement utilisé comme dénominateur ne fait que croître, si bien que le taux d'apprentissage αt/v^t\alpha_t/\sqrt{\hat v_t} est non croissant, et que Γt\Gamma_t est garanti semi-défini positif. Le coût supplémentaire se limite à un vecteur de la taille des paramètres.

Revenons à la colonne AMSGrad du tableau. Le dénominateur reste à 8.21, les deux −1-1 ne poussent chacun que de 0.350.35, et l'effet net d'une manche devient un déplacement de 0.350.35 dans la bonne direction.

Les auteurs comparent AMSGrad à Adam et à AdaGrad dans une situation donnée. Supposons qu'à un pas, vt−1>gt2>0v_{t-1}>g_t^2>0, c'est-à-dire que le gradient de ce pas est plus petit que la moyenne récente :

  • Adam augmente activement le taux d'apprentissage ; c'est précisément ce qui le fait échouer sur le contre-exemple ci-dessus ;
  • AdaGrad le diminue légèrement ; à la longue, le taux d'apprentissage peut devenir si petit que les paramètres ne bougent presque plus ;
  • AMSGrad ne l'augmente ni ne le diminue.

La garantie de convergence d'AMSGrad (Theorem 4) reprend le cadre d'analyse de l'article d'Adam, en corrigeant le problème ci-dessus. Les conditions sont αt=α/t\alpha_t=\alpha/\sqrt t, β1t≤β1\beta_{1t}\le\beta_1, β1/β2<1\beta_1/\sqrt{\beta_2}<1, un domaine admissible de diamètre borné et des gradients bornés ; la borne supérieure du regret gagne un facteur 1+log⁡T\sqrt{1+\log T}. L'article indique que choisir β1t=β1λt−1\beta_{1t}=\beta_1\lambda^{t-1}, ou la décroissance plus douce β1/t\beta_1/t, garantit un regret en O(T)O(\sqrt T).

Deux détails méritent attention. La preuve exige que β1\beta_1 décroisse dans le temps, mais les auteurs précisent aussi qu'en pratique, on fixe généralement β1\beta_1. Par ailleurs, l'Adam de l'article n'a pas de correction du biais ; une note de bas de page explique que c'est pour simplifier, et que l'argument du contre-exemple vaut aussi pour la version corrigée. L'Algorithm 2 d'AMSGrad n'a pas non plus de correction du biais.

L'article propose aussi une autre voie, AdamNC, qui garde la même structure mais fait croître β2\beta_2 dans le temps. Avec β2t=1−1/t\beta_{2t}=1-1/t, vtv_t est exactement la moyenne de tous les carrés des gradients passés, ce qui revient à un AdaGrad avec momentum.

Discussion

Expériences synthétiques

Trois graphiques en courbes, avec en abscisse le nombre d'itérations (en millions). À gauche, le regret moyen dans le cadre en ligne : Adam (tirets bleus) se stabilise vers 0.21, AMSGrad (trait plein vert) descend presque jusqu'à 0. Au centre, le paramètre x dans le cadre en ligne : Adam monte vite à 1 et y reste, AMSGrad se fixe à −1. À droite, le paramètre x dans le cadre stochastique : Adam reste près de 1, AMSGrad descend depuis 1 et se trouve vers −0.85 autour de dix millions d'itérations.
Figure 1 de l'article de Reddi et al., extraite de la page 6 du PDF, licence arXiv, citation académique.

L'expérience utilise une version agrandie du contre-exemple. Une perte 1010x1010x apparaît une fois tous les 101 pas, et la perte vaut −10x-10x aux 100 autres ; le gradient total sur une période vaut +10+10, et la solution optimale reste −1-1. Cette fois, on utilise les réglages ordinaires β1=0.9\beta_1=0.9 et β2=0.99\beta_2=0.99, identiques pour les deux méthodes.

À gauche, le regret moyen. Les tirets bleus d'Adam se stabilisent vers 0.21 et ne baissent plus ; la courbe verte d'AMSGrad descend presque jusqu'à 0. Au centre, le paramètre lui-même ; Adam s'arrête en +1+1, AMSGrad en −1-1.

À droite, la version stochastique, où l'on voit à chaque pas 1010x1010x avec une probabilité de 1 %, et −10x-10x sinon. Adam s'arrête encore en +1+1. AMSGrad descend très lentement ; à dix millions de pas, il est vers −0.85-0.85, sans avoir encore atteint −1-1.

Données réelles

Les trois graphiques du haut portent sur MNIST, avec en abscisse de 0 à 5000 itérations : pour la régression logistique, la perte d'entraînement et la perte de test d'AMSGrad (vert) sont toutes deux légèrement inférieures à celles d'Adam (tirets bleus), et finissent vers 0.25 et 0.27 ; pour le réseau à une couche cachée, la perte d'entraînement d'AMSGrad est elle aussi légèrement plus basse. Les deux graphiques du bas montrent CIFARNET sur CIFAR-10, avec en abscisse jusqu'à environ 2 millions d'itérations : la perte d'entraînement est d'environ 0.3 pour AMSGrad et 0.4 pour Adam ; les pertes de test oscillent toutes deux autour de 0.6, AMSGrad légèrement plus bas.
Figure 2 de l'article de Reddi et al., extraite de la page 7 du PDF, licence arXiv, citation académique.

Les expériences sur données réelles forment trois séries, toutes avec une taille de lot de 128, β1=0.9\beta_1=0.9, et β2\beta_2 choisi dans {0.99,0.999}\{0.99,0.999\} :

  1. Régression logistique sur MNIST (en haut à gauche et au centre). Problème convexe ; comme le veut la théorie, le taux d'apprentissage décroît en α/t\alpha/\sqrt t, et α\alpha et β2\beta_2 sont cherchés sur une grille. Les pertes d'entraînement et de test d'AMSGrad sont légèrement plus basses, et les auteurs notent qu'il est moins sensible aux variations des paramètres.
  2. Réseau à une couche cachée sur MNIST (en haut à droite). 100 ReLU, taux d'apprentissage fixe. La perte d'entraînement d'AMSGrad reste tout du long un peu en dessous de celle d'Adam.
  3. CIFARNET sur CIFAR-10 (en bas). Deux couches de convolution 6×66\times6 à 64 canaux, suivies de couches entièrement connectées de 384 et 192, avec, entre les couches, du max-pooling, une normalisation locale des réponses et du dropout. C'est sur la perte d'entraînement que l'écart est le plus net, environ 0.3 contre 0.4 ; les deux pertes de test sont autour de 0.6, AMSGrad légèrement plus bas.

Pour lire ces résultats, il faut connaître leur portée. Les figures ne montrent que des pertes, pas de précision (le texte affirme que la précision d'AMSGrad est aussi meilleure, sans donner de chiffre) ; chaque courbe semble provenir d'une seule exécution, sans marge d'erreur ; et les modèles sont tous petits. Dans leur liste de contributions, les auteurs qualifient eux-mêmes ces expériences de préliminaires.

La réception en pratique

AMSGrad a vite été intégré aux grands frameworks ; l'Adam de PyTorch comme celui de Keras a un paramètre amsgrad, désactivé par défaut.

Ceux qui l'ont essayé n'en sont pas revenus enthousiastes. Dans un article de juillet 2018, Sylvain Gugger et Jeremy Howard, de fast.ai, comparent sur un Wide ResNet pour CIFAR-10, l'affinage d'un ResNet-50 sur Stanford Cars, et des modèles de langage AWD-LSTM et QRNN sur WikiText-2 ; ils écrivent qu'amsgrad n'a jamais apporté le moindre gain, ni en précision ni sur aucune autre métrique, et le jugent « very disappointing ».

La preuve d'AMSGrad elle-même a ensuite été prise en défaut. En 2019, Phuong et Phong montrent que cette preuve traite β1t\beta_{1t} et β1\beta_1 comme s'ils étaient égaux, une négligence que l'on retrouve dans la preuve originale d'Adam ; ils donnent une nouvelle preuve et proposent une autre variante, AdamX.

Adam converge-t-il, finalement ?

Le contre-exemple tient, et Adam fonctionne pourtant bien en pratique ; comment concilier les deux ? Les réponses des travaux qui ont suivi diffèrent selon ce qu'ils fixent en premier :

TravailCe qui est fixé d'abordConclusion
Reddi et al. 2018β\beta d'abord, puis le problèmeAdam peut ne pas converger
Zhang et al. 2022Le problème d'abord, puis β\betaConvergence si β2\beta_2 est assez grand
ADOPT 2024On modifie l'algorithmeConvergence pour tout β2\beta_2

Zhang et al. 2022 mettent le doigt sur la question de l'ordre. Reddi et al. choisissent d'abord (β1,β2)(\beta_1,\beta_2), puis construisent un mauvais problème pour ce choix ; on l'a calculé plus haut, β2=0.999\beta_2=0.999 exige une période de plus de quarante mille pas. En pratique, au contraire, le problème est là d'abord, et c'est ensuite qu'on règle les hyperparamètres. Ils démontrent que, pour un problème fixé, dès que β2\beta_2 est assez grand (le seuil dépend du problème) et que β1<β2\beta_1<\sqrt{\beta_2}, Adam, sans aucune modification de sa règle de mise à jour, converge vers un voisinage des points critiques, dont la taille est proportionnelle à la variance du gradient stochastique ; sous des conditions plus fortes, il converge vers les points critiques eux-mêmes. Cette analyse porte sur des problèmes non convexes à somme finie, avec un mélange aléatoire de l'ordre des exemples à chaque époque ; elle ne suppose pas de gradients bornés et couvre le β1=0.9\beta_1=0.9 par défaut. À l'inverse, quand β2\beta_2 est trop petit, il existe une large région de couples (β1,β2)(\beta_1,\beta_2) qui divergent.

À la même période, Défossez et al. donnent une preuve de convergence courte dans le cas lisse non convexe à gradients bornés, et notent qu'Adam avec ses paramètres par défaut, strictement parlant, ne converge pas, et se comporte plutôt comme un SGD à pas fixe.

ADOPT 2024 revient sur AMSGrad. Il souligne que les preuves de convergence d'AMSGrad sur les problèmes non convexes supposent toutes des gradients stochastiques uniformément bornés ; les modèles qui injectent un bruit gaussien dans le gradient, comme les autoencodeurs variationnels ou les modèles de diffusion, ne satisfont pas cette condition. Le problème vient de l'étape du maximum, dont l'espérance est difficile à contrôler. ADOPT procède autrement ; il normalise le gradient courant avec le vt−1v_{t-1} du pas précédent, pour que le dénominateur ne contienne pas le gradient courant, et normalise d'abord avant d'accumuler le momentum. Si le moment d'ordre deux du gradient est fini, il atteint un taux de convergence en O(1/T)O(1/\sqrt T) pour tout β2\beta_2.

Reste une note de bas de page. Une prépublication de juillet 2026, « On the Convergence of Adam, Revisited », affirme que, dans le même cadre en ligne que Reddi et al., la condition β1<β2\beta_1<\sqrt{\beta_2} n'est même pas nécessaire, et que pour tous β1,β2\beta_1,\beta_2 on trouve des exemples où le regret moyen d'Adam ne tend pas vers zéro, toujours avec le cycle de trois pas de pentes c,−1,−1c,-1,-1 ; le résultat s'étend en outre à des variantes comme AdamW et Muon. Cela n'entre pas en conflit avec le résultat positif de Zhang et al. ; les deux répondent à des questions posées dans un ordre différent.

Conclusion

Avec une fonction linéaire jouée en manches de trois pas, cet article démontre que le théorème de convergence original d'Adam est faux, et attribue le problème au fait que la moyenne mobile exponentielle permet au taux d'apprentissage d'augmenter. AMSGrad prend le maximum historique comme dénominateur, rend le taux d'apprentissage non croissant, et rétablit la garantie de convergence sur les problèmes convexes. L'amélioration sur données réelles est faible, les expériences restent préliminaires, et les tests indépendants qui ont suivi n'ont le plus souvent constaté aucun gain ; ce que l'article laisse aux recherches suivantes, c'est l'angle d'analyse de Γt\Gamma_t, et la question de savoir « quel côté on fixe d'abord ».

En pratique, amsgrad=True n'est qu'un interrupteur ; si vous soupçonnez que vos données contiennent de grands gradients rares mais importants, vous pouvez l'inclure dans la comparaison, aux côtés d'un β2\beta_2 plus grand. Le premier n'ajoute qu'un état de la taille des paramètres, le second ne coûte rien. Zhang et al. démontrent qu'un β2\beta_2 trop petit ouvre une large région de divergence ; d'après ce résultat, si vous l'avez abaissé pour que l'optimiseur réagisse plus vite et que l'entraînement devient instable, commencez par le ramener près de 1.

Le petit jeu des manches de trois pas, lui, n'a jamais pris sa retraite. Huit ans plus tard, ce sont toujours les mêmes c,−1,−1c,-1,-1 ; cette fois, il n'a même plus besoin de supposer β1<β2\beta_1<\sqrt{\beta_2}, et il entraîne au passage AdamW et Muon avec lui.