Retour à la bibliothèque
arXiv 2019ICLR 2020OptimiseursNotes de lecture

RAdam

On ajoute un redresseur

Article original

On the Variance of the Adaptive Learning Rate and Beyond

Auteurs de l’article

Liyuan Liu · Haoming Jiang · Pengcheng He …

Afficher les 7 auteurs

Liyuan Liu · Haoming Jiang · Pengcheng He · Weizhu Chen · Xiaodong Liu · Jianfeng Gao · Jiawei Han

Publication
ICLR 2020Conférence
Premier dépôt sur arXiv
arXiv:1908.03265
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{optimizersradam2019,
  title = {{On the Variance of the Adaptive Learning Rate and Beyond}},
  author = {Liyuan Liu and Haoming Jiang and Pengcheng He and Weizhu Chen and Xiaodong Liu and Jianfeng Gao and Jiawei Han},
  year = {2019},
  eprint = {1908.03265},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1908.03265}
}
Sur cette page

If warmup is the answer, what is the question?

C'est la phrase d'ouverture de RAdam sur GitHub. À l'époque, l'échauffement (warmup) fait déjà partie de l'équipement standard des Transformers. Pendant les quelques milliers de premières étapes, on fait monter lentement le taux d'apprentissage depuis une valeur proche de 0, faute de quoi Adam n'arrive pas à entraîner le modèle. Quant à savoir pourquoi c'est indispensable, l'explication théorique manque encore, et chacun règle la durée de l'échauffement surtout par tâtonnements.

En août 2019, Liyuan Liu et ses collègues de l'université de l'Illinois et de Microsoft publient cet article. Selon eux, la cause se trouve dans le taux d'apprentissage adaptatif d'Adam ; en début d'entraînement, celui-ci a vu trop peu de gradients, et sa variance s'emballe. Au passage, ils proposent une version corrigée, baptisée Rectified Adam, ou RAdam.

Environ une semaine après la mise en ligne sur arXiv, Less Wright le présente sur le forum fast.ai et sur Medium comme « le nouvel optimiseur état de l'art », et des membres du forum ne tardent pas à le tester. Deux mois plus tard, Jerry Ma et Denis Yarats publient une réfutation selon laquelle RAdam, une fois démonté, n'est rien d'autre qu'Adam auquel on ajoute un échauffement fixe.

Dans cette note, nous examinons les deux camps.

Définir le problème

Le taux d'apprentissage adaptatif d'Adam

Les auteurs commencent par écrire les divers optimiseurs adaptatifs dans un même cadre (Algorithm 1). À chaque étape, on calcule le momentum mt=ϕ(g1,…,gt)m_t = \phi(g_1, \dots, g_t) et le taux d'apprentissage adaptatif lt=ψ(g1,…,gt)l_t = \psi(g_1, \dots, g_t), puis on met à jour θt=θt−1−αtmtlt\theta_t = \theta_{t-1} - \alpha_t m_t l_t. Toutes les opérations se font élément par élément. Pour Adam, ψ\psi vaut :

ψ(g1,…,gt)=1−β2t(1−β2)∑i=1tβ2t−igi2\psi(g_1, \dots, g_t) = \sqrt{\frac{1 - \beta_2^t}{(1 - \beta_2)\sum_{i=1}^{t}\beta_2^{t-i} g_i^2}}

C'est l'inverse de la racine carrée de l'estimation du moment d'ordre deux ; le 1−β2t1-\beta_2^t du numérateur est la correction du biais. Un paramètre dont le gradient reste grand fait des pas plus petits ; un paramètre dont le gradient reste petit fait des pas plus grands.

Que se passe-t-il sans échauffement ?

Figure 1 de l'article : perte d'entraînement d'un Transformer sur le jeu de données de traduction allemand-anglais IWSLT'14 ; en abscisse, de 0 à 70 000 itérations, en ordonnée, de 0 à 9. La courbe bleue d'Adam-vanilla (sans échauffement) reste au-dessus de 9 tout du long ; la courbe noire d'Adam-eps descend à environ 3.6 ; les trois courbes d'Adam-2k, de RAdam et d'Adam-warmup se superposent presque et descendent à environ 3, avec la mention Overlapped sur la figure.
Figure 1 de l'article de Liu et al., extraite de la page 1 du PDF, licence arXiv, citation académique.

Regardons d'abord la courbe bleue d'Adam-vanilla et celle d'Adam-warmup, tout en bas. Avec le même Transformer et les mêmes données IWSLT'14 allemand-anglais, la perte d'entraînement reste bloquée vers 10 sans échauffement, et descend sous 3 avec échauffement. Les trois autres courbes sont des expériences de contrôle des auteurs ; nous y viendrons.

Les auteurs tracent la distribution des valeurs absolues du gradient à chaque étape et constatent que, sans échauffement, cette distribution se déforme dès les 10 premières étapes, son centre de masse se tassant vers de très petites valeurs. Selon leur interprétation, Adam effectue des mises à jour nuisibles lors des toutes premières étapes et entraîne le modèle dans une mauvaise région ; l'échauffement sert à atténuer l'effet de ces mises à jour.

Mais pourquoi les mises à jour des premières étapes sont-elles nuisibles ?

Résoudre le problème

À la première étape, un seul échantillon

Prenons le cas le plus extrême, t=1t = 1. On a alors ψ(g1)=1/g12=1/∣g1∣\psi(g_1) = \sqrt{1/g_1^2} = 1/|g_1| ; tout le taux d'apprentissage adaptatif est estimé à partir d'un seul gradient.

Si l'on suppose que le gradient suit N(0,σ2)\mathcal{N}(0, \sigma^2), alors 1/g121/g_1^2 suit une loi du khi-deux inverse mise à l'échelle à 1 degré de liberté, et la variance de 1/g12\sqrt{1/g_1^2} diverge. Intuitivement, cela se comprend sans peine ; il suffit que g1g_1 tombe tout près de 0 pour que 1/∣g1∣1/|g_1| devienne énorme.

Un petit taux d'apprentissage peut contenir cette variance, puisque Var[αx]=α2Var[x]\mathrm{Var}[\alpha x] = \alpha^2 \mathrm{Var}[x]. Voilà l'explication que les auteurs donnent de l'échauffement. En début d'entraînement, la variance du taux d'apprentissage adaptatif est trop grande, et l'échauffement la comprime avec un petit α\alpha.

Deux expériences de contrôle

Si le problème vient vraiment de la variance, la réduire autrement devrait aussi le résoudre. Les auteurs conçoivent deux variantes d'Adam.

  • Adam-2k : pendant les 2 000 premières itérations, seul ψ\psi est mis à jour, le momentum et les paramètres restant gelés ; cela revient à observer 2 000 échantillons de plus pour bien estimer le moment d'ordre deux avant de commencer l'entraînement.
  • Adam-eps : on porte le ϵ\epsilon du dénominateur de 10−810^{-8} à 10−410^{-4}, ce qui plafonne directement ψ\psi.

Dans la figure précédente, Adam-2k, sans échauffement, se superpose pourtant à Adam-warmup ; la distribution des gradients n'est plus déformée non plus. Adam-eps évite lui aussi le blocage vers 10, mais finit autour de 3.6, moins bien qu'avec échauffement. Les auteurs supposent qu'un ϵ\epsilon trop grand introduit un biais dans le taux d'apprentissage adaptatif et ralentit l'optimisation ; il faut donc une méthode plus fondée.

La variance diminue avec le nombre d'échantillons

Il reste à calculer cette variance. Adam utilise une moyenne mobile exponentielle (EMA), difficile à analyser ; les auteurs l'approchent par une moyenne mobile simple (SMA) et supposent que ψ2\psi^2 suit une loi du khi-deux inverse mise à l'échelle à ρ\rho degrés de liberté. On peut lire ρ\rho comme « le nombre d'échantillons effectivement utilisés pour estimer le moment d'ordre deux ».

Le Theorem 1 établit que, sous cette hypothèse, la variance de ψ\psi décroît de façon monotone quand ρ\rho augmente, et en donne une forme close pour ρ>4\rho > 4 (équation (2)). Autrement dit, moins il y a d'échantillons, moins le taux d'apprentissage adaptatif est fiable ; pour ρ≤4\rho \le 4, l'article considère cette variance comme impossible à traiter (intractable).

À combien d'échantillons équivaut une EMA ?

À quelle longueur de SMA correspond alors l'EMA de l'étape tt ? Les auteurs imposent aux deux le même « centre de masse », c'est-à-dire la même position temporelle moyenne des échantillons, pondérée par leurs poids, et obtiennent :

ρt=21−β2−1−2tβ2t1−β2t,ρ∞=21−β2−1\rho_t = \frac{2}{1-\beta_2} - 1 - \frac{2t\beta_2^t}{1-\beta_2^t}, \qquad \rho_\infty = \frac{2}{1-\beta_2} - 1

ρ∞\rho_\infty est la limite quand t→∞t \to \infty. Avec la valeur par défaut β2=0.999\beta_2 = 0.999, on obtient ρ∞=1999\rho_\infty = 1999. Pour les premières étapes, ρt\rho_t vaut :

tt12345
ρt\rho_t1.0001.9992.9993.9974.996

Calculé d'après la définition de ρt\rho_t dans l'article, avec β2=0.999\beta_2 = 0.999.

En début d'entraînement, ρt\rho_t est presque égal à tt, ce qui colle bien à l'intuition, puisque chaque gradient vu compte pour un échantillon. Plus β2\beta_2 est proche de 1, plus la mémoire de l'EMA est longue, et plus ρt\rho_t met de temps à approcher sa limite.

Le terme de rectification rtr_t

Une fois ρt\rho_t connu, les auteurs se fixent pour objectif une variance du taux d'apprentissage adaptatif identique à chaque étape, égale à sa valeur minimale CvarC_{var}, atteinte en ρ∞\rho_\infty. Pour cela, ils multiplient par un facteur d'échelle rt=Cvar/Var[ψ]r_t = \sqrt{C_{var}/\mathrm{Var}[\psi]}.

La forme close de l'équation (2) étant numériquement instable, les auteurs passent à une approximation du premier ordre, ce qui donne l'équation (5) :

Var[ψ]≈ρt2(ρt−2)(ρt−4)σ2\mathrm{Var}[\psi] \approx \frac{\rho_t}{2(\rho_t - 2)(\rho_t - 4)\sigma^2}

En l'évaluant une fois en ρt\rho_t et une fois en ρ∞\rho_\infty, puis en divisant, σ\sigma disparaît :

rt=(ρt−4)(ρt−2)ρ∞(ρ∞−4)(ρ∞−2)ρtr_t = \sqrt{\frac{(\rho_t - 4)(\rho_t - 2)\rho_\infty}{(\rho_\infty - 4)(\rho_\infty - 2)\rho_t}}

C'est la rectification qui donne son nom à RAdam, au sens où un redresseur rectifie un courant. Calculons quelques points pour voir son allure :

Étape tt5101001 0002 0005 000
rtr_t0.0170.0490.2150.6450.8280.983

Calculé d'après le rtr_t de la section 4.2 de l'article, avec β2=0.999\beta_2 = 0.999.

Il est minuscule au départ, vaut environ 0.65 à 1 000 étapes, et n'approche 1 qu'à 5 000 étapes. Multipliée par le taux d'apprentissage, cette courbe a tout l'air d'un échauffement.

L'algorithme complet

Le tout forme l'Algorithm 2. À chaque étape :

  1. Calculer le gradient gtg_t, mettre à jour le moment d'ordre deux vt=β2vt−1+(1−β2)gt2v_t = \beta_2 v_{t-1} + (1-\beta_2) g_t^2 et le moment d'ordre un mt=β1mt−1+(1−β1)gtm_t = \beta_1 m_{t-1} + (1-\beta_1) g_t.
  2. Corriger le biais du moment d'ordre un, m^t=mt/(1−β1t)\hat m_t = m_t / (1 - \beta_1^t).
  3. Calculer ρt\rho_t.
  4. Si ρt>4\rho_t > 4, calculer lt=(1−β2t)/vtl_t = \sqrt{(1-\beta_2^t)/v_t} et rtr_t, puis mettre à jour θt=θt−1−αtrtm^tlt\theta_t = \theta_{t-1} - \alpha_t r_t \hat m_t l_t.
  5. Sinon, se passer du taux d'apprentissage adaptatif et faire directement θt=θt−1−αtm^t\theta_t = \theta_{t-1} - \alpha_t \hat m_t.

Le point 5 est le cas où RAdam dégénère en SGD avec momentum. D'après le tableau de ρt\rho_t plus haut, avec β2=0.999\beta_2 = 0.999, seules les étapes t=1t = 1 à 4 vérifient ρt≤4\rho_t \le 4 ; les 4 premières étapes sont donc un SGD avec momentum et correction du biais, et l'Adam rectifié ne prend le relais qu'à partir de la 5e étape. Ma et Yarats démontreront plus tard que, dès que 0.8≤β2<10.8 \le \beta_2 < 1, ρt≤4\rho_t \le 4 équivaut exactement à t≤4t \le 4. L'article note en outre que si β2≤0.6\beta_2 \le 0.6, alors ρ∞≤4\rho_\infty \le 4 et RAdam dégénère entièrement en SGD avec momentum.

Le lien avec l'échauffement

Dans la section 4.3, les auteurs comparent directement rtr_t à un échauffement linéaire. Celui-ci revient à multiplier le taux d'apprentissage par min⁡(t,Tw)/Tw\min(t, T_w)/T_w, une forme très proche de rtr_t ; ils y voient la confirmation que « l'échauffement est une technique de réduction de la variance ». La différence est que RAdam n'a pas besoin de l'hyperparamètre TwT_w, la durée d'échauffement, et s'ajuste automatiquement à β2\beta_2.

Ils soulignent aussi que cette correction est indépendante des autres techniques de stabilisation de l'entraînement, comme l'écrêtage du gradient, l'augmentation de ϵ\epsilon, l'initialisation ou les couches de normalisation, et peut s'y combiner.

Discussion

Configuration expérimentale

Les expériences se répartissent en trois catégories ; pour les méthodes de la famille Adam, la décroissance des poids suit toujours la forme découplée d'AdamW.

  • Modèle de langage : One Billion Word, LSTM à deux couches de 2 048 unités cachées, taux d'apprentissage 0.001, taille de lot 128.
  • Classification d'images : ResNet-20 sur CIFAR-10 (186 époques), ResNet-18 sur ImageNet (90 époques), taux d'apprentissage décroissant par paliers, décroissance des poids de 10−410^{-4}.
  • Traduction automatique : Transformer de fairseq, IWSLT'14 allemand-anglais dans les deux sens et WMT'16 anglais→allemand ; Adam avec 4 000 étapes d'échauffement linéaire.

Dans les expériences de modèle de langage et d'images, les (β1,β2)(\beta_1, \beta_2) d'Adam et de RAdam valent tous deux (0.9,0.999)(0.9, 0.999).

Face à l'Adam d'origine

Sans échauffement, RAdam bat l'Adam d'origine sur les trois jeux de données. Sur One Billion Word, la perplexité de test passe de 36.92 à 35.70 ; RAdam est plus lent qu'Adam pendant les premières époques, puis converge plus vite. Voici la précision de test en classification d'images :

Jeu de donnéesSGDAdamRAdam
CIFAR-1091.5190.5491.38
ImageNet69.8666.5467.62

D'après la Table 1 de l'article (%).

RAdam fait mieux qu'Adam, mais ne bat SGD sur aucun des deux jeux de données. Les auteurs rapportent aussi la précision d'entraînement sur ImageNet ; SGD, Adam et RAdam obtiennent respectivement 69.57, 69.12 et 70.30, RAdam étant le plus haut. Puisqu'il s'entraîne mieux que SGD mais fait moins bien au test, l'écart semble venir de la généralisation ; c'est toutefois une déduction tirée de la précision d'entraînement, et l'article lui-même ne fait pas cette analyse.

Peu sensible au taux d'apprentissage

Figure 6 de l'article : entraînement d'un ResNet-20 sur CIFAR-10, en trois colonnes, RAdam, Adam et SGD ; en haut la précision de test, en bas la perte d'entraînement, avec les époques en abscisse ; quatre couleurs correspondent aux taux d'apprentissage 0.1, 0.03, 0.01 et 0.003. Dans la colonne RAdam, les quatre courbes se superposent presque parfaitement, toutes autour de 91 % à la fin ; dans la colonne Adam, la courbe rose du taux 0.1 est nettement moins bonne, vers 86 % ; dans la colonne SGD, les quatre courbes s'écartent, et plus le taux d'apprentissage est petit, plus le résultat est mauvais.
Figure 6 de l'article de Liu et al., extraite de la page 7 du PDF, licence arXiv, citation académique.

Quand le taux d'apprentissage varie de 0.1 à 0.003, les quatre courbes de précision de test de RAdam se superposent presque ; Adam tombe à environ 86 % avec un taux de 0.1, et les quatre courbes de SGD partent chacune de leur côté. Les auteurs en concluent que la rectification permet à RAdam de s'accommoder d'une plage plus large de taux d'apprentissage. La FAQ du README reconnaît toutefois honnêtement que la robustesse de RAdam a ses limites ; il faut quand même régler le taux d'apprentissage.

Face à l'échauffement

La traduction est le domaine où l'échauffement est le plus indispensable ; l'adversaire devient donc un Adam bien réglé, avec échauffement :

TâcheAdam + échauffementRAdam
IWSLT'14 allemand→anglais34.6634.76
IWSLT'14 anglais→allemand28.5628.48
WMT'16 anglais→allemand27.0327.27

D'après la Table 2 de l'article ; BLEU, moyenne de 5 graines aléatoires pour IWSLT.

Les deux font jeu égal, et les auteurs concluent eux aussi à « des performances comparables à celles de l'échauffement ». Il y a ici un réglage qu'on ne voit qu'en annexe. Dans les expériences de traduction, β2\beta_2 vaut 0.9995, et l'annexe justifie ce choix par la volonté d'obtenir ν=4000\nu = 4000. Reporté dans ρ∞=2/(1−β2)−1\rho_\infty = 2/(1-\beta_2) - 1, cela donne exactement 3 999, aligné sur les 4 000 étapes d'échauffement du groupe Adam. Autrement dit, dans cette comparaison, la durée de l'« échauffement automatique » de RAdam a été alignée par l'intermédiaire de β2\beta_2.

Sur CIFAR-10, la meilleure précision d'Adam avec échauffement est de 91.29 %, comparable aux 91.38 % de RAdam ; mais la durée d'échauffement se choisit parmi 100, 200, 500 et 1 000 étapes, et avec un taux d'apprentissage de 0.1 et 100 étapes d'échauffement, on n'obtient que 90.13 %, contre 91.06 % pour RAdam au même taux. Formulée plus précisément, la thèse des auteurs est donc que RAdam supprime un hyperparamètre à régler, les meilleurs scores restant à peu près les mêmes.

Le SGD avec momentum des premières étapes

Les étapes où RAdam dégénère en SGD avec momentum comptent-elles ? L'annexe C mène une expérience de substitution sur CIFAR-10 avec un taux d'apprentissage de 0.1 (moyenne de 5 exécutions). Avec RAdam du début à la fin, la précision de test est de 91.08 % ; en remplaçant les 4 premières étapes par un Adam ordinaire, elle tombe à 89.98 % ; avec SGD pour les 4 premières étapes et un Adam non rectifié pour les étapes 5 à 8, elle est de 90.29 %. Les auteurs y voient une confirmation de la théorie, les mises à jour les plus précoces étant les plus nuisibles, mais précisent que cette partie n'est qu'un élément secondaire de l'algorithme ; l'essentiel est le mécanisme de l'échauffement et la dérivation du terme de rectification.

La réfutation de Ma et Yarats

En octobre 2019, Jerry Ma (université de Chicago) et Denis Yarats (université de New York, Facebook AI Research) publient sur arXiv « On the Adequacy of Untuned Warmup for Adaptive Optimization » (AAAI 2021). Le résumé annonce sans détour qu'ils entendent réfuter cette analyse. L'argument se déploie en trois temps.

Premièrement, RAdam est un échauffement fixe. rtr_t ne dépend que de tt et de β2\beta_2, et pas du tout de l'allure réelle des gradients. Comme on l'a vu, ρt≤4\rho_t \le 4 correspond exactement aux 4 premières étapes ; RAdam se résume donc en une phrase, 4 étapes de SGD avec momentum, puis Adam avec une planification d'échauffement fixe. Ils ont aussi essayé de remplacer les 4 premières étapes par rien du tout, ou par Adam avec un très petit taux d'apprentissage ; la différence est chaque fois négligeable.

Deuxièmement, l'argument de la variance a une faille. RAdam suppose des gradients de moyenne nulle, mais en début d'entraînement, le modèle est loin d'un minimum et la moyenne du gradient dépasse généralement son écart-type ; sur EMNIST, ils mesurent qu'il faut attendre environ la 50e étape pour que le coefficient de variation de la plupart des paramètres dépasse durablement 1. Plus décisif encore, la mise à jour effective d'Adam est m^t/v^t\hat m_t / \sqrt{\hat v_t}, et ∣mt∣|m_t| est fortement corrélé à vt\sqrt{v_t}. À la première étape, les deux sont même exactement égaux, et la mise à jour de chaque paramètre vaut exactement ±α\pm\alpha (pour ϵ=0\epsilon = 0). Autrement dit, à l'étape même où la variance du taux d'apprentissage adaptatif « diverge », la variance de la mise à jour effective est nulle.

Troisièmement, c'est l'amplitude de la mise à jour qu'il faut regarder. Ils simulent des gradients qui, autour d'un minimum, ne sont qu'un bruit de moyenne nulle, et observent les mises à jour d'Adam. Celles-ci partent de 1⋅α1\cdot\alpha et ne se stabilisent autour de 0.15α0.15\alpha qu'après environ 40 étapes. Même si le modèle est déjà posé sur un minimum, Adam fait donc des pas trop grands pendant ses premières dizaines d'étapes ; SGD, dans la même situation, n'a pas besoin d'échauffement, ce qui explique en partie pourquoi Adam en a plus besoin que SGD.

Sur la base de ces analyses, ils proposent deux règles empiriques sans réglage :

ωtexpo=1−exp⁡(−(1−β2) t),ωtlinear=min⁡(1,1−β22 t)\omega^{\text{expo}}_t = 1 - \exp\big(-(1-\beta_2)\,t\big), \qquad \omega^{\text{linear}}_t = \min\left(1, \frac{1-\beta_2}{2}\,t\right)

La constante de temps 1/(1−β2)1/(1-\beta_2) de la première est choisie par analogie avec le terme de correction du biais du moment d'ordre deux d'Adam, 1−β2t≈1−e−(1−β2)t1-\beta_2^t \approx 1 - e^{-(1-\beta_2)t}, une intuition que les auteurs eux-mêmes qualifient de purement spéculative ; la seconde est un échauffement linéaire de 2/(1−β2)2/(1-\beta_2) étapes, soit 2 000 étapes pour β2=0.999\beta_2 = 0.999.

Graphique créé pour cette note, avec β2 = 0.999 ; en abscisse, l'étape d'entraînement de 0 à 6 000, en ordonnée, le facteur appliqué au taux d'apprentissage, de 0 à 1. La courbe bleue continue est le terme de rectification r_t de RAdam, qui monte le plus vite au début, vaut environ 0.65 à 1 000 étapes, puis approche lentement 1 ; la courbe orange en tirets est l'échauffement linéaire de 2 000 étapes, qui atteint 1 à l'étape 2 000 ; la courbe verte en pointillés est l'échauffement exponentiel, de forme proche de r_t, légèrement en dessous pendant environ les 1 100 premières étapes, puis légèrement au-dessus. Une mention indique que pour t ≤ 4, ρ_t ≤ 4 et RAdam n'utilise pas le taux d'apprentissage adaptatif.
Graphique créé pour cette note, calculé d'après l'Algorithm 2 de l'article et les équations (13) et (14) de Ma & Yarats.

Les trois courbes n'ont pas exactement la même forme ; RAdam monte le plus vite pendant les premières centaines d'étapes, mais passe en dernière position au-delà d'environ 1 500 étapes. Ma et Yarats les comparent par leur « durée d'échauffement effective » ∑t(1−ωt)\sum_t (1-\omega_t), c'est-à-dire le nombre total d'étapes de taux d'apprentissage que l'échauffement retranche ; pour β2=0.999\beta_2 = 0.999, les trois tournent autour de 1 000 étapes (d'après la formule, environ 1 033 étapes pour RAdam), et restent presque identiques quel que soit β2\beta_2.

Les expériences vont dans le même sens. Sur un ResNet-50 pour ImageNet, un modèle de langage Transformer sur WikiText-103 et un Transformer de traduction WMT16 anglais→allemand, ils balaient chaque fois 9 à 12 combinaisons de taux d'apprentissage et de β2\beta_2 ; les écarts entre les trois méthodes ne dépassent généralement pas quelques dixièmes. Prenons l'erreur top-1 sur ImageNet (5 graines aléatoires) :

Taux d'apprentissageβ2\beta_2ExponentielLinéaireRAdam
10−310^{-3}0.9927.928.028.4
10−310^{-3}0.99727.927.928.3
10−310^{-3}0.99928.228.328.4

D'après la Table 1 de Ma & Yarats ; extrait des trois lignes à taux d'apprentissage 10−310^{-3} (%).

Sur ces trois lignes, RAdam est même un peu moins bon. Le plus grand écart de tout le tableau apparaît avec un taux d'apprentissage de 10−210^{-2} et β2=0.999\beta_2 = 0.999, où l'erreur de RAdam dépasse d'environ 1 point celle des deux règles empiriques. Ils recommandent, avec Adam, un échauffement linéaire de 2/(1−β2)2/(1-\beta_2) étapes.

Qui a raison ?

Les deux articles s'accordent sur le fait qu'Adam a besoin d'un taux d'apprentissage plus faible pendant ses premiers milliers d'étapes ; ils divergent sur la raison.

Côté RAdam, les preuves sont les expériences de contrôle comme Adam-2k, et le match nul avec un échauffement bien réglé en traduction et en images. Côté Ma et Yarats, ils montrent que rtr_t n'est qu'une planification fixe déterminée par β2\beta_2, et s'appuient sur l'analyse de l'amplitude des mises à jour et sur des expériences couvrant trois tâches pour établir qu'un échauffement linéaire sans réglage fait la même chose. La version définitive de l'article RAdam ne répond pas à cette réfutation ; la FAQ du README admet en revanche que, lorsque la moyenne du gradient est bien plus grande que sa variance, le problème de variance n'est peut-être pas très important, et y voit une explication possible au fait que certains modèles ont davantage besoin d'échauffement.

L'hypothèse de moyenne nulle, l'article RAdam l'a lui-même vérifiée par simulation dans sa section 5.3. Les gradients y sont tirés de N(μ,1)\mathcal{N}(\mu, 1), avec six valeurs de μ\mu (0, 0.001, 0.01, 0.1, 1 et 10), β2=0.999\beta_2 = 0.999, et 5 000 trajectoires de 6 000 étapes chacune ; dans les six cas, la variance du taux d'apprentissage adaptatif brut est trop grande au début, et reste à peu près constante après rectification. La même section confirme aussi que l'approximation du premier ordre de l'équation (5) se superpose presque à la forme close de l'équation (2). Ces simulations mesurent cependant toujours la variance du taux d'apprentissage adaptatif lui-même, sans toucher à la corrélation entre mtm_t et vtv_t relevée par Ma et Yarats.

Ma et Yarats n'ont pas non plus entièrement résolu la question. Leur simulation montre que l'amplitude des mises à jour se stabilise en 40 étapes environ ; selon cette logique, quelques centaines d'étapes d'échauffement devraient suffire. Or, qu'il s'agisse de RAdam ou de leurs règles empiriques, l'échauffement effectif tourne autour de 1 000 étapes, et certains échauffements réglés à la main vont jusqu'à 10 000 étapes. Ils écrivent eux-mêmes dans leur discussion que la raison pour laquelle Adam a besoin d'un échauffement aussi long reste une question ouverte.

D'un point de vue d'ingénieur, les deux camps s'accordent en pratique pour dire que RAdam équivaut à un échauffement d'environ 2/(1−β2)2/(1-\beta_2) étapes. Il en découle une conséquence facile à négliger. Les grands modèles de langage ultérieurs fixent souvent β2\beta_2 à 0.95, comme GPT-3 et LLaMA ; on a alors ρ∞=39\rho_\infty = 39, et d'après la formule, l'échauffement effectif intégré à RAdam n'est plus que d'environ 24 étapes, alors que LLaMA utilise en réalité 2 000 étapes d'échauffement.

Le terme de rectification, lui, est resté. PyTorch intègre torch.optim.RAdam ; fin 2024, le paquet officiel de Schedule-Free a aussi accueilli une version RAdam proposée par la communauté, dont la description affirme qu'on peut même se passer d'échauffement.

Conclusion

RAdam part du taux d'apprentissage adaptatif d'Adam, estime par une approximation SMA le nombre d'échantillons équivalent ρt\rho_t à l'étape tt, puis ramène la variance à un niveau constant avec le terme de rectification rtr_t ; pendant les premières étapes où ρt≤4\rho_t \le 4, il dégénère directement en SGD avec momentum. En traduction et en classification d'images, il rattrape un Adam bien réglé avec échauffement sans qu'il faille fixer de durée d'échauffement (le β2\beta_2 des expériences de traduction a toutefois été spécialement aligné). Ma et Yarats montrent ensuite que rtr_t n'est qu'un échauffement fixe déterminé par β2\beta_2, et qu'un simple échauffement linéaire obtient des résultats presque identiques.

Si vous avez déjà un échauffement bien réglé, passer à RAdam ne vous apportera probablement pas grand-chose ; sinon, RAdam et « un échauffement linéaire de 2/(1−β2)2/(1-\beta_2) étapes » sont deux points de départ à peu près aussi fiables l'un que l'autre. Retenez simplement qu'avec RAdam, modifier β2\beta_2 revient à modifier en même temps la durée d'échauffement.

Le README s'ouvre en demandant quelle est la question, si l'échauffement est la réponse. Ma et Yarats répondent que les mises à jour d'Adam sont trop grandes au début ; quant à savoir pourquoi l'échauffement doit durer si longtemps, ils reconnaissent eux-mêmes ne pas le savoir.