Retour à la bibliothèque
arXiv 2020ICLR 2021OptimiseursNotes de lecture

SAM

Prévoir le pire

Article original

Sharpness-Aware Minimization for Efficiently Improving Generalization

Auteurs de l’article

Pierre Foret · Ariel Kleiner · Hossein Mobahi · Behnam Neyshabur

Publication
ICLR 2021Conférence
Premier dépôt sur arXiv
arXiv:2010.01412
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{optimizerssam2020,
  title = {{Sharpness-Aware Minimization for Efficiently Improving Generalization}},
  author = {Pierre Foret and Ariel Kleiner and Hossein Mobahi and Behnam Neyshabur},
  year = {2020},
  eprint = {2010.01412},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2010.01412}
}
Sur cette page

Le même ResNet, entraîné avec SGD, finit au fond d'un trou étroit et pointu ; avec une autre méthode d'entraînement, il finit au fond d'un large bol. Aux deux points, la perte d'entraînement est très basse, et le modèle a le même nombre de paramètres.

Figure 1 de l'article : à gauche, pourcentage de réduction du taux d'erreur après passage à SAM ; chaque point est une combinaison de jeu de données, de modèle et d'augmentation de données, réparti sur six lignes, CIFAR-10, CIFAR-100, ImageNet, affinage, SVHN et F-MNIST (sur une même ligne), et CIFAR bruité ; la plupart se situent entre 0 et 40 %, un point d'affinage et un point de CIFAR bruité dépassent légèrement 40 %, et un point de SVHN/F-MNIST est légèrement sous 0. Au centre, le paysage de perte autour du minimum atteint par SGD, un trou profond et pointu ; à droite, le large bassin atteint par le même modèle entraîné avec SAM.
Figure 1 de l'article de Foret et al., extraite de la page 2 du PDF, licence arXiv, citation académique.

Ces deux paysages, au centre et à droite, sont l'image que Pierre Foret, Ariel Kleiner et Hossein Mobahi, de Google Research, et Behnam Neyshabur, de Blueshift chez Alphabet, ont placée en première page de leur article (avec un ResNet-56 privé de ses connexions résiduelles). Le graphique de gauche montre leur palmarès. Sur des dizaines de configurations, le passage à SAM fait presque toujours baisser le taux d'erreur, de quelques pour cent à plus de 40 %.

L'idée que « les minima plats généralisent mieux » est ancienne et remonte au moins aux années 1990. Ici, puisqu'on veut un minimum plat, on inscrit directement la platitude dans la fonction objectif, à un coût assez bas pour pouvoir entraîner sur ImageNet.

Définir le problème

Les réseaux de neurones modernes ont tant de paramètres qu'ils peuvent mémoriser entièrement leurs données d'entraînement. La perte d'entraînement a de nombreux minima presque aussi bas les uns que les autres, mais leurs performances en test diffèrent beaucoup, et celui qu'on obtient dépend largement de l'optimiseur et de ses réglages.

Le lien entre acuité (sharpness) et généralisation a déjà été beaucoup étudié. Keskar et al. ont observé que l'entraînement à grands lots tend à s'arrêter dans des minima pointus, qui généralisent moins bien ; en 2019, Jiang et al. ont comparé 40 mesures de complexité, et ce sont les mesures fondées sur l'acuité qui sont les plus corrélées à l'écart de généralisation.

L'ennui, c'est que la plupart des mesures d'acuité proposées jusque-là sont difficiles à calculer, et plus encore à différencier. Entropy-SGD régularise plutôt l'entropie locale ; SWA moyenne les poids de la fin de l'entraînement et peut aboutir à une région plus plate, mais sans minimiser directement l'acuité. Les auteurs veulent une procédure qui optimise directement l'acuité tout en passant à l'échelle des grands modèles.

Résoudre le problème

De la borne de généralisation au min-max

Le point de départ est une borne de généralisation PAC-Bayes (version informelle du Theorem 1). Pour tout ρ>0\rho>0, avec forte probabilité,

LD(w)≤max⁡∥ϵ∥2≤ρLS(w+ϵ)+h(∥w∥22/ρ2)L_{\mathcal D}(w) \le \max_{\|\epsilon\|_2\le\rho} L_S(w+\epsilon) + h\big(\|w\|_2^2/\rho^2\big)

LDL_{\mathcal D} est la perte sur la population, LSL_S la perte d'entraînement, et hh une fonction croissante. En décomposant le membre de droite :

[max⁡∥ϵ∥2≤ρLS(w+ϵ)−LS(w)]⏟acuiteˊ+LS(w)+h(∥w∥22/ρ2)\underbrace{\Big[\max_{\|\epsilon\|_2\le\rho} L_S(w+\epsilon) - L_S(w)\Big]}_{\text{acuité}} + L_S(w) + h\big(\|w\|_2^2/\rho^2\big)

Le crochet mesure « de combien la perte peut au plus augmenter dans une boule de rayon ρ\rho autour de ww » ; c'est l'acuité. En remplaçant hh par une régularisation L2 ordinaire, λ∥w∥22\lambda\|w\|_2^2, les auteurs obtiennent l'objectif de SAM :

min⁡w  LSSAM(w)+λ∥w∥22,LSSAM(w)=max⁡∥ϵ∥p≤ρLS(w+ϵ)\min_w\; L_S^{SAM}(w) + \lambda\|w\|_2^2,\qquad L_S^{SAM}(w) = \max_{\|\epsilon\|_p\le\rho} L_S(w+\epsilon)

On ne cherche plus un point dont « la perte est basse », mais un point dont « tout le voisinage a une perte basse ».

Approximation du premier ordre : ϵ^(w)\hat\epsilon(w)

La maximisation interne ne peut pas être résolue exactement. Les auteurs font un développement de Taylor au premier ordre de LS(w+ϵ)L_S(w+\epsilon) en ϵ=0\epsilon=0 :

ϵ∗(w)≈arg⁡max⁡∥ϵ∥p≤ρ  LS(w)+ϵ⊤∇wLS(w)=arg⁡max⁡∥ϵ∥p≤ρ  ϵ⊤∇wLS(w)\epsilon^*(w) \approx \arg\max_{\|\epsilon\|_p\le\rho}\; L_S(w) + \epsilon^\top\nabla_w L_S(w) = \arg\max_{\|\epsilon\|_p\le\rho}\; \epsilon^\top\nabla_w L_S(w)

Maximiser un produit scalaire dans une boule de norme est un problème classique de norme duale. Pour p=2p=2, la solution consiste à remettre le gradient à l'échelle pour qu'il ait une longueur ρ\rho :

ϵ^(w)=ρ ∇wLS(w)∥∇wLS(w)∥2\hat\epsilon(w) = \rho\,\frac{\nabla_w L_S(w)}{\|\nabla_w L_S(w)\|_2}

Autrement dit, on avance d'une distance ρ\rho « vers le haut de la pente », dans la direction du gradient. L'annexe essaie aussi p=∞p=\infty (ϵ^=ρ sign(∇L)\hat\epsilon=\rho\,\mathrm{sign}(\nabla L)), qui fait moins bien que p=2p=2 ; une perturbation de même longueur dans une direction aléatoire fait aussi moins bien qu'une perturbation le long du gradient.

Il faut ensuite calculer le gradient de LSAML^{SAM}. Comme ϵ^\hat\epsilon dépend lui-même de ww, la règle de dérivation en chaîne fait apparaître un terme dϵ^dw\frac{d\hat\epsilon}{dw}, où se cache la hessienne :

∇wLSSAM(w)≈∇wLS(w)∣w+ϵ^+dϵ^(w)dw ∇wLS(w)∣w+ϵ^\nabla_w L_S^{SAM}(w) \approx \nabla_w L_S(w)\big|_{w+\hat\epsilon} + \frac{d\hat\epsilon(w)}{dw}\,\nabla_w L_S(w)\big|_{w+\hat\epsilon}

Le second terme pourrait se calculer par un produit hessienne-vecteur, mais les auteurs le laissent tomber pour économiser du calcul ; le gradient final est

∇wLSSAM(w)≈∇wLS(w)∣w+ϵ^(w)\nabla_w L_S^{SAM}(w) \approx \nabla_w L_S(w)\big|_{w+\hat\epsilon(w)}

On va chercher le gradient au point perturbé w+ϵ^w+\hat\epsilon, puis on s'en sert pour mettre à jour le ww d'origine.

Abandonner le terme du second ordre est une approximation, et les auteurs la comparent en annexe. Pendant la première moitié de l'entraînement, les directions de mise à jour avec et sans ce terme sont presque identiques, avec une similarité cosinus proche de 1 ; elles ne se séparent qu'à l'approche de la convergence, et la version sans terme du second ordre a même une erreur de test plus basse, ce que les auteurs reconnaissent être « quite unclear ». Ils ont aussi essayé plusieurs pas d'ascension de gradient projetée dans la boucle interne, pour trouver plus précisément le pire point ; sur CIFAR-10, l'erreur de test vaut 2.77 %, 2.76 %, 2.73 % et 2.77 % pour 1, 2, 3 et 5 pas, à peu près pareil ; sur CIFAR-100, plusieurs pas font un peu mieux (16.72 % contre environ 16.6 %).

Deux gradients

Figure 2 de l'article : une mise à jour SAM sur les courbes de niveau de la perte. Depuis w_t, on avance de ρ/‖∇L(w_t)‖₂ · ∇L(w_t) dans la direction du gradient (flèche orange vers le bas à gauche) jusqu'à w_adv ; le gradient est calculé en w_adv, et la flèche bleue −η∇L(w_adv), translatée pour partir de w_t, donne w_{t+1}^SAM. Le pas de gradient ordinaire −η∇L(w_t), pour comparaison, mène à w_{t+1}.
Figure 2 de l'article de Foret et al., extraite de la page 4 du PDF, licence arXiv, citation académique.

Suivons la figure. Depuis wtw_t, SGD ordinaire suivrait −η∇L(wt)-\eta\nabla L(w_t) jusqu'à wt+1w_{t+1}, en haut à droite. SAM part d'abord dans l'autre sens, remonte un peu la pente le long du gradient et arrive en wadvw_{adv}, estimation au premier ordre du point de perte maximale dans le rayon ρ\rho. Le gradient calculé en wadvw_{adv} donne la flèche bleue −η∇L(wadv)-\eta\nabla L(w_{adv}) ; c'est en reportant cette flèche à partir de wtw_t qu'on obtient le wt+1SAMw_{t+1}^{SAM} de SAM. Les deux points d'arrivée sont dans des directions différentes ; SAM suit une direction qui « fait baisser la perte même dans le pire des cas ».

Chaque étape demande donc deux passes avant et deux rétropropagations, soit deux fois le calcul habituel. En PyTorch, avec un SGD ordinaire comme optimiseur de base :

python
import torch

def sam_step(model, loss_fn, x, y, base_opt, rho=0.05):
    """Une mise à jour SAM (p = 2) : aller d'abord au pire point du voisinage, puis mettre à jour les poids d'origine avec le gradient pris là-bas"""
    params = [p for p in model.parameters() if p.requires_grad]

    loss_fn(model(x), y).backward()                    # 1re rétropropagation : ∇L(w)
    with torch.no_grad():
        norm = torch.norm(torch.stack([p.grad.norm() for p in params]))
        eps = [rho * p.grad / (norm + 1e-12) for p in params]   # ε̂ = ρ ∇L / ‖∇L‖₂
        for p, e in zip(params, eps):
            p.add_(e)                                  # w → w + ε̂
    base_opt.zero_grad()

    loss_fn(model(x), y).backward()                    # 2e rétropropagation : ∇L(w + ε̂)
    with torch.no_grad():
        for p, e in zip(params, eps):
            p.sub_(e)                                  # retour à w
    base_opt.step()                                    # w ← w − η ∇L(w + ε̂)
    base_opt.zero_grad()

Ici, la norme est calculée en concaténant les gradients de tous les paramètres en un seul vecteur, et tout le modèle partage un même ρ\rho.

Choisir ρ\rho

ρ\rho est le seul hyperparamètre ajouté par SAM. Les auteurs le choisissent dans {0.01,0.02,0.05,0.1,0.2,0.5}\{0.01, 0.02, 0.05, 0.1, 0.2, 0.5\} en réservant 10 % des données d'entraînement comme ensemble de validation ; sur CIFAR, les valeurs retenues vont de 0.02 à 0.2. Ils disent aussi que ρ=0.05\rho=0.05 est un « solid default ». En annexe, toutes les expériences CIFAR et d'affinage sont relancées avec 0.05, et les résultats sont le plus souvent identiques ou à peine différents de ceux obtenus avec ρ\rho réglé, tout en battant toujours la référence sans SAM. Toutes les expériences ImageNet utilisent 0.05.

Attention, ρ\rho est une distance absolue dans l'espace des paramètres. Le même 0.05 est une petite perturbation pour des poids de grande valeur, et une grande perturbation pour des poids de petite valeur. Ce point reviendra plus loin.

Discussion

Conditions de comparaison

Chaque expérience remplace directement la procédure d'entraînement d'origine par SAM. Comme SAM calcule deux gradients par étape, les auteurs font tourner la référence sans SAM sur deux fois plus d'époques, et retiennent le meilleur résultat entre la durée standard et la durée doublée ; selon eux, l'allongement n'aide pas nettement dans la plupart des cas. Chaque configuration est lancée 5 fois, avec la moyenne et l'intervalle de confiance à 95 %. L'implémentation est en JAX ; sur plusieurs accélérateurs, chacun calcule son ϵ^\hat\epsilon et son gradient SAM sur son propre sous-lot, avant que tout soit moyenné. Ce détail deviendra très important plus loin.

CIFAR

Sur CIFAR, les modèles sont des WideResNet, Shake-Shake et PyramidNet déjà très bien réglés, qui embarquent toutes sortes de régularisations. Voici quelques lignes :

Modèle et augmentationCIFAR-10CIFAR-100
WRN-28-10, 200 ep, basique2.7 / 3.516.5 / 18.8
WRN-28-10, 1800 ep, AA1.6 / 2.212.8 / 16.1
PyramidNet, basique2.7 / 4.014.6 / 19.7
PyramidNet+ShakeDrop, AA1.4 / 1.610.3 / 10.6

D'après la Table 1 de l'article ; chaque case donne le taux d'erreur de test « SAM / SGD » (%), et AA désigne AutoAugment.

Avec SAM, un simple WideResNet fait passer l'erreur sur CIFAR-10 de 2.2 % à 1.6 %, un niveau qu'il fallait jusque-là atteindre avec des combinaisons complexes comme PyramidNet plus ShakeDrop. Sur PyramidNet+ShakeDrop, déjà fortement régularisé, le gain est bien plus faible, de 10.6 % à 10.3 % sur CIFAR-100, mais c'est aussi le meilleur résultat de l'époque sans données supplémentaires.

ImageNet

ResNet-50, 101 et 152, lots de 4096, SGD avec momentum, planification en cosinus, label smoothing, ρ=0.05\rho=0.05, jusqu'à 400 époques d'entraînement.

Modèle100 ep200 ep400 ep
ResNet-5022.5 / 22.921.4 / 22.320.9 / 22.3
ResNet-10120.2 / 21.219.4 / 20.919.0 / 22.3
ResNet-15219.2 / 20.418.5 / 20.318.4 / 20.9

D'après la Table 2 de l'article ; chaque case donne le taux d'erreur top-1 « SAM / entraînement standard » (%).

Lisons ce tableau dans le sens des lignes. Entre 200 et 400 époques, l'entraînement standard régresse au lieu de progresser, ResNet-101 passant de 20.9 % à 22.3 %, un cas typique de surapprentissage ; SAM, lui, s'améliore tout du long. Alignons ensuite les budgets de calcul. 200 époques de SAM coûtent à peu près autant que 400 époques d'entraînement standard ; ResNet-50 donne alors 21.4 % contre 22.3 %, ResNet-152 18.5 % contre 20.9 %, et SAM gagne encore. Pour 100 contre 200 époques, SAM sur ResNet-50 obtient 22.5 %, un peu moins bien que les 22.3 % de l'entraînement standard.

Affinage

L'affinage part des checkpoints publics d'EfficientNet ; EfficientNet-L2 a déjà été entraîné avec NoisyStudent sur ImageNet et JFT jusqu'à 88.2 %. Avec un affinage par SAM, l'erreur top-1 sur ImageNet passe de 11.8 % à 11.39 %, celle de CIFAR-100 de 4.07 % à 3.92 %, et celle de Stanford Cars de 4.93 % à 4.04 % ; ImageNet et CIFAR-100 battent ainsi les records de l'époque. Les statistiques de BN sont gelées pendant l'affinage, et l'entraînement sur ImageNet ne dure que 10 époques.

Étiquettes bruitées

Puisque SAM cherche des paramètres « insensibles aux perturbations alentour », les auteurs supposent qu'il résiste aussi mieux au bruit des données d'entraînement. L'expérience mélange aléatoirement une partie des étiquettes du jeu d'entraînement de CIFAR-10, garde le jeu de test propre, et entraîne un ResNet-32 pendant 200 époques :

Méthode20 %40 %60 %80 %
SGD84.868.848.226.2
Mixup93.090.083.870.2
SAM95.193.490.577.9
Bootstrap+SAM95.494.291.879.9
MentorMix95.694.291.381.0

D'après la Table 4 de l'article ; les colonnes donnent la proportion de bruit, les valeurs la précision sur le jeu de test propre (%) ; les chiffres de MentorMix viennent de la littérature.

Quand 80 % des étiquettes sont fausses, SGD tombe à 26.2 %, SAM garde 77.9 %. SAM seul bat toutes les méthodes conçues pour les étiquettes bruitées, à l'exception de MentorMix ; en entraînant une première fois, puis en réentraînant avec les prédictions du modèle comme étiquettes (Bootstrap), on arrive à peu près au niveau de MentorMix. Dans cette série, ρ\rho vaut 0.1, mais il faut passer à 0.05 avec 80 % de bruit pour une convergence stable.

m-sharpness : chaque accélérateur perturbe de son côté

Figure 3 de l'article : à gauche, six petits graphiques de la distribution des valeurs propres de la hessienne d'un WideResNet aux époques 1, 50 et 300 ; à convergence, SGD (bleu) a une plus grande valeur propre de 24.2 et un λmax/λ5 de 11.4, contre 1.0 et 2.6 pour SAM (orange). Au centre, l'erreur de test en fonction de ρ, avec cinq courbes pour m = 1, 4, 16, 64 et 256 ; pour m petit, le minimum est plus bas mais se dégrade vite quand ρ grandit, et la courbe m = 256 est la plus plate, avec le minimum le plus haut. À droite, l'information mutuelle entre m-sharpness et écart de généralisation, d'autant plus élevée que m est petit.
Figure 3 de l'article de Foret et al., extraite de la page 8 du PDF, licence arXiv, citation académique.

Nous avons vu que, sur plusieurs accélérateurs, chacun calcule sa propre perturbation. Cela revient à changer l'objectif en « une maximisation séparée pour chaque groupe de mm exemples, puis une somme », où mm est le nombre d'exemples par accélérateur ; les auteurs appellent cette acuité la m-sharpness.

Commençons par le graphique du centre. Bien que l'axe vertical soit marqué en %, les valeurs sont des proportions ; 0.05 correspond à 5 %. Avec ρ=0\rho=0, l'erreur est d'environ 5.3 %. Pour m=1m=1 et m=4m=4, le minimum est d'environ 4.3 %, mais il se dégrade vite dès que ρ\rho dépasse 0.05 ; la courbe violette de m=256m=256 est la plus plate, mais ne descend qu'à environ 4.7 %. Les petits mm marchent mieux, ce qui tombe bien pour le parallélisme sur plusieurs accélérateurs. Le graphique de droite montre que, plus mm est petit, mieux la m-sharpness prédit l'écart de généralisation réel. Les auteurs en déduisent que la m-sharpness pourrait mieux décrire la généralisation que l'acuité mesurée sur tout le jeu d'entraînement.

Les six petits graphiques de gauche confirment que SAM s'arrête bien dans une région de plus faible courbure. Il s'agit d'un WideResNet-40-10 sans BN, dont la distribution des valeurs propres de la hessienne est estimée par la méthode de Lanczos ; en fin d'entraînement, la plus grande valeur propre est d'environ 24 pour SGD et d'environ 1.0 pour SAM, et λmax/λ5\lambda_{max}/\lambda_5, qui décrit la forme globale de la distribution, passe de 11.4 à 2.6.

Cette section a une conséquence pratique. Dans le DistributedDataParallel de PyTorch, backward() moyenne automatiquement les gradients de tous les GPU ; si la première rétropropagation est synchronisée comme d'habitude, ϵ^\hat\epsilon est calculé sur le lot entier, et mm grandit d'un coup. davda54/sam recommande de placer la première rétropropagation dans model.no_sync(), pour que chaque GPU garde sa propre perturbation.

Ce qu'on a compris de SAM ensuite

L'acuité elle-même pose problème

Trois ans avant SAM, Dinh et al. avaient déjà montré que la notion de « platitude » tient mal debout pour les réseaux profonds. ReLU vérifie ϕ(αz)=αϕ(z)\phi(\alpha z)=\alpha\phi(z) ; si l'on multiplie les poids d'une couche par α\alpha et qu'on divise ceux de la suivante par α\alpha, le réseau calcule exactement la même fonction, mais la forme du paysage de perte dans l'espace des paramètres est étirée. Ils le démontrent d'abord sur un réseau à une couche cachée, puis le généralisent à plusieurs couches. Pour tout minimum dont la hessienne est non nulle, on peut trouver des paramètres qui calculent la même fonction avec une norme spectrale de la hessienne arbitrairement grande. Même fonction, donc même généralisation, mais une acuité réglable à volonté ; l'acuité mesurée dans les coordonnées brutes des paramètres ne peut donc pas expliquer à elle seule la généralisation.

Le ρ\rho de SAM a le même défaut, puisque c'est une distance absolue dans l'espace des paramètres. ASAM (Kwon et al., 2021) met l'étendue de la perturbation à l'échelle de la taille des poids, avec la contrainte ∥Tw−1ϵ∥p≤ρ\|T_w^{-1}\epsilon\|_p\le\rho, où Tw=diag(∣w1∣,…,∣wk∣)T_w=\mathrm{diag}(|w_1|,\dots,|w_k|) ; cette « adaptive sharpness » est invariante par la remise à l'échelle décrite plus haut. Pour p=2p=2, la perturbation devient ϵ=ρ Tw2∇L/∥Tw∇L∥2\epsilon=\rho\,T_w^2\nabla L/\|T_w\nabla L\|_2, plus grande sur les coordonnées dont les poids sont plus grands ; ρ\rho doit donc être environ 10 fois plus grand (0.5 sur CIFAR-10, 1.0 sur CIFAR-100). Sur ImageNet, la précision top-1 de ResNet-50 est de 75.79 % avec SGD, 76.39 % avec SAM et 76.63 % avec ASAM.

Les bornes de généralisation n'expliquent pas SAM

Andriushchenko et Flammarion (2022) réexaminent les fondements théoriques de SAM. La borne de généralisation conduit à une version qui maximise sur tout le jeu d'entraînement, qu'ils appellent n-SAM ; ce que l'article utilise en pratique, c'est m-SAM, avec une perturbation par lot. Dans leurs mesures sur CIFAR, une perturbation aléatoire ne sert presque à rien, n-SAM non plus, et seules les versions à petit mm (par exemple 128-SAM) améliorent nettement la généralisation. Si la borne de généralisation était la cause, n-SAM devrait être la meilleure ; c'est exactement l'inverse. Ils concluent que les bornes de généralisation existantes n'expliquent pas SAM, et qu'être « plus plat » au sens de la m-sharpness n'apporte pas forcément une meilleure généralisation.

Ils proposent aussi quelques observations utiles. Sur des réseaux linéaires diagonaux, le biais implicite de 1-SAM favorise des solutions plus parcimonieuses, plus fortement que n-SAM et que l'entraînement ordinaire ; sur CIFAR, passer de l'entraînement ordinaire à SAM seulement pour les derniers 10 % environ des époques améliore déjà nettement la généralisation, si bien qu'on peut utiliser SAM pour affiner un modèle existant.

En 2023, Andriushchenko et al. élargissent l'étude aux Transformers sur ImageNet, à l'affinage de CLIP et à BERT. L'acuité (adaptive sharpness comprise) y est mal corrélée à la généralisation, et l'est plutôt à des réglages d'entraînement comme le taux d'apprentissage ; dans plusieurs cas, plus le minimum est pointu, meilleures sont les performances sur des données hors distribution.

Très utilisé

La théorie a beau faire débat, SAM est largement utilisé en pratique. Chen et al. (2022) constatent qu'entraîné à partir de zéro sur ImageNet sans préentraînement à grande échelle et avec une simple augmentation de données, ViT converge vers des minima extrêmement pointus ; avec SAM, le top-1 de ViT-B/16 passe de 74.6 % à 79.9 %, celui de MLP-Mixer-B/16 de 66.4 % à 77.4 %. C'est aussi avec SAM que le plus grand modèle NFNet, F6, atteint 86.5 % de précision.

Conclusion

SAM transforme « tout le voisinage doit avoir une perte basse » en un objectif min-max ; une approximation du premier ordre ramène la maximisation interne à « monter de ρ\rho le long du gradient », puis le gradient pris en ce point sert à mettre à jour les poids d'origine. Cela coûte deux rétropropagations par étape. Sur CIFAR, ImageNet, l'affinage et les étiquettes bruitées, il l'emporte presque partout ; et dans les comparaisons sur CIFAR, la référence avait même droit à deux fois plus d'époques.

En pratique, ρ=0.05\rho=0.05 est un bon point de départ, et il faut prévoir un budget double ; avec BN, pensez à ne pas mettre à jour les statistiques lors de la seconde passe avant, et sur plusieurs GPU, ne synchronisez pas la première rétropropagation, pour que chaque GPU perturbe de son côté. Si le budget est serré, on peut n'activer SAM qu'en fin d'entraînement, ou pendant l'affinage.

Quant à l'adage « il faut être plat pour généraliser », des articles le contestaient encore en 2023 ; SAM, lui, n'a jamais cessé d'être utilisé.