Retour à la bibliothèque
arXiv 2018UAI 2018Fusion de modèlesNotes de lecture

SWA

Prenez place au milieu

Article original

Averaging Weights Leads to Wider Optima and Better Generalization

Auteurs de l’article

Pavel Izmailov · Dmitrii Podoprikhin · Timur Garipov · Dmitry Vetrov · Andrew Gordon Wilson

Publication
UAI 2018Conférence
Premier dépôt sur arXiv
arXiv:1803.05407
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{modelmergingswa2018,
  title = {{Averaging Weights Leads to Wider Optima and Better Generalization}},
  author = {Pavel Izmailov and Dmitrii Podoprikhin and Timur Garipov and Dmitry Vetrov and Andrew Gordon Wilson},
  year = {2018},
  eprint = {1803.05407},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1803.05407}
}
Sur cette page

Fin février 2018, Garipov, Izmailov et leurs collègues publient leur article sur la connectivité des modes, avec une méthode d'ensemble appelée FGE. En fin d'entraînement, ils passent à des cycles très courts du taux d'apprentissage, sauvegardent les poids à chaque minimum, puis moyennent les sorties des modèles sauvegardés.

FGE fournit un bon ensemble pour le temps d'entraînement d'un seul modèle. Mais à l'inférence, tous les modèles doivent être exécutés.

Deux semaines plus tard, les mêmes auteurs publient cet article. En examinant la position des instantanés FGE dans l'espace des paramètres, ils remarquent qu'ils bordent une bonne région dont le centre reste vide.

Autant moyenner directement les poids pour se placer au milieu.

Définir le problème

Moyenner les poids le long d'une trajectoire SGD est une idée ancienne. En optimisation convexe, Ruppert en 1988, puis Polyak et Juditsky en 1992 ont étudié l'accélération de la convergence par la moyenne des itérés. Pour les réseaux neuronaux, on utilise aussi une moyenne mobile exponentielle (EMA) avec un taux d'apprentissage décroissant. Selon les essais des auteurs, cette EMA donne à peu près le même résultat que SGD après convergence.

Le problème tient au taux d'apprentissage. S'il décroît continuellement, la trajectoire SGD converge vers un point ; la moyenne lisse alors surtout cette trajectoire, pour un résultat proche de celui sans moyenne.

Les auteurs veulent laisser SGD explorer davantage une bonne région avant de calculer sa moyenne. Ils cherchent aussi pourquoi ce point moyen généralise mieux.

Résoudre le problème

L'algorithme

SWA tient en quelques étapes :

  1. Entraîner avec le calendrier habituel, pendant environ 75 % du budget dans l'article.
  2. Poursuivre avec un taux constant, ou un calendrier cyclique décroissant linéairement de α1\alpha_1 à α2\alpha_2.
  3. Toutes les cc itérations, incorporer les poids courants ww à la moyenne. Avec un taux cyclique, cc correspond à un cycle et l'échantillonnage intervient au taux minimal :
wSWA←wSWA⋅nmodels+wnmodels+1w_{\text{SWA}} \leftarrow \frac{w_{\text{SWA}}\cdot n_{\text{models}} + w}{n_{\text{models}} + 1}
  1. Utiliser wSWAw_{\text{SWA}} comme modèle final.

L'étape 3 est une moyenne arithmétique incrémentale. nmodelsn_{\text{models}} compte les points déjà incorporés, en partant de 0. Le premier devient directement la moyenne ; avec le deuxième, chacun compte pour moitié. Au troisième, l'ancienne moyenne est pondérée par 2/32/3 et le nouveau point par 1/31/3 : chacun des trois compte finalement pour 1/31/3. On évite de sauvegarder tous les poids, et tous les points ont le même poids, contrairement à l'EMA qui privilégie les plus récents.

Il faut distinguer les calendriers cycliques. SWA effectue uniquement une descente linéaire dans chaque cycle, puis revient immédiatement à la borne haute :

α(i)=(1−t(i))α1+t(i)α2,t(i)=mod⁡(i−1,c)+1c.\alpha(i)=(1-t(i))\alpha_1+t(i)\alpha_2, \qquad t(i)=\frac{\operatorname{mod}(i-1,c)+1}{c}.

Le triangle de FGE comporte aussi une remontée progressive. SWA l'omet : seule la qualité de la moyenne finale compte, les instantanés intermédiaires peuvent être un peu moins précis. Un taux constant permet des déplacements plus grands et peut dégrader chaque point pris séparément tout en donnant une bonne moyenne.

Sur CIFAR, VGG et WRN utilisent un taux constant de 0.01 pendant SWA. Preactivation ResNet utilise 0.01 sur CIFAR-10 et 0.05 sur CIFAR-100, avec un prélèvement à chaque époque. PyramidNet utilise des cycles de 3 époques, de 0.05 à 0.001. Ces réglages sont associés aux architectures étudiées ; en pratique, le début de la moyenne et le taux doivent être choisis sur ses propres données de validation.

Recalculer BatchNorm

Un détail se laisse facilement oublier. Les moyennes et variances accumulées par BatchNorm pendant l'entraînement correspondent aux différents ww, pas à wSWAw_{\text{SWA}}. Après l'entraînement, les auteurs font une passe avant supplémentaire sur les données d'entraînement avec wSWAw_{\text{SWA}} pour les réestimer.

PyTorch a ensuite intégré moyenne incrémentale et réestimation dans torch.optim.swa_utils. Regardons la différence avec un petit réseau composé d'une couche linéaire et de BatchNorm. Les poids linéaires de deux instantanés valent respectivement une et trois fois la matrice identité :

python
import torch
from torch import nn
from torch.utils.data import DataLoader
from torch.optim.swa_utils import AveragedModel, update_bn

model = nn.Sequential(nn.Linear(2, 2, bias=False), nn.BatchNorm1d(2))
swa_model = AveragedModel(model)
with torch.no_grad():
    for scale in [1.0, 3.0]:
        model[0].weight.copy_(scale * torch.eye(2))
        swa_model.update_parameters(model)

print("平均權重:", swa_model.module[0].weight.tolist())
print("重算前的均值:", swa_model.module[1].running_mean.tolist())
loader = DataLoader(torch.tensor([[1., 2.], [3., 4.]]), batch_size=2)
update_bn(loader, swa_model)
print("重算後的均值:", swa_model.module[1].running_mean.tolist())
text
平均權重: [[2.0, 0.0], [0.0, 2.0]]
重算前的均值: [0.0, 0.0]
重算後的均值: [4.0, 6.0]

La couche linéaire du modèle moyen vaut 2I2I. Les deux entrées deviennent donc [2,4][2,4] et [6,8][6,8] avant BatchNorm, d'où une moyenne attendue de [4,6][4,6]. Moyenner les paramètres apprenables laisse la running mean à [0,0][0,0] ; update_bn l'ajuste aux nouveaux poids. Cet exemple illustre seulement la mise à jour des statistiques, sans entraîner de classificateur.

En entraînement réel, on continue à mettre à jour le modèle d'origine par gradient pendant la phase SWA, et on appelle update_parameters à la fréquence choisie. Une fois la moyenne terminée, on exécute update_bn, puis on passe en eval() pour l'évaluation. Cette réestimation utilise les données d'entraînement, sans étiquettes ni rétropropagation.

Pourquoi la moyenne des poids ressemble à un ensemble

FGE moyenne les sorties, SWA les poids. Quand les deux donnent-ils des résultats proches ? Les auteurs répondent par un développement au premier ordre.

Soient w1,…,wnw_1,\dots,w_n les instantanés FGE, wSWAw_{\text{SWA}} leur moyenne et Δi=wi−wSWA\Delta_i = w_i - w_{\text{SWA}} leurs écarts à cette moyenne. Ainsi, ∑iΔi=0\sum_i \Delta_i = 0. Développons la sortie ff au voisinage de wSWAw_{\text{SWA}} :

f(wi)=f(wSWA)+⟨∇f(wSWA),Δi⟩+O(∥Δi∥2)f(w_i) = f(w_{\text{SWA}}) + \langle \nabla f(w_{\text{SWA}}), \Delta_i \rangle + O(\lVert\Delta_i\rVert^2)

En moyennant sur ii, les termes du premier ordre s'annulent : ⟨∇f,∑iΔi⟩/n=0\langle \nabla f, \sum_i \Delta_i\rangle / n = 0. Il reste un terme du second ordre :

1n∑i=1nf(wi)−f(wSWA)=O(∥Δ∥2)\frac{1}{n}\sum_{i=1}^n f(w_i) - f(w_{\text{SWA}}) = O(\lVert\Delta\rVert^2)

Si les points sont assez proches, l'écart entre la sortie de l'ensemble et celle des poids moyens est donc une petite quantité quadratique. FGE recherche justement ses points par petits déplacements : SWA peut ainsi approcher l'ensemble FGE avec un seul modèle.

Il faut aussi que ff soit suffisamment lisse localement et que le reste du second ordre soit petit. Avec des modèles éloignés, voire issus d'initialisations indépendantes, les Δi\Delta_i deviennent grands et ce développement ne justifie plus la proximité des deux sorties. SWA collecte des points dans la dernière partie d'une même trajectoire d'entraînement.

Les auteurs exécutent 20 époques de FGE sur ResNet-164 et CIFAR-100. La norme moyenne de la différence entre les vecteurs de probabilités de deux instantanés voisins vaut 0.126, contre 0.079 entre SWA et l'ensemble FGE. Les prédictions de classe d'instantanés voisins coïncident au plus à 87.33 %, contre 95.26 % entre SWA et l'ensemble. Ces mesures donnent un pendant expérimental à l'annulation du premier ordre : les sorties sont proches, avec un écart résiduel.

Discussion

SGD reste au bord

Figure 1 de l'article : trois cartes de niveaux, en rouge pour les valeurs faibles et en bleu pour les valeurs élevées. À gauche, sur la carte d'erreur de test, les points FGE W1, W2 et W3 entourent le bord d'une zone rouge, tandis que leur moyenne WSWA occupe le centre. Au centre, l'erreur de test, et à droite, la perte d'entraînement, montrent les points WSGD et WSWA obtenus depuis l'époque 125. WSGD reste au bord de la zone de faible perte, WSWA plus près du centre de faible erreur de test.
Figure 1 de l'article d'Izmailov et al., extraite de la page 2 du PDF.

Cette figure porte sur Preactivation ResNet-164 et CIFAR-100. À gauche, la motivation apparaît directement : les trois points FGE entourent la région rouge et leur moyenne wSWAw_{\text{SWA}} tombe au milieu.

Il faut lire ensemble les panneaux du centre et de droite. Les deux procédures partent des mêmes poids à l'époque 125, puis poursuivent avec SGD ou SWA. Dans la perte d'entraînement à droite, wSGDw_{\text{SGD}} est déjà dans la bonne région, mais à son bord. Dans l'erreur de test au centre, wSWAw_{\text{SWA}} est plus près de la zone d'erreur minimale.

Les paysages de perte d'entraînement et d'erreur de test sont légèrement décalés. Au bord de la bonne région, ce décalage suffit à augmenter l'erreur de test ; au milieu, il reste davantage de marge.

Deux expériences étayent cette interprétation. La première déplace chaque solution dans 10 directions aléatoires. Dans la figure suivante, l'abscisse est la distance parcourue ; à gauche, on mesure l'erreur de test, à droite la perte d'entraînement. Le bleu représente SWA, le vert SGD, et chaque ligne une direction.

Évolution de l'erreur de test et de la perte d'entraînement en s'éloignant des solutions SWA et SGD dans dix directions aléatoires chacune.
Figure 4 de l'article d'Izmailov et al., extraite de la page 6 du PDF.

À distance 0, les pertes d'entraînement sont proches, celle de SGD étant même légèrement inférieure. Mais les courbes SWA sont bien plus larges : il faut aller plus loin pour obtenir la même hausse d'erreur. Cette coupe examine la sensibilité aux déplacements autour de chaque solution.

La seconde expérience examine le segment de wSGDw_{\text{SGD}} à wSWAw_{\text{SWA}}. Perte d'entraînement et erreur de test y sont nettement décalées ; wSGDw_{\text{SGD}} se situe au bord d'une région plate, près d'une pente raide. Les auteurs concluent que SWA et SGD occupent le même bassin, mais que SWA trouve une position plus plate à l'intérieur. Sa perte d'entraînement est souvent un peu supérieure ; au sens strict, ce point n'est pas un minimum local de la perte.

CIFAR et ImageNet

Sur CIFAR, l'entraînement habituel occupe environ 75 % du budget, puis SWA utilise le reste. Sur CIFAR-100 avec Preactivation ResNet-164, SGD atteint 78.49 %, contre 79.77 % pour SWA à budget total identique, presque autant que les 79.84 % de l'ensemble FGE, avec un seul modèle à l'inférence. À 1.5 fois le budget, SWA atteint 80.35 %. VGG-16 passe de 72.55 % à 73.91 %, WRN-28-10 de 80.82 % à 81.46 %. SWA Table 1

Sur ImageNet, les auteurs reprennent directement les modèles préentraînés de torchvision et ajoutent 5 ou 10 époques avec un taux cyclique :

ModèleSGDSWA 5 époquesSWA 10 époques
ResNet-5076.1576.83 ± 0.0176.97 ± 0.05
ResNet-15278.3178.82 ± 0.0178.94 ± 0.07
DenseNet-16177.6578.26 ± 0.0978.44 ± 0.06

Précision top-1 (%), d'après la Table 2 de l'article.

Les trois architectures gagnent de 0.6 à 0.9 point, pour une petite fraction de l'entraînement initial.

Lire séparément budget et platitude

Le budget identique concerne VGG, ResNet et WRN. Pour PyramidNet et Shake-Shake, les auteurs terminent d'abord tout le budget standard, puis ajoutent 0.25 ou 0.5 budget avec SWA : l'article ne donne donc pas de résultat à 1B1B pour ces modèles. Sur CIFAR-100, PyramidNet-272 passe de 83.41 % pour SGD à 84.16 % à 1.5B1.5B. Sur CIFAR-10, Shake-Shake passe de 96.93 % à 97.16 % à 1.25B1.25B, puis à 97.12 % à 1.5B1.5B. Prolonger l'entraînement et la moyenne finit aussi par apporter moins de bénéfices.

Les coûts supplémentaires sont un jeu de poids moyens en mémoire pendant l'entraînement, une mise à jour paramètre par paramètre à chaque prélèvement, puis une passe avant pour réestimer BatchNorm. Au déploiement, seul le modèle moyen reste : le nombre de paramètres et le calcul par inférence reviennent à ceux du modèle initial. Les auteurs mesurent un faible surcoût mémoire en vision, où les activations occupent beaucoup de place ; si les poids dominent la mémoire, il faut évaluer séparément le coût de leur copie.

Revenons à la platitude. L'article mesure 10 directions aléatoires dans une représentation donnée des paramètres, ainsi que la direction particulière de SGD vers SWA. Cette dernière révèle notamment un côté raide et un côté plus plat près de wSGDw_{\text{SGD}}. Un changement d'échelle des paramètres peut modifier la largeur visuelle du paysage ; les auteurs discutent donc aussi les limites d'une explication de la généralisation par la seule platitude. Ces expériences soutiennent l'interprétation géométrique pour les architectures et réglages étudiés ; la précision de validation reste à mesurer directement pour son propre usage.

Conclusion

SWA est simple : maintenir un taux assez élevé en fin d'entraînement, moyenner les poids visités, puis recalculer BatchNorm. L'idée l'est aussi : SGD s'arrête au bord d'une bonne région et la moyenne ramène le modèle vers son centre.

En pratique, l'oubli le plus facile concerne la dernière étape. Si le réseau utilise BatchNorm, pensez à exécuter update_bn après la moyenne pour ajuster les statistiques aux nouveaux poids.

Cette moyenne fera du chemin. Dans le rapport technique de Llama 3 en 2024, c'est la première référence citée pour la moyenne de modèles pendant le post-entraînement.