{"notes":[{"id":"normalization/batchnorm","category":"normalization","legacyPath":"normalization/1502-batchnorm","legacySlug":"1502-batchnorm","legacyPaths":[],"title":"BatchNorm","subtitle":"Normalisation par lots","author":"Z. Yuan","paperDate":"2015-02-11","publishedOn":"2024-08-01","paperTitle":"Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift","paperUrl":"https://arxiv.org/abs/1502.03167","bibliography":{"title":"Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift","authors":["Sergey Ioffe","Christian Szegedy"],"url":"https://arxiv.org/abs/1502.03167","pdfUrl":"https://arxiv.org/pdf/1502.03167","codeUrl":null,"preprint":{"id":"1502.03167","submittedOn":"2015-02-11","url":"https://arxiv.org/abs/1502.03167"},"publication":{"venue":"ICML","year":2015,"kind":"conference","url":"https://proceedings.mlr.press/v37/ioffe15.html"},"citation":"@misc{normalizationbatchnorm2015,\n  title = {{Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift}},\n  author = {Sergey Ioffe and Christian Szegedy},\n  year = {2015},\n  eprint = {1502.03167},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1502.03167}\n}\n","citationPath":"/content/papers/citations/normalization/batchnorm.bfa8abb33f32.bib"},"thumbnail":{"src":"/content/papers/assets/48b236d4b897164b93764eccfe22db29e5b9bce290d864336b8f12ec127c1e4b.jpg","width":1016,"height":824},"locale":"fr","path":"/content/papers/fr/normalization/batchnorm.0faad80bd1c0.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"augmenter-le-taux-dapprentissage","text":"Augmenter le taux d'apprentissage","depth":3},{"id":"peut-on-retirer-dropout-","text":"Peut-on retirer Dropout ?","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"expérience-sur-mnist","text":"Expérience sur MNIST","depth":3},{"id":"expérience-sur-imagenet","text":"Expérience sur ImageNet","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"normalization/layernorm","relation":"next","topic":"Choisir les axes de normalisation"}]},{"id":"normalization/layernorm","category":"normalization","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"LayerNorm","subtitle":"Changer l’axe du calcul","author":"Z. Yuan","paperDate":"2016-07-21","publishedOn":"2025-02-08","paperTitle":"Layer Normalization","paperUrl":"https://arxiv.org/abs/1607.06450","bibliography":{"title":"Layer Normalization","authors":["Jimmy Lei Ba","Jamie Ryan Kiros","Geoffrey E. Hinton"],"url":"https://arxiv.org/abs/1607.06450","pdfUrl":"https://arxiv.org/pdf/1607.06450v1","codeUrl":"https://github.com/ryankiros/layer-norm","preprint":{"id":"1607.06450","submittedOn":"2016-07-21","url":"https://arxiv.org/abs/1607.06450"},"publication":null,"citation":"@misc{normalizationlayernorm2016,\n  title = {{Layer Normalization}},\n  author = {Jimmy Lei Ba and Jamie Ryan Kiros and Geoffrey E. Hinton},\n  year = {2016},\n  eprint = {1607.06450},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1607.06450}\n}\n","citationPath":"/content/papers/citations/normalization/layernorm.ad656f4b892f.bib"},"thumbnail":{"src":"/content/papers/assets/6071a1dfaed86ed9aa6c64eb8a8585277c16a70a65d1cdd32b9157be5a99c1da.png","width":1500,"height":625},"locale":"fr","path":"/content/papers/fr/normalization/layernorm.f66078df95b6.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"calculer-la-première-ligne","text":"Calculer la première ligne","depth":3},{"id":"écrivons-du-code-","text":"Écrivons du code !","depth":3},{"id":"enlever-léchelle--que-reste-t-il-","text":"Enlever l’échelle : que reste-t-il ?","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"qui-subit-la-réduction-de-la-taille-du-lot-","text":"Qui subit la réduction de la taille du lot ?","depth":3},{"id":"les-rnn-ont-déjà-batchnorm-layernorm-aide-t-il-encore-","text":"Les RNN ont déjà BatchNorm. LayerNorm aide-t-il encore ?","depth":3},{"id":"un-entraînement-plus-rapide-préserve-t-il-la-recherche-","text":"Un entraînement plus rapide préserve-t-il la recherche ?","depth":3},{"id":"et-les-réseaux-convolutionnels-","text":"Et les réseaux convolutionnels ?","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"normalization/batchnorm","relation":"background","topic":"Choisir les axes de normalisation"}]}],"text":"Le deep learning a déjà beaucoup progressé en vision, en parole et dans d'autres domaines. La descente de gradient stochastique (SGD), ainsi que ses variantes comme Momentum et Adagrad, s'est révélée très utile pour entraîner des réseaux profonds. Ces algorithmes ajustent les paramètres afin de réduire la perte, en traitant les données par petits lots successifs.\n\nAvec SGD, nous ne mettons généralement pas les paramètres à jour à partir d'un seul exemple, mais d'un petit lot (*mini-batch*). Le gradient de la perte du lot estime assez bien celui de tout l'ensemble d'entraînement, et cette estimation s'améliore avec la taille du lot. En outre, les plateformes modernes traitent un lot en parallèle plus efficacement qu'une suite d'exemples isolés.\n\nSGD demande pourtant un réglage précis du taux d'apprentissage et d'autres hyperparamètres. Dans un réseau profond, de petites variations peuvent s'amplifier pendant l'entraînement et conduire au **décalage de covariables (Covariate Shift)**.\n\n\n> [!TIP]\n> \n> Autrement dit, « la couche actuelle » doit sans cesse s'adapter aux changements de distribution de ses entrées provoqués par les paramètres des « couches précédentes ».\n> \n> Prenons un exemple :\n> \n> Considérons une couche sigmoid $g(x) = \\frac{1}{1+\\exp(-x)}$ :\n> \n> $$z = g(Wu + b)$$\n> \n> $u$ est l'entrée, tandis que la matrice de poids $W$ et le biais $b$ sont appris.\n> \n> Quand $|x|$ augmente, $g'(x)$ tend vers zéro. Sauf pour les dimensions où $x = Wu + b$ reste de faible amplitude, le gradient disparaît en remontant vers $u$ et l'entraînement ralentit. Mais $x$ dépend de $W$, de $b$ et des paramètres de toutes les couches précédentes ; leurs changements peuvent pousser plusieurs dimensions de $x$ dans la zone de saturation et freiner la convergence.\n\n\n## Définition du problème\n\nLes auteurs définissent le décalage interne de covariables comme :\n\n- **Le changement de distribution des activations du réseau causé par les changements de ses paramètres pendant l'entraînement.**\n\nPour améliorer l'entraînement, nous voudrions réduire ce décalage. Stabiliser la distribution de l'entrée $x$ d'une couche devrait accélérer l'apprentissage.\n\nDes travaux antérieurs indiquent qu'un réseau converge plus vite si ses entrées sont blanchies, c'est-à-dire transformées linéairement pour avoir une moyenne nulle, une variance unité et aucune corrélation. Puisque l'entrée de chaque couche vient de la sortie de la précédente, blanchir chaque entrée semblerait utile.\n\nMais si cette transformation est alternée avec l'optimisation, la descente de gradient peut modifier les paramètres d'une manière qui exige de refaire la normalisation, ce qui annule une partie de l'effet de la mise à jour.\n\nPrenons une couche recevant $u$ et un biais appris $b$. On la normalise en soustrayant la moyenne des activations : $\\hat{x} = x - E[x]$, où $x = u + b$, $X = \\{x_1...N\\}$ rassemble les valeurs d'entraînement de $x$ et $E[x] = \\frac{1}{N} \\sum_{i=1}^N x_i$. Si l'étape de descente de gradient ignore que $E[x]$ dépend de $b$, elle met à jour $b \\leftarrow b + \\Delta b$, avec $\\Delta b \\propto -\\frac{\\partial \\ell}{\\partial \\hat{x}}$.\n\nOr $u + (b + \\Delta b) - E[u + (b + \\Delta b)] = u + b - E[u + b]$. Ainsi, la mise à jour de $b$ puis celle de la normalisation ne changent ni la sortie de la couche ni la perte. Le biais $b$ peut croître indéfiniment pendant que la perte reste inchangée. Si la normalisation met aussi les activations à l'échelle, le problème est encore plus grave.\n\n---\n\nLe défaut de cette méthode est que l'optimisation par gradient n'a pas tenu compte de la normalisation.\n\nLes auteurs veulent donc que le réseau produise toujours des activations ayant la distribution souhaitée, quelle que soit la valeur de ses paramètres. Le gradient de la perte par rapport aux paramètres $\\Theta$ doit ainsi tenir compte de la normalisation et de sa dépendance aux paramètres.\n\nSoit $x$ l'entrée vectorielle d'une couche et $X$ l'ensemble de ces entrées dans les données d'entraînement. La normalisation s'écrit :\n\n$$\n\\hat{x} = \\text{Norm}(x, \\chi)\n$$\n\nElle dépend de l'exemple donné $x$, mais aussi de tous les exemples $\\chi$.\n\nPour rétropropager le gradient, il faut calculer $$\\frac{\\partial \\text{Norm}(x, \\chi)}{\\partial x}$$ et $$\\frac{\\partial \\text{Norm}(x, \\chi)}{\\partial \\chi}$$. Ignorer le second terme conduirait à la divergence décrite plus haut.\n\nDans ce cadre, blanchir les activations exige la matrice de covariance $\\text{Cov}[x] = E_{x \\in X}[xx^T] - E[x]E[x]^T$, son inverse racine carrée, puis la transformation $\\text{Cov}[x]^{-1/2}(x - E[x])$. Il faut également dériver ces opérations pour la rétropropagation.\n\nBlanchir l'entrée entière d'une couche coûte très cher. Les auteurs cherchent donc une autre normalisation, différentiable et sans analyse de toutes les données d'entraînement à chaque mise à jour.\n\n\n> [!TIP]\n> \n> **Blanchiment ou standardisation**\n> \n> - **Standardisation (Standardization)**\n> \n>   Elle transforme des données pour obtenir une moyenne de 0 et un écart type de 1. On parle souvent de normalisation par score Z :\n> \n>   $$\n>   z = \\frac{(x - \\mu)}{\\sigma}\n>   $$\n> \n>   $x$ est la donnée initiale, $\\mu$ sa moyenne et $\\sigma$ son écart type. La distribution des données standardisées aura les propriétés d'une loi normale standard, ce qui facilite la comparaison et le traitement de différentes caractéristiques, notamment pour les méthodes d'optimisation par gradient.\n> \n> - **Blanchiment (Whitening)**\n> \n>   Le blanchiment est un prétraitement plus avancé : il transforme les entrées en nouvelles caractéristiques de même variance, sans corrélation entre elles, avec une matrice de covariance diagonale. Il centre et standardise les données tout en supprimant les corrélations. Il comprend généralement les étapes suivantes :\n> \n>   1. Centrer les données en soustrayant leur moyenne.\n>   2. Calculer la matrice de covariance.\n>   3. Décomposer cette matrice en valeurs et vecteurs propres.\n>   4. Mettre les données à l'échelle avec les valeurs propres et les faire tourner avec les vecteurs propres pour obtenir des caractéristiques indépendantes.\n> \n>   Le blanchiment produit des caractéristiques linéairement indépendantes. Il peut servir, par exemple, à l'analyse en composantes principales (PCA) et à certains réseaux de neurones pour faciliter l'apprentissage et l'interprétation.\n> \n> La standardisation met surtout les données à une échelle commune ; on l'utilise dans de nombreux modèles, notamment les SVM et les réseaux de neurones, sensibles à l'échelle des données. Le blanchiment cherche aussi à rendre les caractéristiques indépendantes pour réduire leur colinéarité, au prix d'une décomposition spectrale et de calculs matriciels plus complexes.\n> \n> En pratique, la standardisation est plus courante, car elle est simple à calculer et souvent suffisante pour entraîner les modèles.\n\n\n## Résolution du problème\n\nBlanchir entièrement l'entrée de chaque couche serait coûteux et pas complètement différentiable ; les auteurs font donc deux simplifications nécessaires.\n\nIls ne blanchissent pas ensemble les caractéristiques de l'entrée et de la sortie d'une couche. Ils normalisent séparément chaque caractéristique scalaire pour lui donner une moyenne nulle et une variance unité. Pour une entrée à $d$ dimensions $x = (x^{(1)}, \\ldots, x^{(d)})$, chaque dimension devient :\n\n$$\n\\hat{x}^{(k)} = \\frac{x^{(k)} - \\mathbb{E}[x^{(k)}]}{\\sqrt{\\mathrm{Var}[x^{(k)}]}}\n$$\n\nL'espérance et la variance sont calculées à partir des données d'entraînement.\n\nNormaliser simplement toutes les entrées d'une couche peut toutefois modifier ce qu'elle peut représenter. Par exemple, normaliser l'entrée d'une fonction sigmoid peut la cantonner à une partie de sa zone non linéaire. Les auteurs insèrent donc une transformation capable de représenter l'identité. Pour chaque activation $x^{(k)}$, ils introduisent deux paramètres $\\gamma^{(k)}$ et $\\beta^{(k)}$ qui redimensionnent et décalent sa valeur normalisée :\n\n$$\ny^{(k)} = \\gamma^{(k)} \\hat{x}^{(k)} + \\beta^{(k)}\n$$\n\nCes paramètres sont appris avec le modèle et restaurent sa capacité de représentation.\n\nEn réglant $\\gamma^{(k)} = \\sqrt{\\mathrm{Var}[x^{(k)}]}$ et $\\beta^{(k)} = \\mathbb{E}[x^{(k)}]$, on peut en principe retrouver l'activation d'origine.\n\nUne normalisation calculée sur tout l'ensemble d'entraînement utiliserait normalement toutes les données, mais ce n'est pas pratique avec une optimisation stochastique.\n\nLa seconde simplification consiste donc à estimer, pour chaque activation, sa moyenne et sa variance sur le petit lot courant. Ces statistiques participent entièrement à la rétropropagation. Pour une couche convolutive, les positions spatiales de chaque canal sont également regroupées sur le lot. On calcule une variance pour chaque dimension, et non une matrice de covariance commune, qui pourrait devenir singulière si le lot est plus petit que le nombre d'activations à blanchir.\n\nConsidérons un lot de taille $m$, noté $B$. Comme chaque activation est normalisée indépendamment, suivons l'activation $x^{(k)}$ et omettons l'indice $k$ pour alléger l'écriture. Ses $m$ valeurs dans le lot sont $B = \\{x_1, \\ldots, x_m\\}$.\n\nNotons les valeurs normalisées $\\hat{x}_1, \\ldots, \\hat{x}_m$, puis leurs transformations affines $y_1, \\ldots, y_m$. Les auteurs appellent ce calcul transformation BatchNorm $BN_{\\gamma, \\beta}$. Dans l'algorithme ci-dessous, $\\epsilon$ est ajouté à la variance du lot pour assurer la stabilité numérique.\n\n\n\n![bn algo](/content/papers/assets/48b236d4b897164b93764eccfe22db29e5b9bce290d864336b8f12ec127c1e4b.jpg)\n\n\n\nDans $y = BN_{\\gamma, \\beta}(x)$, $\\gamma$ et $\\beta$ sont appris. La transformation ne traite pas chaque exemple indépendamment : $BN_{\\gamma, \\beta}(x)$ dépend de l'exemple et des autres membres du même lot. La valeur redimensionnée et décalée $y$ passe ensuite aux couches suivantes.\n\nBatchNorm est différentiable et insère ces activations normalisées dans le réseau. Selon les auteurs, cela permet aux couches d'apprendre avec des distributions d'entrée moins soumises au décalage interne de covariables et accélère l'entraînement. La transformation affine apprise peut en même temps représenter l'identité et préserver la capacité du réseau.\n\n### Augmenter le taux d'apprentissage\n\nDans les réseaux profonds classiques, un taux d'apprentissage trop élevé peut faire exploser ou disparaître les gradients, ou conduire à un mauvais minimum local. BatchNorm aide à résoudre ces difficultés. En normalisant les activations dans tout le réseau, il empêche de petites variations de paramètres de devenir de grandes variations sous-optimales des activations et des gradients, et limite l'entrée dans les zones de saturation des fonctions non linéaires.\n\nBatchNorm rend aussi l'entraînement plus robuste à l'échelle des paramètres. D'ordinaire, un taux élevé peut augmenter cette échelle, puis amplifier les gradients rétropropagés jusqu'à faire diverger le modèle. Avec BatchNorm, la rétropropagation à travers une couche ne dépend pas de l'échelle de ses paramètres.\n\nPour un scalaire $a$ :\n\n$$\n\\mathrm{BN}(W\\mathbf{u}) = \\mathrm{BN}((aW)\\mathbf{u})\n$$\n\nOn peut montrer que :\n\n$$\n\\frac{\\partial \\mathrm{BN}((aW)\\mathbf{u})}{\\partial \\mathbf{u}} = \\frac{\\partial \\mathrm{BN}(W\\mathbf{u})}{\\partial \\mathbf{u}}\n$$\n\n$$\n\\frac{\\partial \\mathrm{BN}((aW)\\mathbf{u})}{\\partial (aW)} = \\frac{1}{a} \\cdot \\frac{\\partial \\mathrm{BN}(W\\mathbf{u})}{\\partial W}\n$$\n\nCette échelle ne change ni la matrice jacobienne de la couche ni la propagation du gradient.\n\nLes auteurs supposent aussi que BatchNorm pourrait rapprocher les valeurs singulières de cette matrice de 1, ce qui aiderait l'entraînement.\n\n\n> [!TIP]\n> \n> Considérons deux couches successives dont les entrées sont normalisées, et la transformation entre leurs vecteurs normalisés : $\\hat{z} = F(\\hat{x})$.\n> \n> Si $\\hat{x}$ et $\\hat{z}$ sont supposés gaussiens et non corrélés, et si $F(\\hat{x}) \\approx J\\hat{x}$ est une approximation linéaire pour les paramètres donnés, $\\hat{x}$ et $\\hat{z}$ ont toutes deux la matrice de covariance identité :\n> \n> $$\n> I = \\mathrm{Cov}[\\hat{z}] = J\\mathrm{Cov}[\\hat{x}]J^T = JJ^T\n> $$\n> \n> Donc $JJ^T = I$ et toutes les valeurs singulières de $J$ valent 1 ; la taille du gradient est alors préservée pendant la rétropropagation.\n> \n> En réalité, la transformation n'est pas linéaire et les valeurs normalisées ne sont pas nécessairement gaussiennes ou indépendantes. Les auteurs espèrent malgré tout que BatchNorm favorise la propagation des gradients ; son effet précis reste à étudier.\n\n\n### Peut-on retirer Dropout ?\n\nAvec BatchNorm, chaque exemple est observé avec les autres membres du lot : le réseau ne produit plus une valeur déterministe pour cet exemple donné. Dans les expériences des auteurs, cet effet favorise la généralisation. Bien que le dropout serve souvent à limiter le surapprentissage, leurs résultats montrent qu'il peut être retiré ou réduit après l'ajout de BatchNorm.\n\n## Discussion\n\n### Expérience sur MNIST\n\n\n\n![mnist](/content/papers/assets/35c003397d465148dd3115a282857806845d10e804c8e34a3e642c608d6c07fd.jpg)\n\n\n\nPour étudier l'effet du décalage interne de covariables sur l'entraînement et la capacité de BatchNorm à le limiter, les auteurs prédisent les classes de chiffres de MNIST.\n\nLe réseau est très simple : il reçoit des images binaires 28x28 et comporte trois couches cachées de 100 activations chacune. Chaque couche calcule $y = g(Wu + b)$, où $g$ est sigmoid et $W$ est initialisé avec de petites valeurs gaussiennes aléatoires.\n\nUne couche entièrement connectée de dix activations, une par classe, suit la dernière couche cachée ; la perte est une entropie croisée. Les auteurs entraînent le réseau pendant 50 000 étapes par lots de 60 exemples et comparent la version qui ajoute BatchNorm à chaque couche cachée.\n\nLa figure montre, au cours de l'entraînement, la proportion de bonnes prédictions sur un jeu de test conservé à part. Le réseau avec BatchNorm obtient une meilleure précision. En (b) et (c), les 15e, 50e et 85e percentiles montrent l'évolution de la distribution d'une entrée sigmoid typique dans la dernière couche cachée. Dans le réseau d'origine, moyenne et variance changent beaucoup au fil du temps, compliquant l'apprentissage des couches suivantes. Avec BatchNorm, cette distribution reste plus stable pendant l'entraînement.\n\n### Expérience sur ImageNet\n\n\n\n![imagenet](/content/papers/assets/18102eb7995579cb2867a67bacd99614bbd8154b1ae42aba273c4bbf1343a624.jpg)\n\n\n\nLes auteurs appliquent ensuite BatchNorm à une nouvelle variante d'Inception entraînée pour classer ImageNet.\n\nIls comparent plusieurs variantes modifiées. Dans chaque cas, BatchNorm est ajouté à l'entrée de chaque fonction non linéaire, sans modifier le reste de l'architecture.\n\nAjouter simplement BatchNorm ne suffit pas à exploiter la méthode. Les auteurs modifient aussi le réseau et son entraînement :\n\n- **Augmenter le taux d'apprentissage** : les modèles avec BatchNorm peuvent apprendre plus vite avec un taux plus élevé, sans effet indésirable dans ces expériences.\n- **Retirer Dropout** : BatchNorm a en partie un effet comparable. Retirer le dropout de la version Inception modifiée accélère l'entraînement sans accroître le surapprentissage ici.\n- **Réduire la régularisation L2 des poids** : la pénalité L2 aide normalement Inception à éviter le surapprentissage ; son poids est réduit d'un facteur cinq avec BatchNorm.\n- **Accélérer la décroissance du taux d'apprentissage** : Inception emploie une décroissance exponentielle. Comme la version avec BatchNorm s'entraîne plus vite, les auteurs accélèrent cette décroissance par un facteur six.\n- **Retirer la normalisation locale des réponses** : utile à Inception et à d'autres réseaux, elle n'est plus nécessaire ici après l'ajout de BatchNorm.\n- **Mélanger plus complètement les exemples** : les auteurs activent le mélange des données dans chaque fragment pour éviter que les mêmes exemples se retrouvent toujours ensemble. La précision de validation augmente ainsi d'environ 1 %, en accord avec l'idée que BatchNorm joue un rôle de régularisation.\n- **Réduire les distorsions photométriques** : le modèle avec BatchNorm s'entraîne plus vite et voit chaque exemple moins de fois. Les auteurs diminuent donc les distorsions pour qu'il voie davantage d'images « réelles ».\n\nLes variantes suivantes sont toutes entraînées sur ILSVRC2012 et évaluées sur sa validation :\n\n- **Inception** : l'architecture de départ, avec un taux d'apprentissage initial de 0,0015.\n- **BN-Baseline** : le même Inception, mais avec BatchNorm avant chaque fonction non linéaire.\n- **BN-x5** : Inception avec BatchNorm et un taux initial multiplié par cinq, à 0,0075. La même hausse sur le modèle Inception d'origine a fait atteindre à ses paramètres les limites de la machine.\n- **BN-x30** : proche de BN-x5, mais avec un taux initial de 0,045, trente fois celui d'Inception.\n- **BN-x5-Sigmoid** : proche de BN-x5, avec la non-linéarité sigmoid $g(t) = \\frac{1}{1+\\exp(-t)}$ au lieu de ReLU. Les auteurs ont aussi essayé d'entraîner l'Inception d'origine avec sigmoid ; sa précision est restée proche du hasard.\n\nLa figure donne la précision de validation selon le nombre d'étapes. Inception atteint 72,2 % après 31 millions d'étapes. Le tableau suivant indique, pour chaque réseau, combien d'étapes il faut pour atteindre cette précision et quelle est sa meilleure précision de validation.\n\n\n\n![imagenet table](/content/papers/assets/d7457b4b27f0871365e027c9cc2a62593c867ebb512fcfb21be1b0a0d9f8367e.jpg)\n\n\n\nAjouter seulement BatchNorm (BN-Baseline) permet d'atteindre la précision d'Inception en moins de la moitié des étapes. BN-x5 en demande quatorze fois moins pour atteindre 72,2 %. Avec un taux encore plus élevé, BN-x30 apprend légèrement moins vite au début, mais atteint une meilleure précision finale : 74,8 % après six millions d'étapes, soit cinq fois moins d'étapes que les 31 millions nécessaires à Inception pour atteindre 72,2 %.\n\nLes auteurs vérifient aussi que la réduction du décalage interne de covariables permet à un réseau profond avec BatchNorm de s'entraîner avec sigmoid : BN-x5-Sigmoid atteint 69,8 % de précision.\n\n\n> [!TIP]\n> \n> Tout le monde sait combien il est difficile d'entraîner un réseau avec sigmoid. Sans BatchNorm, l'Inception à sigmoid n'a jamais dépassé une précision de 1/1000.\n\n\n## Conclusion\n\nBatchNorm normalise les données de chaque lot afin de réduire le décalage interne de covariance. Il stabilise l'apprentissage, permet des taux plus élevés et accélère fortement l'entraînement ; il peut aussi régulariser le réseau et limiter le surapprentissage.\n\nSon effet dépend cependant beaucoup de la taille des lots. Avec de petits lots, les statistiques deviennent moins stables et peuvent parfois créer des problèmes numériques, surtout près de valeurs extrêmes. Cela a aussi été associé à des difficultés de quantification de RepVGG :\n\n- [**[22.12] QARepVGG : redonner sa grandeur à RepVGG**](/blog/papers/reparameterization/qarepvgg)\n\nEnfin, BatchNorm ne se comporte pas de la même façon pendant l'entraînement et à l'inférence, un piège courant pour les ingénieurs. À l'entraînement, il utilise les statistiques du lot courant ; à l'inférence, il emploie généralement des statistiques globales de l'ensemble d'entraînement. Les performances peuvent donc différer entre ces deux étapes.\n\nEn pratique, il faut prendre ces facteurs en compte pour que le modèle s'adapte aux différents contextes.\n","imageSizes":{"/content/papers/assets/48b236d4b897164b93764eccfe22db29e5b9bce290d864336b8f12ec127c1e4b.jpg":{"width":1016,"height":824},"/content/papers/assets/35c003397d465148dd3115a282857806845d10e804c8e34a3e642c608d6c07fd.jpg":{"width":1224,"height":440},"/content/papers/assets/18102eb7995579cb2867a67bacd99614bbd8154b1ae42aba273c4bbf1343a624.jpg":{"width":1116,"height":624},"/content/papers/assets/d7457b4b27f0871365e027c9cc2a62593c867ebb512fcfb21be1b0a0d9f8367e.jpg":{"width":1064,"height":408}}}
