Retour à la bibliothèque
arXiv 2016Normalisation et activationsNotes de lecture

LayerNorm

Changer l’axe du calcul

Article original

Layer Normalization

Auteurs de l’article

Jimmy Lei Ba · Jamie Ryan Kiros · Geoffrey E. Hinton

Publication
Lieu de publication non encore vérifié
Premier dépôt sur arXiv
arXiv:1607.06450
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{normalizationlayernorm2016,
  title = {{Layer Normalization}},
  author = {Jimmy Lei Ba and Jamie Ryan Kiros and Geoffrey E. Hinton},
  year = {2016},
  eprint = {1607.06450},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1607.06450}
}
Sur cette page

La note précédente sur BatchNorm se terminait sur deux questions. Avec de petits lots, l’estimation des statistiques devient très instable ; à l’inférence, il faut passer aux statistiques accumulées pendant l’entraînement.

Peut-on encore normaliser si l’on ne reçoit qu’un seul exemple à la fois ?

Définir le problème

Supposons qu’une couche entièrement connectée produise quatre nombres avant sa fonction d’activation.

En lui donnant deux exemples à la fois, nous obtenons une matrice de forme B×D=2×4B\times D=2\times4. BB est la taille du lot et DD la dimension des caractéristiques de cette couche.

BatchNorm fixe une position de caractéristique et calcule la moyenne et la variance à partir des valeurs des différents exemples à cette position. La sortie d’un exemple dépend donc des autres exemples du même lot. Avec un seul exemple, chaque position ne contient plus qu’une valeur. La variance suivant l’axe du lot est nulle, et cette normalisation ne peut plus préserver les différences d’entrée à cette position.

Passer ensuite à un réseau de neurones récurrent (RNN) ajoute une autre difficulté.

Un RNN actualise son état caché à chaque mot lu, et la distribution des états peut varier selon le pas de temps. Accumuler des statistiques BatchNorm distinctes pour chaque pas oblige à gérer les phrases de longueur variable et les séquences plus longues rencontrées à l’inférence.

Peut-on alors normaliser en utilisant uniquement les données de cet exemple, à ce pas de temps ?

Résoudre le problème

Le fonctionnement de LayerNorm tient en peu de mots :

  • Fixer un exemple et calculer la moyenne et la variance suivant les caractéristiques de cette couche.

Prenons un exemple simple avec les nombres suivants.

ExempleCaractéristique 1Caractéristique 2Caractéristique 3Caractéristique 4
A1234
B101102103104

Avec BatchNorm, le premier groupe est la première colonne, [1,101][1,101], puis la deuxième colonne, [2,102][2,102].

Avec LayerNorm, le premier groupe est la première ligne, [1,2,3,4][1,2,3,4], puis la deuxième ligne, [101,102,103,104][101,102,103,104].

Le tableau reste le même ; le calcul passe de la verticale à l’horizontale.

Plus formellement, notons la matrice ab,ia_{b,i}, où bb désigne l’exemple et ii la caractéristique.

Les statistiques d’entraînement de BatchNorm sont :

μiBN=1B∑b=1Bab,i,viBN=1B∑b=1B(ab,i−μiBN)2.\mu_i^{\mathrm{BN}}=\frac{1}{B}\sum_{b=1}^{B}a_{b,i},\qquad v_i^{\mathrm{BN}}=\frac{1}{B}\sum_{b=1}^{B}(a_{b,i}-\mu_i^{\mathrm{BN}})^2.

LayerNorm utilise à la place :

μbLN=1D∑i=1Dab,i,vbLN=1D∑i=1D(ab,i−μbLN)2.\mu_b^{\mathrm{LN}}=\frac{1}{D}\sum_{i=1}^{D}a_{b,i},\qquad v_b^{\mathrm{LN}}=\frac{1}{D}\sum_{i=1}^{D}(a_{b,i}-\mu_b^{\mathrm{LN}})^2.

L’indice de la moyenne a changé. BatchNorm dispose d’un ensemble de statistiques par caractéristique ; LayerNorm, d’un ensemble par exemple.

Nous normalisons ensuite comme d’habitude et ajoutons une échelle et un décalage appris :

a^b,i=ab,i−μbLNvbLN+ϵ,yb,i=γia^b,i+βi.\hat a_{b,i}=\frac{a_{b,i}-\mu_b^{\mathrm{LN}}}{\sqrt{v_b^{\mathrm{LN}}+\epsilon}},\qquad y_{b,i}=\gamma_i\hat a_{b,i}+\beta_i.

ϵ\epsilon est une petite constante qui empêche le dénominateur d’être nul.

Les équations du texte principal l’omettent, mais l’implémentation publique des auteurs l’inclut. γi\gamma_i et βi\beta_i correspondent respectivement au gain et au biais de l’article. Chaque caractéristique possède sa propre paire de paramètres, partagée entre les exemples d’une même couche. Les statistiques changent selon l’exemple ; les paramètres appris, non.

Calculer la première ligne

La moyenne de l’exemple A est :

μA=1+2+3+44=2.5.\mu_A=\frac{1+2+3+4}{4}=2.5.

En la soustrayant, nous obtenons [−1.5,−0.5,0.5,1.5][-1.5,-0.5,0.5,1.5]. Élevons ces quatre valeurs au carré, additionnons-les, puis divisons par 4 :

vA=2.25+0.25+0.25+2.254=1.25.v_A=\frac{2.25+0.25+0.25+2.25}{4}=1.25.

En ignorant provisoirement ϵ\epsilon, la division par 1.25\sqrt{1.25} donne environ :

a^A=[−1.3416,−0.4472,0.4472,1.3416].\hat a_A=[-1.3416,-0.4472,0.4472,1.3416].

Passons à B. Sa moyenne vaut 102.5. Après soustraction, nous obtenons encore [−1.5,−0.5,0.5,1.5][-1.5,-0.5,0.5,1.5], avec la même variance.

Les deux lignes ont donc le même résultat avec LayerNorm.

Et avec BatchNorm ? La première colonne, [1,101][1,101], a une moyenne de 51 et une variance de 2500. Elle devient [−1,1][-1,1] après normalisation. Les trois autres colonnes suivent le même calcul. En ignorant ϵ\epsilon et avant la transformation affine, A devient [−1,−1,−1,−1][-1,-1,-1,-1] et B devient [1,1,1,1][1,1,1,1].

Cet exemple montre ce que chaque méthode exprime : BatchNorm situe chaque caractéristique par rapport aux exemples du même lot ; LayerNorm situe les caractéristiques d’un exemple par rapport à la moyenne de cet exemple.

Remplacer B par d’autres nombres peut modifier le résultat de BatchNorm pour A. Le calcul de LayerNorm pour A n’utilise jamais B.

Écrivons du code !

Le calcul précédent se traduit directement en PyTorch :

python
import torch

a = torch.tensor([
    [1.0, 2.0, 3.0, 4.0],
    [101.0, 102.0, 103.0, 104.0],
])
eps = 1e-5

mu = a.mean(dim=-1, keepdim=True)                 # [2, 1]
var = a.var(dim=-1, correction=0, keepdim=True)   # [2, 1]
a_hat = (a - mu) / torch.sqrt(var + eps)         # [2, 4]

print(a_hat)
# tensor([[-1.3416, -0.4472,  0.4472,  1.3416],
#         [-1.3416, -0.4472,  0.4472,  1.3416]])

dim=-1 désigne le dernier axe, celui de nos quatre caractéristiques. keepdim=True conserve un axe de longueur 1, pour diffuser la moyenne et la variance de chaque ligne sur ses quatre positions.

Il ne faut pas oublier correction=0, car notre variance utilise le nombre de caractéristiques DD comme dénominateur, et non D−1D-1. Cela correspond à torch.nn.LayerNorm.

Pour un exemple de désaccord entre un calcul manuel et la sortie d’une fonction, vous pouvez consulter notre discussion précédente :

Ajoutons ensuite l’échelle et le décalage. L’initialisation par défaut des auteurs fixe le gain à 1 et le biais à 0 :

python
gamma = torch.ones(4)
beta = torch.zeros(4)
y = gamma * a_hat + beta

À ce stade, yy est le résultat normalisé précédent. Après entraînement, chaque position peut avoir sa propre échelle et son propre décalage.

Nous utilisons enfin le module existant pour vérifier ce calcul :

python
layer_norm = torch.nn.LayerNorm(4, eps=eps)
torch.testing.assert_close(layer_norm(a), y)

Enlever l’échelle : que reste-t-il ?

Nos deux exemples précédents ne différaient que par un décalage commun, éliminé par LayerNorm. En allant plus loin, multiplier toutes les valeurs d’une ligne par un même nombre positif donne aussi le même résultat normalisé.

Posons a′=ca+d1a'=ca+d\mathbf{1}, où c>0c>0, dd est un scalaire et 1\mathbf{1} vaut 1 à chaque position. La moyenne devient cμ+dc\mu+d et la variance c2vc^2v. En ignorant ϵ\epsilon et avec v>0v>0 :

a′−μ′v′=c(a−μ)cv=a−μv.\frac{a'-\mu'}{\sqrt{v'}} =\frac{c(a-\mu)}{c\sqrt v} =\frac{a-\mu}{\sqrt v}.

Autrement dit, translater toute une ligne ou la multiplier par un facteur positif laisse le résultat normalisé inchangé. Modifier une seule caractéristique change généralement la moyenne et la variance de toute la ligne, et donc sa sortie. C’est l’invariance discutée dans la Section 5.1 de l’article.

Le calcul réel inclut bien sûr ϵ\epsilon. Une translation commune reste éliminée, mais l’invariance à un facteur positif ne vaut qu’approximativement, lorsque ϵ\epsilon est suffisamment petit devant les variances avant et après la mise à l’échelle. Un facteur négatif inverse aussi les signes du résultat normalisé.

Ici, on peut facilement se méprendre. Puisque LayerNorm possède γ,β\gamma,\beta, peut-il reconstruire l’entrée initiale ?

Non.

Revenons à A et B. Leurs résultats normalisés sont identiques et ils partagent γ,β\gamma,\beta ; leurs sorties affines restent donc identiques. Des paramètres fixes ne peuvent pas les reconstruire simultanément en deux vecteurs initiaux différents.

LayerNorm change ainsi la représentation de l’information, en plus d’ajuster la plage des valeurs. Le réseau qui suit doit continuer à apprendre à partir de cette nouvelle représentation.

Discussion

Qui subit la réduction de la taille du lot ?

La Figure 6 présente une expérience de classification MNIST. Les auteurs aplatissent chaque image 28×2828\times28 en un vecteur de dimension 784 et l’envoient dans un réseau entièrement connecté 784–1000–1000–10, entraîné avec 55 000 exemples et Adam. « Permutation invariant MNIST » désigne ici une classification directement par réseau entièrement connecté, sans exploiter les relations de voisinage spatial de l’image.

Commençons par lire la figure. Les colonnes gauche et droite correspondent aux tailles de lot 128 et 4. Les lignes supérieure et inférieure montrent la log-vraisemblance négative d’entraînement (NLL) et l’erreur de test, toutes deux à minimiser ; la perte d’entraînement utilise une échelle logarithmique. Dans chaque panneau, les trois courbes représentent LayerNorm en rouge, BatchNorm en vert et la référence sans normalisation en bleu.

Figure 6 originale, extraite de la page 10 du PDF arXiv:1607.06450v1, avec les quatre panneaux, axes et légendes conservés.

Regardons d’abord la gauche, avec un lot de 128. En haut, la courbe rouge descend rapidement après environ 20 epochs, montrant que LayerNorm peut réduire plus vite la perte d’entraînement. Mais le graphique d’erreur de test en bas ne présente pas un écart équivalent : rouge et vert restent assez proches en fin d’entraînement.

Regardons ensuite la colonne de droite. Avec un lot de 4, BatchNorm a une perte d’entraînement nettement plus élevée et une erreur de test qui fluctue davantage. LayerNorm continue à réduire la perte et garde des résultats de test relativement stables. Cela rejoint la propriété évoquée plus haut, selon laquelle LayerNorm ne dépend pas des statistiques des autres exemples du lot, ce qui lui donne un avantage avec de petits lots.

Un détail compte cependant dans l’interprétation. Les auteurs appliquent LayerNorm seulement aux couches cachées entièrement connectées, en excluant la sortie softmax finale. BatchNorm est appliqué à toutes les couches, avec un estimateur de variance non biaisé pour les petits lots.

Ce n’est donc pas une ablation qui remplace uniquement l’axe statistique en conservant toutes les autres conditions. L’axe horizontal en epochs ne permet pas non plus de comparer directement les temps réels d’entraînement.

La figure montre que réduire la taille du lot peut affecter les résultats de BatchNorm, tandis que LayerNorm peut conserver un entraînement relativement stable.

Les RNN ont déjà BatchNorm. LayerNorm aide-t-il encore ?

Après l’architecture entièrement connectée, passons aux RNN. Les auteurs entraînent un attentive reader unidirectionnel sur un jeu d’articles de presse.

La tâche consiste à donner un article et une question au modèle, puis à lui demander de trouver la bonne entité dans l’article pour remplir la case vide de la question. Les noms d’entités sont anonymisés, et la version prétraitée utilisée dans cette expérience limite chaque article à quatre phrases.

La Figure 2 compare quatre configurations d’entraînement. L’axe horizontal indique les pas en milliers ; l’axe vertical indique l’erreur de validation, à minimiser. Les courbes représentent le LSTM d’origine (bleu), BatchNorm dans le LSTM seulement (vert), BatchNorm dans tout le modèle (rouge), et LayerNorm dans le LSTM seulement (cyan).

Figure 2 originale, extraite de la page 7 du PDF arXiv:1607.06450v1. Les courbes BN proviennent des expériences recurrent BatchNorm de Cooijmans et al.

Le LSTM d’origine, en bleu, réduit plus lentement son erreur de validation et demande davantage de mises à jour pour converger progressivement. Le LN-LSTM cyan atteint tôt une erreur basse. Le BN-everywhere rouge montre une baisse rapide similaire, tandis que le BN-LSTM vert a besoin de plus de pas pour les rejoindre.

En fin d’entraînement, les écarts entre les méthodes de normalisation se réduisent, mais LN-LSTM conserve une erreur de validation légèrement inférieure. LayerNorm peut donc améliorer la vitesse de convergence et les résultats finaux dans un RNN, comme dans le réseau entièrement connecté précédent.

Il faut toutefois préciser cette « vitesse ». La Figure 2 compare le nombre de mises à jour nécessaires pour atteindre une erreur de validation, pas le temps réel d’entraînement. Le temps par pas n’est pas donné, et les courbes BN viennent de recherches antérieures. On ne peut donc pas convertir directement la distance horizontale en facteur d’accélération en temps réel.

Les auteurs ne rapportent également que la validation pour cette tâche, sans résultats sur le test.

La figure soutient donc que dans cette expérience d’attentive reader, LayerNorm atteint une erreur de validation plus basse avec moins de mises à jour, et que son résultat final dépasse légèrement les méthodes comparées. Une expérience supplémentaire serait nécessaire pour mesurer le temps réel économisé.

Un entraînement plus rapide préserve-t-il la recherche ?

Les expériences précédentes examinaient surtout le déroulement de l’entraînement. Cette fois, les auteurs testent davantage l’effet de LayerNorm sur les résultats d’une tâche.

L’expérience utilise MSCOCO et projette les images et leurs légendes dans un espace vectoriel commun. Les images utilisent des caractéristiques VGG préentraînées ; les phrases sont encodées par un GRU. Les auteurs prennent leur propre implémentation order-embedding (OE) comme référence et la comparent à une version GRU avec LayerNorm. Les hyperparamètres initiaux et les choix d’architecture restent identiques.

La tâche comporte deux directions. La « recherche de légendes » trouve les phrases correspondantes à partir d’une image ; la « recherche d’images » fait l’inverse, en cherchant la bonne image à partir d’une phrase. R@1 mesure la proportion pour laquelle une bonne réponse arrive en première position ; plus la valeur est élevée, mieux c’est.

Configuration du tableau 2 de l’articleRecherche de légendes R@1Recherche d’images R@1
OE (réexécuté par les auteurs)46.6%37.8%
OE + LN48.5%38.9%

Extrait du Table 2 original. Les résultats sont moyennés sur cinq partitions de test, chacune contenant 1 000 images et 5 000 légendes. Le modèle est sélectionné selon ses résultats de recherche sur la validation.

Avec LayerNorm, le R@1 de recherche de légendes passe de 46.6% à 48.5%, et celui de recherche d’images de 37.8% à 38.9%. Les gains sont respectivement de 1.9 et 1.1 points de pourcentage.

Les gains sont modestes, mais les deux directions s’améliorent : l’entraînement plus rapide n’a pas sacrifié la recherche.

Le temps d’entraînement est plus intéressant encore. Dans la Section 6.1, les auteurs indiquent qu’avec LayerNorm, trouver le meilleur modèle de validation prend environ 60% du temps initial, soit environ 40% de temps en moins.

Cela diffère des expériences précédentes, qui comparaient la convergence uniquement par les pas d’entraînement. Cette fois, le temps réel est directement rapporté, ce qui rend le bénéfice de LayerNorm plus concret.

Cette expérience GRU trouve donc plus vite son meilleur modèle de validation, tout en améliorant légèrement les résultats de recherche sur le test.

Et les réseaux convolutionnels ?

Après les réseaux entièrement connectés et les RNN, terminons avec les CNN.

L’article contient aussi des expériences préliminaires sur des réseaux convolutionnels. LayerNorm converge plus vite que la référence sans normalisation, mais ses résultats globaux restent inférieurs à ceux de BatchNorm.

Pourquoi ?

Les auteurs suggèrent que les positions spatiales d’un réseau convolutionnel peuvent avoir des propriétés statistiques différentes, notamment près des bords de l’image. Normaliser toutes les caractéristiques d’une couche ensemble avec LayerNorm peut négliger ces différences et ne pas convenir à la structure convolutionnelle.

Ce n’est toutefois que l’interprétation des auteurs. Cette section ne donne ni architecture complète, ni jeu de données, ni comparaison quantitative. Nous pouvons donc seulement dire que dans ces expériences préliminaires, LayerNorm ne dépassait pas BatchNorm. Rien ne permet encore de dire si d’autres architectures convolutionnelles obtiendraient le même résultat.

Conclusion

L’influence de LayerNorm dépasse depuis longtemps les RNN privilégiés dans l’article initial.

Le Transformer de 2017 le place après l’addition résiduelle des sous-couches et normalise indépendamment le vecteur de caractéristiques de chaque position. Une méthode proposée pour les petits lots et les séquences de longueur variable s’est ainsi intégrée à une architecture centrée sur l’attention.

Avec le recul, LayerNorm permet à chaque vecteur de se normaliser indépendamment, ce qui est peut-être plus important que l’accélération obtenue dans n’importe quelle expérience de l’article original. Il ne dépend pas des autres exemples du lot et ne demande pas de passer à des statistiques accumulées à l’inférence. Pour les modèles dont les longueurs de séquence et les tailles de lot changent fréquemment, cela réduit fortement les conditions auxquelles la normalisation doit s’adapter et facilite son intégration dans différentes architectures.

Le comportement d’entraînement dépend aussi de l’architecture.

On Layer Normalization in the Transformer Architecture, en 2020, compare Post-LN et Pre-LN. Le premier normalise après l’addition résiduelle ; le second normalise l’entrée avant le calcul de la sous-couche. L’analyse théorique, les expériences de traduction automatique et le préentraînement BERT montrent que l’emplacement de LayerNorm affecte la distribution des gradients à l’initialisation et peut même changer le besoin de warm-up du taux d’apprentissage. Utiliser LayerNorm et choisir où le placer sont deux questions différentes. Le chemin résiduel et l’emplacement de la normalisation peuvent tous deux affecter la stabilité.

Les réseaux convolutionnels offrent un exemple similaire. LayerNorm ne dépassait pas BatchNorm dans les expériences préliminaires de 2016. Mais en 2022, ConvNeXt remplace BatchNorm par LayerNorm avec succès après une série d’ajustements d’architecture et d’entraînement. Le même article indique pourtant qu’un remplacement direct dans le ResNet d’origine dégrade les résultats. Ces deux observations ne se contredisent pas. La normalisation doit être choisie avec l’architecture ; on ne peut pas remplacer un seul module en espérant obtenir le même effet.

LayerNorm peut aussi être simplifié. RMSNorm, en 2019, supprime la soustraction de la moyenne et ajuste l’échelle par la racine de la moyenne des carrés des caractéristiques. Ses auteurs observent des résultats comparables sur plusieurs modèles, tout en réduisant le temps de calcul de leurs implémentations. LLaMA, en 2023, utilise aussi RMSNorm. Ces développements amènent à se demander quelles opérations doivent être conservées et si l’ajustement de l’échelle suffit. Dans certaines architectures au moins, le centrage peut être omis.

Aujourd’hui, LayerNorm est un design mature qui s’emploie dans différentes architectures. Il limite les statistiques à une représentation, ne dépend pas de la taille du lot et utilise le même calcul à l’entraînement et à l’inférence. En contrepartie, chaque passage avant doit toujours calculer les statistiques sur l’entrée courante. La nécessité du centrage, l’emplacement de la normalisation et l’intérêt du coût réel d’exécution restent des choix à ajuster.

Après tout, quelle normalisation pourrait convenir à toutes les situations ?

En fin de compte, il reste à décider quelles valeurs normaliser ensemble et combien de calcul nous sommes prêts à y consacrer.