Squeeze-and-Excitation Networks
- Publication
- CVPR 2018Conférence
- Premier dépôt sur arXiv
- arXiv:1709.01507
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{lightweightsenet2017,
title = {{Squeeze-and-Excitation Networks}},
author = {Jie Hu and Li Shen and Samuel Albanie and Gang Sun and Enhua Wu},
year = {2017},
eprint = {1709.01507},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1709.01507}
}
À cette époque, tout le monde se précipitait pour améliorer son classement sur ImageNet, et les architectures se multipliaient.
SENet cherchait à mieux exploiter les relations globales entre les canaux d'un réseau pour améliorer ses résultats.
Définir le problème
Les travaux sur VGG et ResNet avaient montré qu'augmenter la profondeur et employer des connexions résiduelles pouvait aider le réseau à apprendre de meilleures caractéristiques.
Les convolutions groupées, puis les architectures Inception à plusieurs branches, avaient exploré une autre voie pour améliorer les performances.
Ces travaux reflétaient une hypothèse :
- Les relations entre canaux peuvent être exprimées par une composition de fonctions à champ réceptif local, indépendantes de l'exemple traité.
C'est précisément cette vision que les auteurs interrogent :
- Pourquoi ne considérer qu'un champ réceptif local, et non l'information globale ?
Résoudre le problème
Les auteurs veulent introduire de l'information globale dans les relations entre canaux sans ajouter trop de calcul ni de paramètres.
Ils proposent pour cela un bloc Squeeze-and-Excitation, ou SE, qui exploite cette information à coût modéré.
Architecture du modèle
Voici encore une architecture qu'il est plus facile de comprendre par le code que par l'article.
Commençons donc par l'implémenter :
import torch
import torch.nn as nn
class SEBlock(nn.Module):
def __init__(self, in_channels, reduction_ratio=16):
super(SEBlock, self).__init__()
self.squeeze = nn.AdaptiveAvgPool2d(1)
self.excitation = nn.Sequential(
nn.Conv2d(in_channels, in_channels // reduction_ratio, kernel_size=1, stride=1, padding=0, bias=False),
nn.ReLU(),
nn.Conv2d(in_channels // reduction_ratio, in_channels, kernel_size=1, stride=1, padding=0, bias=False),
nn.Sigmoid()
)
def forward(self, x: torch.Tensor) -> torch.Tensor:
# x: (B, C, H, W)
# (B, C, H, W) -> (B, C, 1, 1)
out = self.squeeze(x)
# (B, C, 1, 1) -> (B, C//16, 1, 1) -> (B, C, 1, 1)
out = self.excitation(out)
# (B, C, H, W) * (B, C, 1, 1) -> (B, C, H, W)
return x * out
Ce code ne montre que le bloc SE ; dans SE-ResNet, il agit sur la branche résiduelle avant l'addition avec le raccourci.
Vous voyez ? Le code est beaucoup plus simple que la lecture de l'article !
Dans SENet, l'information globale est introduite par un global average pooling.
On moyenne les valeurs spatiales de chaque canal, puis deux couches entièrement connectées avec ReLU et Sigmoid produisent un poids pour chacun des canaux.
Cette information résumée est certes limitée, mais les expériences montrent que ce choix améliore les résultats du réseau.
Après le code, revenons au schéma des auteurs :
Dans SENet, les étapes sont les suivantes :
- Global Pooling : résumer l'information globale.
- FC : réduire la dimension.
- ReLU : introduire une non-linéarité.
- FC : rétablir la dimension.
- Sigmoid : obtenir le poids de chaque canal.
Les auteurs choisissent Sigmoid parce qu'ils ne veulent pas que les canaux soient en compétition : leurs contributions doivent pouvoir se combiner.
Chaque canal obtient ainsi son propre poids continu, sans contrainte de compétition comme avec softmax.
Discussion
Résultats en classification d'images
Le bloc SE peut être inséré dans de nombreux réseaux sans accroître beaucoup le coût du calcul.
Prenons ResNet-50 et SE-ResNet-50 :
Sur une image de 224 × 224 pixels, une propagation avant de ResNet-50 demande environ 3,86 GFLOP.
Chaque bloc SE applique un global average pooling lors de la compression et deux petites couches FC lors de l'excitation. Avec un taux de réduction de 16, SE-ResNet-50 demande environ 3,87 GFLOP, soit 0,26 % de plus en valeur relative.
Le nombre de paramètres augmente d'environ 10 %. Cette valeur figure dans le texte de l'article, pas dans le tableau.
Ce petit surcoût permet à ResNet-50 de se rapprocher des résultats de ResNet-101 : dans la même série de références réentraînées, l'erreur top-5 est de 6,62 % pour SE-ResNet-50 contre 6,52 % pour ResNet-101, avec environ deux fois moins de calcul pour le premier.
Résultats sur les modèles légers
L'ajout de SE à MobileNet donne lui aussi de bons résultats. Face à la réimplémentation de MobileNet utilisée dans l'article, l'erreur top-1 sur ImageNet passe de 28,4 % à 25,3 %, soit 3,1 points de pourcentage de moins.
Pour ShuffleNet, l'erreur top-1 passe de 32,6 % à 31,0 % face à la référence réimplémentée, soit 1,6 point de pourcentage de moins.
L'importance de Squeeze
Dans l'ablation NoSqueeze, les auteurs retirent le global average pooling et le remplacent par une convolution 1 × 1. Le bloc reste utile, mais n'obtient plus directement de résumé global.
L'effet est moins spectaculaire : par rapport aux 23,30 % d'erreur top-1 de ResNet-50, Squeeze atteint 22,28 %, soit 1,02 point de moins ; NoSqueeze atteint 22,93 %, soit 0,37 point de moins. Les deux variantes ont 28,1 millions de paramètres, mais NoSqueeze demande davantage de calcul.
L'importance d'Excitation
Les auteurs examinent la distribution des activations de différentes classes — poisson rouge, carlin, avion et falaise — à plusieurs profondeurs du réseau. Ils en tirent quelques observations :
- Dans les premières couches, les distributions se ressemblent d'une classe à l'autre ; plus profondément, les activations deviennent plus propres à chaque classe.
- Dans des couches profondes comme SE_4_6 et SE_5_1, certains canaux montrent une nette préférence pour une classe, ce qui suggère un rôle discriminant des blocs SE à ces niveaux.
- Dans SE_5_2, de nombreuses activations se rapprochent de 1. Il faudrait que tous les poids vaillent 1 pour que le bloc SE soit une opération identité ; quelques canaux restent différents sur la figure.
- En fin de réseau, le rôle des blocs SE diminue : en retirer certains ne coûte qu'une faible part des performances, mais réduit sensiblement le nombre de paramètres.
Le rôle du bloc SE varie donc selon la profondeur du réseau. Ces observations aident à comprendre et à améliorer l'extraction des caractéristiques.
Autres résultats expérimentaux
Les auteurs ont aussi fait des ablations sur plusieurs composants du modèle :
- Dans SE-ResNet-50,
Sigmoiddonne le meilleur résultat pour la fonction d'excitation, suivi deTanh, puis deReLU. - Pour l'étape Squeeze du même modèle,
AvgPoolfait légèrement mieux queMaxPool. - Un Reduction Ratio de 16 dans le bloc SE offre un bon compromis entre exactitude et nombre de paramètres ; dans la Table 10, réduire davantage ce taux n'améliore pas les résultats de manière monotone.
Je vous invite à consulter les tableaux détaillés de l'article : nous trouvons cette partie surtout liée aux choix d'ingénierie, et nous n'allons pas énumérer chaque résultat.
Conclusion
En ajoutant des blocs SE, SENet améliore l'apprentissage et la généralisation du réseau dans les expériences rapportées.
Son apport est d'intégrer simplement un mécanisme d'attention par canal dans un réseau convolutif, afin de mieux mettre en valeur les caractéristiques utiles.
Ses résultats montrent qu'une meilleure représentation interne peut améliorer sensiblement les performances d'un réseau profond.