ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
- Publication
- CVPR 2018Conférence
- Premier dépôt sur arXiv
- arXiv:1707.01083
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{lightweightshufflenet2017,
title = {{ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices}},
author = {Xiangyu Zhang and Xinyu Zhou and Mengxiao Lin and Jian Sun},
year = {2017},
eprint = {1707.01083},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1707.01083}
}
La course aux réseaux légers ne fait que commencer.
ShuffleNet entre lui aussi dans la bataille.
Définir le problème
Calcul et vitesse ne vont pas toujours de pair
Comme dans les travaux précédents, les auteurs cherchent à répondre à la même question :
- Comment concevoir un réseau de neurones efficace pour des appareils mobiles très limités en calcul, sans sacrifier l'exactitude ?
MobileNet et SENet ont déjà réduit le coût de calcul, mais il reste de la marge sous des budgets très faibles, par exemple moins de 150 MFLOPs.
Les auteurs rappellent que le temps d'inférence réel sur le matériel peut être très différent de celui qu'on attend d'après le coût théorique.
Le poids des convolutions 1 × 1
L'article MobileNet-V1 avait analysé le calcul de son architecture, comme le montre le tableau ci-dessus.
Les auteurs de ShuffleNet constatent que les nombreuses convolutions 1 × 1 en représentent une grande part. C'est donc là qu'ils veulent agir.
Résoudre le problème
Convolutions groupées
Le défi est de diminuer le coût des convolutions 1 × 1. Les auteurs proposent d'augmenter le nombre de groupes.
Supposons 128 canaux en entrée et 128 en sortie. Sans groupes, chaque canal de sortie utilise les 128 canaux d'entrée : il faut multiplications par position spatiale. Avec 8 groupes, chacun contient canaux d'entrée et de sortie. Un groupe demande alors multiplications, soit pour les huit groupes.
Le calcul tombe donc à environ 12,5 % de celui d'une convolution 1 × 1 dense, de 16 384 à 2 048 multiplications.
Mais rien n'est gratuit.
Les convolutions groupées réduisent le calcul. Cependant, lorsque deux convolutions conservent les mêmes groupes, l'information circule mal d'un groupe à l'autre, comme en (a) dans la figure.
Cela peut réduire les performances du réseau.
Mélange des canaux
Pour remédier à ce problème, les auteurs introduisent le channel shuffle : (b) montre l'idée de connexions entre groupes, et (c) sa réalisation par mélange des canaux.
Si les groupes empêchent les canaux de communiquer, réorganisons les canaux entre deux convolutions groupées : chaque groupe de la couche suivante reçoit alors des canaux issus de groupes différents.
L'opération paraît abstraite ? Regardons directement son code :
import torch
def shuffle_channel(x: torch.Tensor, groups: int) -> torch.Tensor:
batch_size, num_channels, height, width = x.size()
channels_per_group = num_channels // groups
x = x.view(batch_size, groups, channels_per_group, height, width)
x = x.permute(0, 2, 1, 3, 4).contiguous()
x = x.view(batch_size, num_channels, height, width)
return x
La fonction répartit d'abord les canaux en groupes, puis échange leur place. Si les groupes de départ sont AAA, BBB et CCC, on obtient par exemple ABC, ABC et ABC.
Il ne s'agit pas d'un mélange aléatoire, mais d'une permutation déterministe qui permet aux groupes de partager l'information. C'est bien là l'essentiel.
Où placer le mélange ?
La figure montre où cette opération est placée.
L'unité ShuffleNet reprend le bloc résiduel bottleneck. Sur la branche résiduelle, une convolution en profondeur peu coûteuse traite la carte de caractéristiques réduite. La première convolution devient une convolution groupée suivie d'un mélange des canaux : c'est le cœur de l'unité en (b).
La seconde convolution ponctuelle est elle aussi groupée pour rétablir le nombre de canaux correspondant au raccourci. Aucun nouveau mélange n'est ajouté juste après. La normalisation par lot et les non-linéarités suivent les usages de l'époque, sauf qu'il n'y a pas de ReLU immédiatement après la convolution en profondeur.
Quand l'unité utilise un pas supérieur à un, elle reçoit deux modifications visibles en (c) :
- le raccourci comporte un average pooling ;
- une concaténation de canaux remplace l'addition élément par élément, ce qui accroît la dimension des canaux à faible coût.
Tous les composants de l'unité restent ainsi efficaces, notamment les convolutions ponctuelles groupées accompagnées du mélange.
Architecture du modèle
Les blocs précédents forment l'architecture du tableau. À droite, à indique le nombre de groupes. La première convolution ponctuelle de la première unité du Stage 2 reste une convolution ordinaire, car son entrée ne compte que 24 canaux.
Plus de groupes réduisent le calcul à largeur égale. Pour comparer les variantes à coût proche, les auteurs augmentent donc aussi le nombre de canaux lorsque augmente.
Discussion
Effet des convolutions groupées
-
Taille du modèle et nombre de groupes :
Les auteurs comparent un à huit groupes pour des réseaux 1x, 0,5x et 0,25x, à budgets de calcul voisins. Augmenter le nombre de groupes réduit souvent l'erreur top-1. Par rapport à , l'erreur de ShuffleNet 1x baisse de 1,2 point de pourcentage avec ; celle de 0,5x de 3,5 points avec ; celle de 0,25x de 4,4 points avec .
-
Saturation et recul des performances :
L'augmentation n'aide pas toujours. Pour ShuffleNet 0,5x, passer de à fait monter l'erreur de 41,6 % à 42,3 %. Chaque filtre recevant moins de canaux d'entrée, sa capacité de représentation peut en souffrir.
-
Davantage de groupes pour les petits modèles :
Pour la variante 0,25x, les grands nombres de groupes donnent souvent de meilleurs résultats. La largeur supplémentaire des cartes de caractéristiques semble particulièrement utile à ces petits réseaux.
Effet du mélange des canaux
Dans les six configurations du tableau, le mélange des canaux réduit l'erreur top-1 de 1,3 à 5,8 points de pourcentage.
Comparaison avec d'autres modèles
À plusieurs niveaux de calcul, ShuffleNet obtient de meilleurs résultats que les références MobileNet du tableau.
- Autour de 500 MFLOPs, ShuffleNet 2× () a une erreur top-1 inférieure de 3,1 points de pourcentage à celle de MobileNet 1.0, avec 524 contre 569 MFLOPs.
- Autour de 40 MFLOPs, ShuffleNet 0,5× () fait mieux que MobileNet 0.25 de 7,8 points de pourcentage d'erreur top-1.
- À exactitude comparable, ShuffleNet est aussi plus efficace que d'autres réseaux populaires : le coût théorique de ShuffleNet 0,5× est environ 1/19 de celui d'AlexNet.
Mesure réelle de la vitesse d'inférence
Les auteurs mesurent l'inférence avec un seul thread sur un appareil équipé d'un Snapdragon 820 et comparent ShuffleNet à d'autres modèles.
-
Nombre de groupes et efficacité : g=4 ou g=8 améliorent souvent l'exactitude, mais sont moins efficaces dans cette implémentation. Ici, g=3 offre un bon compromis entre exactitude et temps d'inférence réel.
-
Écart entre théorie et pratique : le gain de vitesse réel diffère sensiblement du rapport des coûts théoriques. Une réduction d'environ quatre fois de la complexité donne généralement une accélération mesurée d'environ 2,6 fois.
-
Comparaison avec AlexNet : l'erreur top-1 de ShuffleNet 0,5× () est de 43,2 %, proche des 42,8 % d'AlexNet. Avec une entrée , l'inférence prend 87,4 ms contre 1 156,7 ms pour AlexNet, soit environ 13 fois plus vite. Le rapport change légèrement selon la taille de l'entrée.
Conclusion
Pour beaucoup de réseaux légers destinés aux appareils mobiles, la latence mesurée sur le matériel s'écarte sensiblement de celle qu'on pourrait attendre du seul calcul théorique.
Grâce aux convolutions groupées et au mélange des canaux, ShuffleNet réduit le calcul tout en maintenant une bonne exactitude sur les appareils très limités. Cette idée mérite qu'on s'y attarde : peut-être pourrons-nous, nous aussi, concevoir des réseaux encore plus efficaces de cette façon.