Retour à la bibliothèque
arXiv 2019CVPR 2020Modèles légersNotes de lecture

GhostNet

Les fantômes des cartes de caractéristiques

Article original

GhostNet: More Features from Cheap Operations

Auteurs de l’article

Kai Han · Yunhe Wang · Qi Tian · Jianyuan Guo · Chunjing Xu · Chang Xu

Publication
CVPR 2020Conférence
Premier dépôt sur arXiv
arXiv:1911.11907
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{lightweightghostnet2019,
  title = {{GhostNet: More Features from Cheap Operations}},
  author = {Kai Han and Yunhe Wang and Qi Tian and Jianyuan Guo and Chunjing Xu and Chang Xu},
  year = {2019},
  eprint = {1911.11907},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1911.11907}
}
Sur cette page

Pendant quelque temps après MobileNet, de nombreux chercheurs ont continué à améliorer les performances des réseaux légers.

Cet article étudie précisément le problème de la « redondance des cartes de caractéristiques ».

Définir le problème

Les réseaux convolutionnels produisent souvent des cartes de caractéristiques redondantes. Les générer une à une par des convolutions complètes coûte du calcul ; la redondance elle-même n'est pas nécessairement nuisible.

La figure en donne un exemple simple : certaines cartes issues de canaux différents se ressemblent et pourraient être produites avec des opérations moins coûteuses.

Résoudre le problème

En général, on peut soit compresser le modèle, soit concevoir un modèle plus compact.

Architecture du modèle

Dans GhostNet, les auteurs proposent une nouvelle architecture, représentée ci-dessus.

Contrairement à un réseau convolutionnel ordinaire, un module Ghost fonctionne en deux étapes :

  1. D'abord, un petit nombre de filtres de convolution produit, à partir de l'entrée, un ensemble de « cartes de caractéristiques de base » A.
  2. Puis, des opérations linéaires peu coûteuses sont appliquées séparément à chaque canal des cartes A pour produire les « cartes fantômes » B.

Enfin, les cartes A et B sont concaténées (Concatenate) pour former les cartes de caractéristiques finales.

Ces opérations linéaires sont bien moins coûteuses qu'une convolution complète ; GhostNet réduit ainsi nettement le calcul.

Configuration des modules

  • Ghost Bottlenecks

    En s'appuyant sur le module Ghost, les auteurs introduisent le goulot Ghost (G-bneck), conçu pour les petits CNN. Il ressemble à un bloc résiduel de base de ResNet, avec plusieurs couches convolutionnelles et un raccourci.

    Le goulot Ghost empile principalement deux modules Ghost. Le premier sert de couche d'expansion et augmente le nombre de canaux ; le facteur d'expansion est le rapport entre son nombre de canaux de sortie et celui de ses canaux d'entrée. Le second réduit le nombre de canaux pour le faire correspondre au chemin du raccourci, qui relie l'entrée et la sortie de ces deux modules.

    Le premier module Ghost est suivi de Batch Normalization (BN) et de ReLU. Comme dans MobileNetV2, le second est suivi de BN, mais pas de ReLU. Lorsque le stride vaut 2, une convolution depthwise supplémentaire entre les deux modules réduit la résolution.

  • GhostNet

    À partir de ces goulots, les auteurs construisent le réseau GhostNet.

    L'architecture suit globalement MobileNetV3, dont elle remplace les goulots par des goulots Ghost. Elle commence par une convolution classique à 16 filtres, puis enchaîne des goulots Ghost avec un nombre croissant de canaux, répartis en étapes selon la taille des cartes d'entrée.

    Les goulots de changement d'étape utilisent un stride de 2 ; les autres, un stride de 1. À la fin, un pooling global moyen et une convolution produisent un vecteur de 1 280 dimensions pour la classification.

    Certains goulots Ghost comportent aussi un module Squeeze-and-Excitation (SE) dans le chemin résiduel. Contrairement à MobileNetV3, GhostNet n'emploie pas la fonction d'activation hard-swish, trop coûteuse en latence dans l'environnement étudié.

  • Multiplicateur de largeur :

    Si l'architecture GhostNet de base offre déjà une faible latence et une bonne précision, certaines tâches demandent un modèle encore plus petit et rapide, ou au contraire plus précis.

    Pour répondre à ces besoins, on peut multiplier le nombre de canaux de chaque couche par un facteur α\alpha, appelé multiplicateur de largeur. Cela modifie uniformément la largeur du réseau et contrôle approximativement la taille du modèle et le coût de calcul comme le carré de α\alpha.

    Un α\alpha plus petit entraîne généralement une latence et des performances moindres ; un α\alpha plus grand améliore les performances. Cette souplesse permet d'adapter GhostNet aux différents usages.

Le tableau suivant donne la configuration finale du modèle :

Discussion

Performances sur ImageNet

Pour évaluer GhostNet, les auteurs réalisent des expériences de classification sur ImageNet.

Ils suivent les réglages d'entraînement des travaux antérieurs, sauf pour le taux d'apprentissage initial, fixé à 0,4 lorsque la taille du lot est de 1 024 sur huit GPU. Tous les résultats rapportent la précision top-1 sur l'ensemble de validation ImageNet avec un seul recadrage. Pour GhostNet, la convolution principale utilise un noyau de taille k = 1 ; les modules Ghost utilisent s = 2 et d = 3, un choix assez simple.

Les auteurs comparent leur modèle à plusieurs petits réseaux récents, notamment les familles MobileNet et ShuffleNet, ProxylessNAS, FBNet et MnasNet. Le tableau ci-dessus résume les résultats.

Les modèles sont répartis en trois niveaux de calcul courants pour les usages mobiles : environ 50, environ 150 et 200 à 300 MFLOPs. En général, les modèles de ce tableau gagnent en précision lorsqu'on leur accorde davantage de FLOPs. GhostNet obtient de bons résultats dans ces différentes plages grâce à la production efficace de ses cartes de caractéristiques ; il faut lire chaque comparaison avec son propre coût de calcul.

Les auteurs mesurent aussi la vitesse d'inférence réelle. Comme GhostNet vise les usages mobiles, ils utilisent TFLite sur un téléphone ARM, avec un seul thread et un lot d'une image.

Sur ce téléphone ARM et dans ces conditions, la figure ci-dessous montre qu'à latence égale GhostNet dépasse MobileNetV3 d'environ 0,5 point de précision top-1. Il atteint également une précision comparable en moins de temps. Par exemple, à environ 75,0 % de précision, GhostNet prend environ 40 millisecondes pour traiter une image, contre environ 45 millisecondes pour MobileNetV3.

Conclusion

Pour réduire le coût de calcul des réseaux de neurones actuels, cet article propose un nouveau module Ghost qui permet de construire des architectures efficaces. Ce module peut être intégré à d'autres architectures pour les rendre plus compactes, tout en cherchant à conserver des performances comparables.

Lorsqu'on développe un réseau de neurones, GhostNet peut donc être une option, notamment quand les ressources sont limitées. Il ouvre de nouvelles possibilités.