Retour à la bibliothèque
arXiv 2022CVPR 2023Détection d’objetsNotes de lecture

YOLOv7

La revanche des seconds rôles

Article original

YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors

Auteurs de l’article

Chien-Yao Wang · Alexey Bochkovskiy · Hong-Yuan Mark Liao

Publication
CVPR 2023Conférence
Premier dépôt sur arXiv
arXiv:2207.02696
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{objectdetectionyolov72022,
  title = {{YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors}},
  author = {Chien-Yao Wang and Alexey Bochkovskiy and Hong-Yuan Mark Liao},
  year = {2022},
  eprint = {2207.02696},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2207.02696}
}
Sur cette page

L'équipe à l'origine de YOLOv7 vient de l'Academia Sinica de Taïwan.

Attendez, pourquoi la v7 a-t-elle été publiée deux mois avant la v6 ? Parce que plusieurs équipes dans le monde veulent devenir les héritières légitimes du YOLO originel. Bienvenue dans l'univers foisonnant de YOLO !

Définir le problème

La détection d'objets en temps réel cherche en permanence un équilibre entre vitesse, précision, nombre de paramètres et facilité de déploiement.

L'ordre de ces priorités varie selon l'usage : la latence compte beaucoup dans une voiture autonome, la consommation sur un appareil embarqué, et la précision peut primer dans l'imagerie médicale.

Ces dernières années, les détecteurs temps réel ont suivi deux grandes pistes.

La première recherche une légèreté extrême pour les microprocesseurs et les CPU en périphérie, à l'image de MCUNet et NanoDet. La seconde exploite davantage des architectures efficaces : YOLOX et YOLOR modifient le backbone, optimisent le neck ou la fusion des caractéristiques pour accroître vitesse et précision.

Ces méthodes ont un point commun :

  • elles agissent presque toutes sur l'architecture d'inférence pour obtenir plus vite une réponse plus juste.

YOLOv7 choisit une autre direction.

Les auteurs mettent l'accent sur un aspect relativement moins étudié :

Et si, au lieu de changer l'architecture du modèle, nous repensions l'apprentissage ?

Cette idée mène au concept central de YOLOv7 : le trainable bag-of-freebies.

Le bag-of-freebies regroupe les techniques qui peuvent augmenter le coût de l'apprentissage sans alourdir l'inférence.

YOLOv7 en fait des composants « entraînables », afin d'améliorer le modèle sans augmenter le coût de sa structure d'inférence.

Cette approche apparemment simple pose aussitôt deux questions difficiles sur la structure du réseau :

  1. Comment concevoir la reparamétrisation des modules pour aider l'apprentissage et l'inférence ?
  2. Avec une attribution dynamique des étiquettes, comment aligner les attributions entre plusieurs niveaux de sortie ?

Souvent relégués aux « détails d'apprentissage », ces deux problèmes deviennent ici le cœur de la conception.

Cette fois, YOLOv7 déplace le regard de la performance à l'inférence vers l'efficacité de l'apprentissage.

Le raisonnement change de sens.

Résoudre le problème

Extended-ELAN

Un premier choix architectural de YOLOv7 est le bloc E-ELAN (Extended Efficient Layer Aggregation Networks), utilisé dans YOLOv7-E6E.

Il prolonge ELAN avec une idée centrale :

Augmenter l'utilisation des paramètres et la diversité des caractéristiques sans modifier la longueur des chemins de gradient.

La figure montre qu'E-ELAN conserve les chemins de propagation du gradient d'ELAN.

Nous savons que ces chemins influent directement sur l'efficacité de l'apprentissage et la convergence.

Tout en préservant cette trame, E-ELAN opère trois transformations :

  • Expansion (expand) : les convolutions groupées augmentent les canaux et la cardinalité.
  • Réorganisation (shuffle) : les groupes de cartes de caractéristiques sont redistribués.
  • Fusion (merge) : les groupes sont réunis pour favoriser l'apprentissage entre eux.

Les blocs des différents groupes peuvent ainsi apprendre des caractéristiques plus variées, pour mieux exploiter paramètres et calcul sans toucher aux chemins de gradient initiaux.

E-ELAN cherche donc à diversifier les caractéristiques du bloc de calcul tout en conservant la circulation du gradient.

Mise à l'échelle des architectures par concaténation

Le deuxième choix est une stratégie de mise à l'échelle composée pour les architectures à concaténation.

Avec EfficientNet, nous avons déjà vu la mise à l'échelle simultanée de la largeur, de la profondeur et de la résolution d'un réseau.

Les stratégies habituelles visent surtout des architectures à chemin unique comme ResNet et PlainNet.

Dans une architecture à concaténation, augmenter seule la profondeur d'un bloc de calcul accroît cependant le nombre de canaux concaténés. Cela change la largeur d'entrée et les rapports de canaux de la couche de transition, et peut nuire à l'utilisation du matériel.

La solution proposée est donc :

Ajuster la largeur en même temps que la profondeur pour préserver les rapports entre canaux.

La stratégie cherche à conserver les proportions de canaux et l'efficacité matérielle de la conception initiale.

Concrètement :

  1. on augmente d'abord la profondeur, donc le nombre de couches empilées dans le bloc ;
  2. selon le nombre de canaux produits, on ajuste la largeur de la couche de transition ;
  3. on garde les rapports initiaux afin qu'une augmentation isolée de la profondeur ne déséquilibre pas son entrée.

Cette mise à l'échelle couplée prend en compte les changements de plusieurs niveaux du réseau pour augmenter sa taille sans perdre son efficacité de calcul.

Bag-of-freebies entraînable

Le trainable bag-of-freebies de YOLOv7 n'est pas un simple empilement d'astuces existantes : il fait de l'apprentissage un élément central de l'optimisation.

Voyons les trois groupes de choix.

  1. Convolution reparamétrée planifiée

    La convolution reparamétrée, ou RepConv, sépare les structures d'apprentissage et d'inférence :

    • pendant l'apprentissage, elle comprend une convolution 3×3, une convolution 1×1 et une branche identité qui transmet directement l'entrée ;
    • à l'inférence, ces trois chemins sont fusionnés en un seul, sans surcoût.

    Elle fonctionne bien dans des structures simples, comme VGG, et peut accélérer la convergence tout en améliorant la précision.

    Mais les auteurs constatent que :

    Remplacer directement des couches de ResNet ou DenseNet par le RepConv d'origine peut réduire sensiblement la précision lorsque ces réseaux possèdent déjà des raccourcis ou des concaténations.

    Leur analyse des chemins de gradient suggère que, dans ResNet, une branche identité ajoutée par RepConv à une couche possédant déjà un raccourci résiduel peut modifier ces chemins.

    Pour les architectures à concaténation comme DenseNet, le remplacement direct par un RepConv avec branche identité dégrade également la précision observée ; les auteurs proposent de supprimer cette branche à ces emplacements.

    Leur règle est donc :

    Choisir RepConvN, sans branche identité, selon les connexions résiduelles ou concaténées déjà présentes dans le réseau.

    Cette Planned Re-parameterized Convolution adapte le remplacement à la structure du modèle. Par exemple :

    • dans un PlainNet sans connexion résiduelle, les trois chemins 3×3, 1×1 et identité de RepConv peuvent être utiles ;
    • dans ResNet ou DenseNet, RepConvN garde seulement les branches 3×3 et 1×1 pour ne pas perturber les chemins de gradient.

  1. Attribution des étiquettes du grossier au fin

    Pour entraîner plusieurs têtes de détection, les auteurs introduisent un mécanisme de supervision :

    • Coarse-to-Fine Label Assignment.

    Deux têtes y jouent un rôle distinct :

    • Lead Head : tête principale chargée de la détection finale ;
    • Auxiliary Head : tête auxiliaire qui aide les couches moins profondes à converger.

    Une supervision profonde classique attribuerait séparément des étiquettes à chaque tête. Ici, les auteurs proposent autre chose :

    Faire des prédictions de la Lead Head le guide de l'ensemble de l'apprentissage.

    Deux stratégies en découlent :

    • Lead Head Guided Label Assigner : la Lead Head et la vérité terrain produisent des étiquettes souples appliquées à toutes les têtes ;
    • Coarse-to-Fine Label Assigner : deux ensembles d'étiquettes souples, grossières et fines, sont attribués respectivement à l'Auxiliary Head et à la Lead Head. La première privilégie le rappel et la seconde la précision.

    Leur raisonnement est le suivant :

    • la Lead Head, plus capable d'apprendre, peut servir de guide ;
    • l'Auxiliary Head a besoin de conditions positives plus larges pour améliorer son rappel ;
    • dans l'esprit de l'apprentissage résiduel, la Lead Head se concentre sur les informations encore mal apprises.

    Pour éviter un mauvais a priori lié aux étiquettes grossières, les auteurs leur imposent une limite dans le décodeur. La supervision peut ainsi évoluer pendant l'apprentissage.


  1. Autres freebies entraînables

    Enfin, les auteurs réunissent plusieurs techniques souvent vues comme de simples astuces d'apprentissage :

    • Fusion de BatchNorm et de la convolution : moyenne et variance de BatchNorm sont incorporées aux poids et au biais de convolution afin de simplifier l'inférence.
    • Injection de connaissances implicites à la YOLOR : les vecteurs implicites sont associés aux convolutions et peuvent être précalculés en poids fixes à l'inférence.
    • Modèle EMA (Exponential Moving Average) : les paramètres d'apprentissage sont lissés par moyenne mobile ; le modèle EMA sert à l'inférence finale.

    Ces techniques ne sont pas nouvelles, mais YOLOv7 les organise de façon à profiter de l'apprentissage sans, autant que possible, ajouter de coût à l'inférence.

Configuration expérimentale

Toutes les expériences YOLOv7 utilisent Microsoft COCO 2017, avec deux points importants :

  • apprentissage à partir de zéro, sans poids préentraînés sur ImageNet ;
  • train2017 pour l'entraînement, val2017 pour la validation et le réglage des hyperparamètres, puis test2017 pour l'évaluation finale.

La famille comprend plusieurs modèles adaptés à différents usages :

ModèleUsage viséMise à l'échelleRemarque
v7-tinyAppareil embarquéArchitecture légèreLeakyReLU
v7GPU généralisteModèle de base pour v7-XSiLU
v7-W6GPU en serveurBase pour E6 / D6SiLU
v7-E6/E6EGPU en serveurE6 issu de W6 ; E6E ajoute E-ELAN
v7-D6/XModèles agrandisD6 issu de W6 ; X issu de v7

v7-X empile davantage de blocs dans le neck et utilise la mise à l'échelle composée ; E6 et D6 sont dérivés de W6 par cette stratégie, puis E6E ajoute E-ELAN à E6.

Discussion

Face aux versions antérieures de YOLO

Commençons par le tableau qui compare YOLOv7 aux anciens YOLO et à YOLOR.

Ce tableau 1 donne seulement les paramètres, les FLOPs et l'AP sur l'ensemble de validation COCO : il ne comporte aucune mesure de vitesse. Face à YOLOR-CSP, YOLOv7 passe de 52.9 à 36.9 millions de paramètres et de 120.4 à 104.7 GFLOPs, avec 0.4 point d'AP de plus. Mais v7-tiny emploie 2 % de paramètres de plus que YOLOv4-tiny, et l'AP50 de YOLOv7-X est inférieur de 0.2 point à celui de YOLOR-CSP-X. On ne peut donc pas dire que toutes les variantes sont à la fois plus petites, plus rapides et plus précises.

Face aux modèles récents de l'état de l'art

Pour le compromis vitesse-précision :

  • YOLOv7-tiny-SiLU, face à YOLOv5-N (r6.1), atteint 127 images par seconde de plus et 10.7 points d'AP supplémentaires sur COCO val ;
  • YOLOv7 atteint 51.4 % AP à 161 images par seconde, quand PPYOLOE-L tourne à 78 images par seconde pour la même précision.

Pour les modèles plus grands :

  • YOLOv7-X, face à YOLOv5-L (r6.1), gagne 15 images par seconde et 3.9 points d'AP sur COCO val ;
  • YOLOv7-X, face à YOLOv5-X (r6.1), gagne 31 images par seconde, passe de 86.7 à 71.3 millions de paramètres, réduit le calcul d'environ 8 % et gagne 2.2 points d'AP sur COCO val.

Enfin, pour les très grands modèles :

  • YOLOv7-E6, face à YOLOv5-X6 (r6.1), gagne 0.9 point d'AP sur COCO val ; ses paramètres passent de 140.7 à 97.2 millions, ses FLOPs de 839.2 à 515.2 milliards, et sa vitesse augmente d'environ 47 % ;
  • YOLOv7-D6, face à YOLOR-E6, atteint 44 contre 45 images par seconde, avec 0.6 point d'AP de plus sur COCO val (0.8 point sur test) ;
  • YOLOv7-E6E, face à YOLOR-D6, atteint 36 contre 34 images par seconde, avec 0.7 point d'AP de plus sur COCO val (0.3 point sur test).

Ces comparaisons conduisent à trois observations :

  1. De la version légère aux grands modèles, YOLOv7 conserve de bons résultats d'efficacité ;
  2. ces modèles YOLOv7 n'utilisent pas de poids préentraînés ; les lignes du tableau comparent néanmoins des tailles et configurations d'apprentissage différentes ;
  3. pour attribuer les gains à la mise à l'échelle ou à l'attribution des étiquettes, il faut examiner leurs ablations propres.

YOLOv7 dépasse la démonstration d'astuces d'apprentissage : c'est aussi un exemple de conception architecturale attentive au déploiement.

Ablation : mise à l'échelle du modèle

Trois stratégies classiques sont :

  • n'augmenter que la largeur : davantage de canaux par couche ;
  • n'augmenter que la profondeur : davantage de couches ou de blocs ;
  • mise à l'échelle composée, comme dans EfficientNet : profondeur, largeur et résolution sont réglées ensemble.

Les auteurs proposent une variante propre aux architectures à concaténation :

Multiplier la profondeur du bloc de calcul par 1.5 et la largeur du bloc de transition par 1.25.

L'objectif est de préserver :

  • la structure de la carte de caractéristiques produite par le bloc ;
  • l'alignement des canaux entre les couches ;
  • les rapports de canaux et l'efficacité matérielle de l'architecture de départ.

Voici les résultats :

Le tableau donne :

  • Largeur seule : 73.4 millions de paramètres, 195.5 GFLOPs et 52.4 % AP ;
  • Profondeur seule : 69.3 millions de paramètres, 187.6 GFLOPs et 52.7 % AP ;
  • Mise à l'échelle composée : 71.3 millions de paramètres, 189.9 GFLOPs et 52.9 % AP. L'AP dépasse celui de la largeur seule de 0.5 point pour un coût plus faible ; il dépasse celui de la profondeur seule de 0.2 point, avec un coût un peu plus élevé.

Cette mise à l'échelle ne consiste pas seulement à agrandir le modèle : elle cherche à préserver la géométrie des canaux d'architectures précises, comme ELAN et les modèles de type YOLO.

Stratégie d'attribution des étiquettes

Dans les détecteurs à plusieurs têtes, une Auxiliary Head sert souvent simplement de point de supervision intermédiaire, pour que le gradient traverse mieux le réseau et accélère la convergence.

YOLOv7 pose une question supplémentaire :

Pourquoi la tête principale, ou Lead Head, ne guiderait-elle pas aussi ce que doit apprendre la tête auxiliaire ?

C'est le principe de l'assistant loss for auxiliary head : les prédictions de la Lead Head structurent la supervision.

  1. Expérience 1 : comparaison de trois stratégies d'attribution

    Les résultats indiquent que :

    • le seul ajout d'une perte auxiliaire améliore la performance ;
    • les étiquettes souples guidées par la Lead Head dépassent la supervision traditionnelle ;
    • la stratégie Coarse-to-Fine donne des étiquettes fines à la Lead Head et des positives plus larges, axées sur le rappel, à l'Auxiliary Head. Dans le tableau 6, elle égale l'assignation guidée par la Lead Head en AP et AP50, mais gagne 0.1 point en AP75.

    La figure suivante montre leurs cartes d'objectness :

    Elle compare les cartes des têtes auxiliaire et principale, avec attribution indépendante ou guidée par la Lead Head. Les auteurs interprètent les réponses plus proches des deux têtes dans le second cas comme une aide à l'apprentissage des informations restantes par la tête principale. La figure ne mesure toutefois pas directement la cohérence des caractéristiques.

    Cette supervision guidée des couches intermédiaires aux sorties hautes forme une sorte d'apprentissage résiduel, où les deux têtes se partagent le travail.


  1. Expérience 2 : limite supérieure dans le décodeur

    Pour éviter que les étiquettes grossières ne dégradent la sortie finale, les auteurs imposent dans le décodeur une borne supérieure au score d'objectness, qui décroît selon la distance au centre de l'objet.

    Dans le tableau 7, l'AP et l'AP50 restent à 55.9 % et 73.5 % avec ou sans cette limite. L'AP75 passe de 61.0 % à 61.1 % : seule une petite amélioration de cette métrique est établie.


  1. Expérience 3 : tête auxiliaire partielle

    YOLOv7 propose enfin de :

    Brancher la tête auxiliaire sur un groupe de cartes de caractéristiques avant la fusion de la cardinalité dans E-ELAN, plutôt que sur la sortie après cette fusion.

    Les auteurs cherchent ainsi à :

    1. éviter que la perte auxiliaire ne mette directement à jour les poids du nouveau groupe de cartes ;
    2. laisser les différentes couches apprendre les objets de tailles différentes et préserver la répartition des petites, moyennes et grandes cibles dans la pyramide.

    Dans le tableau 8, la tête auxiliaire partielle atteint 56.8 % AP, contre 56.5 % pour la tête auxiliaire ordinaire : 0.3 point de plus dans cette configuration. Le tableau ne mesure pas directement les limites des objectifs appris par chaque couche.

Une supervision conduite par la Lead Head ne réutilise donc pas seulement de l'information : elle organise une voie d'apprentissage cohérente sur le plan sémantique et complémentaire dans ses gradients.

Conclusion

YOLOv7 est une conception de la détection d'objets qui met l'apprentissage au premier plan et la structure d'inférence en arrière-plan.

De la mise à l'échelle au remplacement des modules et à l'attribution des étiquettes, les auteurs placent les anciens « détails d'apprentissage » au cœur du modèle. L'apprentissage lui-même est un levier majeur d'optimisation.

Pour les développeurs, YOLOv7 rappelle aussi l'importance de l'alignement en mémoire, de la correspondance des canaux et des chemins de gradient pour le déploiement. Remplacer un module comme RepConv ne consiste pas seulement à compter ses paramètres : il faut comprendre les chemins que l'information emprunte dans l'architecture.

C'est un point de rencontre entre ingénierie et recherche, riche en idées à retenir.