Retour à la bibliothèque
arXiv 2024ECCV 2024Détection d’objetsNotes de lecture

YOLOv9

Maîtriser le flux des gradients

Article original

YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information

Auteurs de l’article

Chien-Yao Wang · I-Hau Yeh · Hong-Yuan Mark Liao

Publication
ECCV 2024Conférence
Premier dépôt sur arXiv
arXiv:2402.13616
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{objectdetectionyolov92024,
  title = {{YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information}},
  author = {Chien-Yao Wang and I-Hau Yeh and Hong-Yuan Mark Liao},
  year = {2024},
  eprint = {2402.13616},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2402.13616}
}
Sur cette page

YOLOv8 n’a donc pas non plus fait l’objet d’un article ?

Dans ce cas, poursuivons avec l’article sur YOLOv9, lui aussi issu de l’Academia Sinica à Taïwan.

Définir le problème

Ces dernières années, la série YOLO est devenue une référence de fait en détection d’objets en temps réel. De YOLOv3 à YOLOv7, ses architectures ont cherché un bon équilibre entre précision et vitesse d’inférence, d’où leur usage dans la surveillance, la circulation, l’AR/VR et d’autres domaines.

La plupart emploient CSPNet ou ELAN comme module principal, PAN/FPN pour fusionner les caractéristiques, et une tête YOLO ou FCOS pour prédire à plusieurs échelles. Même les architectures Transformer plus récentes, comme RT-DETR, n’ont pas, selon les auteurs, délogé YOLO sur l’ensemble des contraintes d’efficacité et de déploiement considérées ici.

Mais à mesure que les modèles se complexifient, un autre facteur de convergence apparaît : le choix de l’architecture ou de la perte ne suffit pas à tout expliquer. Un obstacle plus profond se cache dans le trajet de l’information.

Un défi majeur des réseaux profonds modernes est la perte d’information pendant l’entraînement (information bottleneck).

Quand les données d’entrée traversent les couches, leur sens est comprimé et transformé à répétition. Il peut se diluer, voire disparaître, dès les couches intermédiaires. Les caractéristiques tardives se relient alors moins bien aux cibles et engendrent des gradients peu fiables, d’où une convergence lente, une précision moindre, voire un entraînement difficile.

Trois familles de techniques ont tenté d’y répondre :

  • Architectures réversibles : un mécanisme inverse permet de retrouver l’entrée à partir de la sortie d’une couche. RevNet en est un exemple. L’article distingue la reconstruction exacte des architectures réversibles des propriétés apparentées des connexions hiérarchiques de Res2Net. Les structures supplémentaires destinées à retenir l’information peuvent augmenter le coût d’inférence.
  • Modélisation masquée (masked modeling) : MAE ou BERT apprennent des représentations en reconstruisant des parties cachées. Conçue souvent pour de grands Transformers, cette approche peut peiner à reconstruire le sens dans les petits modèles, faute de paramètres suffisants.
  • Supervision profonde : des signaux auxiliaires aux couches intermédiaires aident à conserver le sens. Mais des erreurs peuvent s’accumuler et les petits modèles risquent d’en souffrir davantage ; l’article met surtout en avant son intérêt pour les réseaux très profonds.

Chacune a ses atouts, mais aucune ne répond à la fois au besoin de préserver l’information et à celui d’un modèle léger et efficace. Le goulot d’information reste particulièrement gênant pour les modèles temps réel aux paramètres limités.

Pourquoi perd-on l’information sémantique ?

On attribue traditionnellement les difficultés de convergence à la disparition ou à la saturation des gradients. BatchNorm et ReLU ont beaucoup atténué ces problèmes. Ici, les auteurs s’intéressent plutôt au sens même sur lequel repose le calcul du gradient, qui peut avoir disparu.

Selon le principe du goulot d’information, les transformations successives peuvent réduire l’information mutuelle entre les données et la tâche cible :

I(X,X)≥I(Y,X)≥I(Y,fθ(X))≥⋯≥I(Y,Y^)I(X, X) \geq I(Y, X) \geq I(Y, f_θ(X)) \geq \dots \geq I(Y, \hat{Y})

I(Y,X)I(Y, X) désigne la part de l’entrée liée à la tâche visée.

Si cette information se dilue pendant la propagation avant, une faible perte d’information globale peut déjà empêcher le modèle d’apprendre la bonne correspondance. L’effet serait particulièrement sensible dans les petits modèles, dont la capacité limitée laisse plus facilement disparaître les indices sémantiques.

Élargir le modèle peut atténuer le symptôme, sans résoudre nécessairement la dégradation du sens et de la qualité des gradients.

La piste des fonctions réversibles

Une fonction réversible offre une solution théorique.

Si la transformation rψr_ψ admet pour inverse vζv_ζ et satisfait :

X=vζ(rψ(X)),I(X,X)=I(X,rψ(X))=I(X,vζ(rψ(X)))X = v_ζ(r_ψ(X)),\quad I(X, X) = I(X, r_ψ(X)) = I(X, v_ζ(r_ψ(X)))

alors cette transformation ne perd pas d’information et peut préserver le signal sémantique.

En pratique, beaucoup d’architectures réversibles restent complexes, difficiles à entraîner ou à généraliser, et se prêtent mal aux tâches en temps réel.

Il nous faut donc une autre approche qui conserve le sens utile et améliore la fiabilité des gradients, tout en restant :

  • compatible avec des modèles légers ;
  • sans coût d’inférence auxiliaire supplémentaire ;
  • adaptable aux pertes et aux modules de chaque tâche.

Pour répondre à ces exigences, les auteurs introduisent un concept :

Programmable Gradient Information (PGI).

Voyons comment il fonctionne.

Résoudre le problème

Pour combattre le goulot d’information et la dégradation des gradients, les auteurs proposent une nouvelle organisation de l’entraînement : l’information de gradient programmable (Programmable Gradient Information, PGI).

Comme dans la figure, elle tire des enseignements de PAN, RevCol et de la supervision profonde. La branche auxiliaire ne sert qu’à l’entraînement ; à l’inférence, il ne reste que le trajet principal, sans coût dû à cette branche auxiliaire.

Principe de conception

PGI comporte trois éléments clés :

  1. Branche principale (Main Branch)

    • Elle correspond au modèle qui assure l’inférence.
    • C’est la seule partie conservée au déploiement, pour préserver le coût d’inférence de ce trajet.
  2. Branche auxiliaire réversible (Auxiliary Reversible Branch)

    • Pendant l’entraînement, elle fournit supervision et gradients supplémentaires afin que la branche principale conserve les caractéristiques utiles à la tâche. L’article s’en sert pour atténuer le goulot d’information, sans mesurer combien d’information initiale est effectivement retrouvée.
  3. Intégration sémantique multiniveau (Multi-level Auxiliary Information)

    • Elle réunit les gradients de plusieurs échelles entre la supervision auxiliaire et le modèle principal, afin que les couches reçoivent des informations sur des objets de tailles différentes, au lieu de dépendre d’une seule tête de prédiction.

La sous-figure (b) montre qu’une architecture réversible comme RevCol peut conserver l’information, mais augmente sensiblement la latence d’inférence. Les auteurs en déduisent : plutôt que de rendre le trajet principal réversible, on peut ajouter une branche réversible pendant l’entraînement.

C’est ce que représente la sous-figure (d).

Pendant l’entraînement, ses connexions entre niveaux fournissent des gradients qui aident la branche principale à apprendre les caractéristiques utiles à la détection. Le schéma et les ablations soutiennent l’intérêt de cette conception.

Intégration sémantique multiniveau

Dans la supervision profonde classique de la sous-figure (c), les caractéristiques de différents niveaux sont affectées à des tâches distinctes, par exemple aux petits ou aux grands objets. Cela peut créer un conflit sémantique : une couche attentive aux petits objets peut ignorer une région importante occupée par un grand, la traiter comme du fond et fausser le signal d’entraînement.

Pour l’atténuer, PGI ajoute un module d’intégration sémantique multiniveau (Multi-level Auxiliary Information) entre les caractéristiques de la supervision auxiliaire et le trajet principal. Il rassemble les gradients renvoyés par les têtes de plusieurs échelles.

Les avantages recherchés sont :

  • Chaque niveau peut apprendre une sémantique plus complète, au lieu de ne représenter qu’une taille d’objet.
  • Les conflits entre têtes qui ne supervisent chacune qu’une partie des cibles sont atténués.
  • La fusion peut être choisie selon la profondeur et l’étendue sémantiques souhaitées.

Avec PGI, la supervision profonde ne se réduit plus à multiplier les pertes : elle devient une stratégie de fusion pour entraîner plusieurs niveaux sémantiques de façon cohérente.

Generalized ELAN

Pour tirer parti de PGI, YOLOv9 introduit aussi une nouvelle architecture principale :

  • Generalized ELAN (GELAN).

Comme dans la figure, elle s’inspire de CSPNet et d’ELAN :

  • CSPNet organise les branches du trajet de gradient et favorise la réutilisation des caractéristiques ;
  • ELAN agrège efficacement les caractéristiques au moyen de couches convolutives plus profondes.

GELAN généralise les unités de calcul d’ELAN pour permettre de changer de module. L’article compare effectivement convolution classique, blocs ResNet, DarkNet et CSP ; ce tableau ne teste ni convolution en profondeur ni module d’attention.

Ses atouts sont :

  • Modularité : on peut remplacer l’unité de calcul, mais l’adaptation aux téléphones ou appareils embarqués demande encore des mesures.
  • Trajets de gradient stables : la structure facilite la circulation du signal et complète PGI.
  • Légèreté et efficacité : même sans DWConv, elle utilise efficacement ses paramètres.

GELAN sert d’architecture de calcul principale à YOLOv9 et se combine à la supervision auxiliaire de PGI pendant l’entraînement. Les ablations suivantes examinent séparément leurs contributions.

Discussion

Pour vérifier l’utilité et la généralisation du mécanisme d’entraînement PGI et de l’architecture GELAN, les auteurs mènent des expériences sur MS COCO 2017 et comparent YOLOv9 à plusieurs détecteurs temps réel récents.

Ils reprennent les règles d’entraînement de YOLOv7 et le découpage standard de MS COCO 2017. Tous les modèles sont entraînés à partir de zéro pendant 500 époques, avec trois époques de montée linéaire du taux d’apprentissage (warm-up), puis une décroissance adaptée à leur taille.

L’augmentation Mosaic est arrêtée durant les quinze dernières époques pour stabiliser la fin de l’entraînement.

YOLOv9 est décliné en deux versions principales :

  • YOLOv9-C / YOLOv9-E : fondés respectivement sur YOLOv7 et Dynamic YOLOv7.
  • Le module ELAN de YOLOv7 est remplacé par GELAN, qui utilise des blocs RepConv et CSPNet comme unités de calcul.
  • Le sous-échantillonnage est simplifié et la tête de prédiction sans ancres est améliorée.
  • La supervision auxiliaire de PGI reprend l’organisation multibranche de YOLOv7.

Comparaison avec les méthodes existantes

Dans le tableau ci-dessus, YOLOv9 se montre compétitif face aux détecteurs temps réel de taille comparable, tant en paramètres et en calcul qu’en précision :

  • Petits modèles : face à YOLO MS-S, YOLOv9-S obtient 46,8 contre 46,2 AP, avec 7,1 contre 8,1 millions de paramètres et 26,4 contre 31,2 GFLOPs. Le tableau ne mesure pas la latence sur appareil embarqué.

  • Modèles intermédiaires : face à YOLO MS, YOLOv9-M obtient 51,4 contre 51,0 AP, 20,0 contre 22,2 millions de paramètres et 76,3 contre 80,2 GFLOPs : l’écart d’AP est de 0,4 point.

  • Face au modèle courant YOLOv7 AF, YOLOv9-C utilise 42 % de paramètres et 22 % de calcul en moins, tout en obtenant le même AP, 53 %. Ce résultat met en évidence la qualité de l’entraînement avec PGI, sans isoler à lui seul son effet.

  • Face au grand YOLOv8-X, YOLOv9-E emploie environ 16 % de paramètres et 27 % de FLOPs en moins, avec un AP qui passe de 53,9 à 55,6, soit 1,7 point de plus. La comparaison porte sur des modèles entiers ; elle n’isole pas PGI.

Dans les conditions rapportées sur COCO val, YOLOv9 entraîné à partir de zéro se montre donc compétitif. Les autres méthodes n’utilisent pas toutes les mêmes données ni le même matériel ; ce tableau ne valide pas chaque usage en temps réel.

Analyse de l’architecture GELAN

Les auteurs vérifient d’abord si les unités de calcul de GELAN peuvent être remplacées, en comparant trois blocs :

  • ResNet Block
  • DarkNet Block
  • CSP Block

Parmi les quatre unités testées pour GELAN-S, l’AP varie entre 44,3 et 45,5. Le bloc CSP obtient la valeur la plus élevée : par rapport à Conv, l’AP passe de 44,8 à 45,5 (+0,7 point), tandis que les paramètres baissent de 6,2 à 5,9 millions et les FLOPs de 23,5 à 22,4 milliards. Le tableau ne mesure pas la portabilité entre matériels.

Les auteurs choisissent donc CSP comme unité centrale de GELAN, pour concilier précision et légèreté.

Ils examinent ensuite, selon la taille du modèle, l’effet de la profondeur d’ELAN et de celle de l’empilement CSP.

Le tableau donne les résultats suivants :

  • Porter la profondeur d’ELAN de 1 à 2 augmente nettement l’AP dans les configurations mesurées.
  • Paramètres et FLOPs augmentent aussi avec certaines profondeurs, sans gain d’AP à pente constante. Pour GELAN-C, passer d’une profondeur ELAN/CSP de 2/1 à 2/2 fait monter l’AP de 52,5 à 53,0 et les paramètres de 25,3 à 28,6 millions.

Ces lignes invitent à choisir un compromis entre paramètres, FLOPs et AP pour les profondeurs testées. Les autres combinaisons et appareils demandent encore une vérification.

En pratique, les versions de YOLOv9 utilisent ces profondeurs :

  • YOLOv9-S : profondeur ELAN de 2, profondeur CSP de 3.
  • YOLOv9-M / C : profondeur ELAN de 2, profondeur CSP de 1.

Analyse de la stratégie d’entraînement PGI

PGI réunit deux composants principaux : la branche auxiliaire réversible et l’intégration sémantique multiniveau.

Les auteurs les testent séparément et ensemble :

  • La branche auxiliaire réversible (ICN) utilise des connexions DHLC pour fournir une information réversible à plusieurs niveaux ; dans le tableau, elle peut améliorer les résultats.
  • L’intégration sémantique multiniveau est essayée avec FPN et PAN. PFH, dans le tableau, est la référence de supervision profonde classique. Pour GELAN-C, ses 52,5 AP égalent l’absence de supervision auxiliaire ; pour GELAN-E, elle fait passer l’AP de 55,0 à 55,3.
  • Les gains d’ICN et du réseau d’intégration dépendent de la configuration : GELAN-C atteint 52,9 AP avec ICN dans le backbone, puis 53,0 avec LHG-ICN ; pour GELAN-E, FPN seul et FPN+ICN obtiennent tous deux 55,6. Chaque combinaison n’apporte donc pas un gain supplémentaire.

Les auteurs appliquent aussi l’affectation guidée par la tête principale (Lead-Head Guided Assignment) de YOLOv7 au trajet de supervision auxiliaire de PGI pour améliorer l’apprentissage.

Comparaison selon la taille du modèle

Les auteurs ajoutent PGI ou la supervision profonde classique à des modèles de tailles différentes :

  • Sur GELAN-S, la supervision profonde classique fait baisser l’AP de 46,7 à 46,5 ; sur GELAN-M, elle le fait monter de 51,1 à 51,2. On ne peut donc dire que tous les petits modèles reculent.

Pour les quatre tailles S/M/C/E du tableau, PGI ajoute respectivement 0,1/0,3/0,5/0,6 point d’AP par rapport à chaque référence. Le tableau ne mesure directement ni surapprentissage ni qualité des gradients, et le gain du petit modèle S est le plus faible.

Ces résultats appuient deux observations :

  1. Sur le petit modèle S testé, PGI apporte un léger gain tandis que la supervision profonde classique réduit un peu l’AP.
  2. Sur les modèles plus grands C et E, le gain d’AP rapporté pour PGI est plus élevé ; la fiabilité des gradients reste l’explication proposée par les auteurs.

Intégration des composants

Enfin, les auteurs montrent une expérience qui ajoute progressivement les composants, depuis YOLOv7 jusqu’à YOLOv9-E complet.

Voici les étapes : YOLOv7 part de 36,9 millions de paramètres / 104,7 GFLOPs / 51,2 AP. Avec AF, on passe à 43,6 millions / 130,5 GFLOPs / 53,0 AP ; avec GELAN, à 41,2 millions / 126,4 GFLOPs / 53,2 AP ; en ajoutant DHLC, à 57,3 millions / 189,0 GFLOPs / 55,0 AP ; enfin PGI donne 55,6 AP sans modifier paramètres ni FLOPs. Ainsi, par rapport au YOLOv7 initial, la précision progresse, mais le nombre de paramètres et les FLOPs aussi.

Conclusion

L’innovation principale de YOLOv9 consiste à faire du « flux des gradients » un mécanisme programmable de transmission de l’information.

Avec PGI, l’entraînement ne se limite plus à une rétropropagation subie ; il planifie aussi :

  • Où doit circuler le sens ?
  • D’où doit venir le gradient ?
  • À quelle couche faut-il apprendre la cible ?

Associé à GELAN comme architecture principale, YOLOv9 allie une bonne précision à un nombre de paramètres contenu dans les configurations étudiées ; la souplesse de déploiement reste à vérifier sur le matériel cible.