Retour à la bibliothèque
arXiv 2024NeurIPS 2024Détection d’objetsNotes de lecture

YOLOv10

Adieu, NMS

Article original

YOLOv10: Real-Time End-to-End Object Detection

Auteurs de l’article

Ao Wang · Hui Chen · Lihao Liu …

Afficher les 7 auteurs

Ao Wang · Hui Chen · Lihao Liu · Kai Chen · Zijia Lin · Jungong Han · Guiguang Ding

Publication
NeurIPS 2024Conférence
Premier dépôt sur arXiv
arXiv:2405.14458
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{objectdetectionyolov102024,
  title = {{YOLOv10: Real-Time End-to-End Object Detection}},
  author = {Ao Wang and Hui Chen and Lihao Liu and Kai Chen and Zijia Lin and Jungong Han and Guiguang Ding},
  year = {2024},
  eprint = {2405.14458},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2405.14458}
}
Sur cette page

Nous avons suivi YOLO de la v1 à la v9.

Avec YOLOv10, nous pouvons enfin nous libérer de la NMS. Il était temps !

Définir le problème

En vision par ordinateur, la détection d'objets en temps réel joue un rôle indispensable.

De la conduite autonome aux robots industriels, de la réalité augmentée ou virtuelle aux systèmes d'analyse embarqués, presque toutes ces applications exigent de classer et localiser les objets avec une grande précision et une très faible latence. Pour y répondre, la recherche multiplie les détecteurs efficaces.

Depuis YOLOv1, son architecture intégrée réunit backbone, neck et head, rompant avec les chaînes de détection plus complexes qui la précédaient.

Les versions suivantes, de YOLOv3 à YOLOv9, ont introduit des modules comme CSPNet, PAN, ELAN et GD pour améliorer l'extraction et la fusion des caractéristiques. SimCSPSPPF dans YOLOv6, E-ELAN dans YOLOv7 et GELAN + PGI dans YOLOv9 cherchent aussi à gagner en précision sans perdre en vitesse.

Malgré ces progrès, la plupart des modèles YOLO restent tributaires de la suppression des non-maxima, ou NMS, après la prédiction.

Leur apprentissage repose en effet sur une attribution one-to-many : plusieurs prédictions positives correspondent à une même vérité terrain. À l'inférence, il faut donc la NMS pour retenir les meilleures boîtes. Cette étape augmente la latence, introduit des hyperparamètres sensibles et empêche une chaîne d'inférence véritablement de bout en bout.

Pour se passer de la NMS, les architectures end-to-end issues de DETR ont gagné du terrain.

DETR associe un Transformer à un appariement hongrois pour attribuer les étiquettes one-to-one, sans cette étape de post-traitement. Deformable-DETR, DINO et RT-DETR ont ensuite amélioré la convergence et l'efficacité. RT-DETR est notamment parvenu à porter cette famille vers la détection en temps réel.

Mais ces modèles à Transformer peuvent-ils vraiment remplacer les CNN ?

Même sans NMS, leur passage avant reste sensiblement plus lent que celui des CNN classiques, surtout sur les appareils embarqués. D'autres travaux, comme OneNet, DeFCN et FCOSpss, ont essayé de rendre les CNN compatibles avec un appariement one-to-one au moyen de sélecteurs d'échantillons ou de règles d'appariement, sans résoudre complètement le problème.

Peut-on sortir de ce choix à deux branches ?

Plutôt que de suivre aveuglément les Transformers ou de conserver les anciens choix de YOLO, pourquoi ne pas revoir ensemble la stratégie d'attribution des étiquettes et les goulets d'étranglement de l'architecture ? Peut-on garder les avantages du CNN dans une architecture cohérente, légère, rapide et précise ?

Les auteurs tentent ici de répondre à ces questions fondamentales pour la détection d'objets en temps réel avec YOLO.

Résoudre le problème

YOLOv10 suit deux axes techniques :

  • libérer YOLO de la NMS pour obtenir une inférence véritablement de bout en bout ;
  • réexaminer le coût et la précision de chaque composant, puis redistribuer le calcul dans l'architecture.

Double attribution des étiquettes

Comme le montre la figure, YOLOv10 conserve le backbone, le neck et la tête de détection de YOLO, mais ajoute une tête one-to-one à la tête one-to-many. Les deux partagent le backbone et le neck ; leurs structures et objectifs d'apprentissage sont identiques. Seule la façon d'apparier les échantillons diffère.

Pendant l'apprentissage, la tête one-to-many utilise TAL (Task-Aligned Label Assignment) et associe plusieurs exemples positifs à chaque vérité terrain, ce qui densifie la supervision. La tête one-to-one ne lui associe qu'une seule boîte prédite et apprend ainsi une correspondance plus sélective.

Le modèle bénéficie des deux formes de supervision pendant l'apprentissage. À l'inférence, seule la tête one-to-one est conservée ; la branche one-to-many est écartée. Les sorties ne nécessitent alors plus de NMS.

Cette double attribution soulève cependant un problème : si les deux têtes utilisent des règles d'appariement différentes, elles reçoivent des signaux de supervision divergents.

Les auteurs proposent une réponse simple :

  • un critère d'appariement cohérent (Consistent Matching Metric).

La différence entre les deux stratégies tient à la définition du score d'appariement.

YOLOv10 adopte la forme commune suivante :

m(α,β)=s⋅pα⋅IoUβm(\alpha, \beta) = s \cdot p^\alpha \cdot \text{IoU}^\beta

où :

  • pp est le score de classification prédit ;
  • IoU\text{IoU} est le recouvrement entre la boîte prédite et la vérité terrain ;
  • ss est un a priori spatial qui indique si le point prédit se trouve à l'intérieur de la vérité terrain ;
  • α\alpha et β\beta sont des hyperparamètres pondérant la classification et la localisation.

Si les deux têtes prennent des valeurs différentes de α\alpha et β\beta, elles peuvent classer le même échantillon différemment, d'où une supervision incohérente.

Les auteurs leur donnent donc les mêmes paramètres d'appariement, avec α=0.5\alpha = 0.5 et β=6\beta = 6 par défaut.

Reste à savoir si cela rapproche vraiment les deux têtes.

Cette modification aligne-t-elle réellement leurs choix ?

La figure (b) ci-dessus apporte un élément expérimental.

Sur YOLOv8-S, elle mesure si les échantillons retenus par la tête one-to-one figurent aussi parmi les Top-1, Top-5 et Top-10 de la tête one-to-many.

Les couleurs correspondent aux deux réglages :

  • en bleu, l'appariement incohérent : α=0.5\alpha = 0.5 et β=2\beta = 2 pour la tête one-to-one ;
  • en orange, l'appariement cohérent : α=0.5\alpha = 0.5 et β=6\beta = 6 pour cette tête. Dans les deux cas, la tête one-to-many utilise α=0.5\alpha = 0.5 et β=6\beta = 6.

Avec des paramètres cohérents, les échantillons one-to-one apparaissent plus souvent en haut du classement one-to-many. Cela étaye l'amélioration de l'alignement de la supervision, sans mesurer directement la qualité des caractéristiques.

Optimisation de l'efficacité et de la précision

Les versions antérieures de YOLO ont innové module par module, mais sans toujours examiner systématiquement le coût de l'architecture entière. Les auteurs cherchent à optimiser ensemble efficacité et précision, pour que chaque unité de calcul soit mieux employée.

YOLO comprend principalement quatre parties :

  • le stem, ou convolutions initiales ;
  • le sous-échantillonnage ;
  • l'empilement des blocs de chaque stage ;
  • la tête de détection.

Le coût du stem étant faible, l'étude se concentre sur les trois autres parties.

  1. Têtes de classification et de régression

    Elles reprennent souvent la même architecture, alors que leurs coûts diffèrent beaucoup. Sur YOLOv8-S, la tête de classification consomme 5.95 GFLOPs et 1.51 million de paramètres, soit 2.5 fois le calcul et 2.4 fois les paramètres de la tête de régression.

    Dans l'expérience où les erreurs sont corrigées séparément, corriger la régression apporte plus de gain en AP que corriger la classification. Les auteurs allègent donc la tête de classification : deux convolutions séparables en profondeur de 3×3 suivies d'une convolution de 1×1. Elle conserve sa fonction tout en coûtant moins cher.

  2. Sous-échantillonnage séparant espace et canaux

    La méthode classique utilise une convolution 3×3 de pas 2, qui réduit la résolution spatiale tout en augmentant les canaux.

    Simple en apparence, elle a un coût de calcul de :

    O(92HWC2)\mathcal{O}\left(\tfrac{9}{2}HWC^2\right)

    et un nombre de paramètres de :

    O(18C2)\mathcal{O}(18C^2)

    À la place, une convolution ponctuelle de 1×1 ajuste d'abord les canaux, puis une convolution en profondeur de 3×3 effectue le sous-échantillonnage.

    Le calcul devient :

    O(2HWC2+92HWC) \mathcal{O}\left(2HWC^2 + \tfrac{9}{2}HWC\right)

    et les paramètres :

    O(2C2+18C)\mathcal{O}(2C^2 + 18C)

    Cette séparation préserve également davantage d'informations dans les caractéristiques, afin d'accélérer le passage avant sans dégrader la précision.

  • Blocs guidés par le rang

    YOLOv10 analyse le rang des poids à chaque stage pour repérer une éventuelle redondance structurelle.

    Pour la dernière convolution de chaque stage, les auteurs calculent le rang numérique de la matrice des poids et le normalisent en rCout\tfrac{r}{C_\text{out}}, où CoutC_\text{out} est le nombre de canaux de sortie. Le seuil de rang vaut la moitié de la plus grande valeur singulière λmax\lambda_{\text{max}}.

    La figure (a) montre que certains stages profonds et modèles plus grands présentent un rang normalisé plus faible ; les courbes ne baissent pas uniformément d'un stage à l'autre.

    Les auteurs y voient un indice de redondance possible dans certains blocs tardifs et une raison d'adapter la structure selon le stage.

    Ils introduisent donc le Compact Inverted Block (CIB), illustré en (b), qui combine convolutions en profondeur pour le mélange spatial et convolutions ponctuelles pour la fusion des canaux, à moindre coût.

    Leur remplacement progressif commence au stage de rang le plus faible. Si la performance ne baisse pas, ils passent au suivant ; sinon, ils s'arrêtent. La structure s'adapte ainsi à la taille du modèle pour rechercher un meilleur compromis efficacité/précision.

Renforcements axés sur la précision

YOLOv10 ne se contente pas de supprimer du calcul : il améliore également la modélisation sémantique de haut niveau et la prise en compte des grandes zones de l'image.

  • Grands noyaux : agrandir le champ réceptif au bon endroit

    De grands noyaux élargissent le champ réceptif. Les appliquer partout pourrait cependant perturber les caractéristiques superficielles utiles aux petits objets et alourdir les couches à haute résolution.

    Les auteurs passent donc uniquement le second noyau de convolution en profondeur des CIB profonds à 7×7. Une branche 3×3 reparamétrable facilite l'optimisation, puis se fusionne à la branche principale pour l'inférence, sans coût supplémentaire à cette étape.

    Les grands noyaux ne sont employés que dans les petits modèles, notamment YOLOv10-N et S : les modèles plus grands disposent déjà d'un champ réceptif plus large, qui en réduit le bénéfice marginal.

  • PSA : l'attention n'est pas nécessaire partout

    La matrice d'auto-attention sur H×WH\times W positions grandit avec le carré du nombre de positions ; son coût est élevé pour un détecteur temps réel. Les auteurs proposent donc la Partial Self-Attention (PSA).

    Le module sépare les canaux en deux moitiés. L'une traverse une auto-attention multitête (MHSA) et un FFN, l'autre reste inchangée. Elles sont concaténées puis fusionnées par une convolution 1×1. Pour aller plus vite, les auteurs :

    • réduisent de moitié la dimension des requêtes et des clés Q/K ;
    • remplacent LayerNorm par BatchNorm ;
    • placent le module seulement après le stage 4, de résolution la plus basse.

    Cette auto-attention sélective ajoute des informations globales pour un coût limité et améliore la précision de classification ainsi que la cohérence sémantique.

Détails de mise en œuvre

YOLOv8 sert de référence principale pour deux raisons : son équilibre vitesse-précision en fait un adversaire représentatif, et ses différentes tailles permettent de construire des comparaisons cohérentes.

YOLOv10 reprend les cinq tailles N / S / M / L / X de YOLOv8 et ajoute YOLOv10-B, une version de YOLOv10-M élargie en largeur pour combler l'intervalle de capacité et de précision au milieu de la gamme.

Tous les modèles sont entraînés et évalués sur COCO, avec un apprentissage à partir de zéro comparable à celui de YOLOv8 et YOLOv9.

La latence d'inférence est mesurée sur GPU NVIDIA T4 avec TensorRT en FP16, afin de rendre les mesures comparables.

Tous les modèles YOLOv10 étudiés associent l'apprentissage par double attribution cohérente aux optimisations d'architecture : le résultat final ne tient pas à une seule modification.

Discussion

Comparaison avec l'état de l'art

YOLOv10 obtient des résultats favorables à plusieurs tailles de modèle.

Dans les cinq tailles courantes (N / S / M / L / X), par rapport aux YOLOv8 correspondants, le tableau indique :

  • un gain d'AP de 0.3 à 1.4 point de pourcentage ;
  • 28 % à 57 % de paramètres en moins ;
  • 23 % à 38 % de calcul en moins ;
  • jusqu'à 70 % de latence d'inférence en moins.

Sur ces cinq paires, YOLOv10 améliore l'AP, les paramètres, les FLOPs et la latence de bout en bout. Pour isoler la contribution de chaque choix, il faut toutefois regarder les ablations progressives plus bas.

Dans les comparaisons avec d'autres modèles :

  • YOLOv10-N / S, face à YOLOv6-3.0-N / S, gagnent respectivement 1.5 / 2.0 points d'AP, avec 51 % / 61 % de paramètres et 41 % / 52 % de calcul en moins ;
  • YOLOv10-B / M, face à YOLOv9-C et YOLO-MS, réduisent la latence de 46 % / 62 % avec une précision maintenue ou améliorée, ce qui intéresse les déploiements sensibles à la latence ;
  • YOLOv10-L, face à Gold-YOLO-L, emploie 68 % de paramètres en moins, réduit la latence de bout en bout de 32 % et gagne 1.4 point d'AP.

Ces paires choisies montrent l'intérêt de YOLOv10 pour la vitesse et l'usage des ressources. Mais YOLOv9-S, présent dans le tableau, obtient par exemple un AP supérieur à YOLOv10-S : toutes les métriques de tous les modèles ne sont pas gagnantes.

La comparaison avec des détecteurs temps réel hors de la famille YOLO est elle aussi instructive. Face à l'architecture end-to-end RT-DETR :

  • YOLOv10-S est 1.8 fois plus rapide que RT-DETR-R18 ;
  • YOLOv10-X est 1.3 fois plus rapide que RT-DETR-R101 ;
  • dans le tableau 1, leurs AP respectifs sont 46.3 contre 46.5 et 54.4 contre 54.3 : la précision reste proche dans ces deux paires.

Études d'ablation

Les auteurs évaluent YOLOv10-S et YOLOv10-M en ajoutant progressivement trois groupes de modifications. Ils observent à chaque étape la latence, les paramètres, le calcul et l'AP.

Sur YOLOv10-S, la seule introduction de l'apprentissage sans NMS par double attribution cohérente fait passer la latence de bout en bout de 7.07 ms à 2.44 ms. L'AP passe cependant de 44.9 à 44.3 : la perte de 0.6 point d'AP s'accompagne d'un gain de 4.63 ms.

L'ajout des optimisations d'architecture axées sur l'efficacité enlève, sur YOLOv10-M, 11.8 millions de paramètres et 20.8 GFLOPs, tout en abaissant la latence de 0.65 ms. Les blocs guidés par le rang et le sous-échantillonnage séparé contribuent ainsi à réduire la redondance du calcul.

Enfin, les modules axés sur la précision donnent à YOLOv10-S 1.8 point d'AP supplémentaire pour 0.18 ms de plus. YOLOv10-M gagne 0.7 point d'AP pour 0.17 ms de plus. La version M n'emploie pas les grands noyaux : son gain à cette étape vient de la PSA. Comme les modifications sont cumulatives, ce tableau ne sépare pas la contribution propre de chacun des deux modules.

Le système sans NMS remplace-t-il vraiment l'approche classique ?

Malgré sa faible latence et ses bons résultats globaux, l'apprentissage sans NMS conserve, selon les auteurs, un écart de précision par rapport à l'attribution classique suivie de NMS.

Cet écart varie toutefois avec la taille du modèle.

Sur YOLOv10-X, les deux stratégies atteignent 54.4 AP. Sur le petit YOLOv10-N, l'AP sans NMS reste inférieur de 1.0 point à celui de l'entraînement classique.

Pourquoi ? Les auteurs supposent qu'une attribution one-to-one dépend davantage de caractéristiques discriminantes : chaque vérité terrain ne reçoit qu'un seul échantillon positif, que les petits modèles ont peut-être plus de mal à choisir correctement.

Pour examiner cette hypothèse, ils tracent la figure suivante :

Sur l'ensemble de validation COCO, ils calculent pour chaque anchor la similarité cosinus moyenne entre ses caractéristiques et celles des autres anchors.

La similarité moyenne décroît lorsque le modèle grandit. Les auteurs y voient des caractéristiques plus discriminantes, favorables à l'appariement one-to-one ; cette figure ne démontre cependant pas, à elle seule, la cause de l'écart d'AP.

Une interprétation plausible se dessine donc : dans cette famille YOLOv10, la capacité des petits modèles pourrait accentuer l'écart d'AP entre les deux stratégies, tandis que l'écart plus faible des grands modèles va dans le même sens que la tendance des similarités.

Pourquoi alléger le réseau ne détruit-il pas la précision ?

YOLOv10 mise sur trois modifications pour l'efficacité : une tête de classification légère, un sous-échantillonnage séparant espace et canaux, et une allocation des blocs guidée par le rang.

Les expériences montrent une baisse des paramètres et du calcul avec peu de perte de précision.

Plus précisément, la simplification de la tête de classification fait passer l'AP de 44.3 à 44.2 ; l'analyse des erreurs montre qu'à ce stade, corriger les erreurs de régression est plus profitable. Le gain de 0.7 point d'AP du sous-échantillonnage provient d'une comparaison avec l'ordre alternatif DW→PW, et non d'une ligne unique du tableau cumulatif plus haut. Remplacer les stages 8 et 4 par des CIB guidés par le rang ne réduit pas l'AP, tandis que l'ajout du stage 7 le fait passer de 44.5 à 44.3.

Plus de précision, pour presque la même latence ?

Après les optimisations d'efficacité, YOLOv10 introduit deux modules pour améliorer la précision : les convolutions à grands noyaux et la Partial Self-Attention (PSA). Ils renforcent le champ réceptif et la modélisation sémantique pour une faible latence supplémentaire, surtout dans les petits modèles.

Sur YOLOv10-S, l'ajout successif des noyaux 7×7 puis de la PSA apporte respectivement 0.4 et 1.4 point d'AP, pour 0.03 ms et 0.15 ms de latence supplémentaires.

Les grands modèles disposent déjà d'un large champ réceptif, d'où un gain marginal plus faible des grands noyaux ; seuls les petits modèles, comme YOLOv10-N / S, les reçoivent.

Dans l'ablation de YOLOv10-S, la PSA est 0.05 ms plus rapide qu'un bloc Transformer complet de comparaison et lui est supérieure de 0.3 point d'AP. Les auteurs pensent que l'attention sur une partie des canaux peut réduire la redondance et faciliter l'optimisation. Passer d'un à deux blocs PSA apporte encore 0.2 point d'AP, mais coûte 0.10 ms de plus : la configuration par défaut n'en garde donc qu'un.

Conclusion

Grâce à un apprentissage sans NMS et à une architecture allégée dans son ensemble, YOLOv10 propose une chaîne d'inférence plus simple et un meilleur compromis vitesse-précision pour la détection d'objets en temps réel.

Pour les développeurs, le principal intérêt est la simplicité du déploiement : une étape NMS en moins et un ensemble d'opérateurs mieux circonscrit rendent le modèle plus facile à maintenir et à optimiser dans TensorRT ou ONNX Runtime.

Les retours pratiques de l'industrie restent toutefois contrastés :

  • sur GPU de serveur ou sur un Jetson Orin haut de gamme, YOLOv10-M/B peut souvent conserver un AP comparable à YOLOv8 avec 30 à 40 % de calcul en moins, un atout pour les flux vidéo multiples et la forte concurrence ;
  • sur NPU ou appareil mobile, l'avantage en latence dépend du support matériel des convolutions en profondeur, des grands noyaux et de la PSA. Il arrive que YOLOv10 soit moins rapide que YOLOv8 ou YOLOv9.

Sur le plus petit modèle, l'apprentissage sans NMS présente encore environ un point d'AP d'écart : améliorer le pouvoir discriminant des petites architectures reste une piste importante.

En pratique, vérifiez donc le support des opérateurs sur votre plateforme et mesurez les performances avant de choisir !