Retour à la bibliothèque
arXiv 2020Détection d’objetsNotes de lecture

YOLOv4

Conseils pour concevoir un modèle

Article original

YOLOv4: Optimal Speed and Accuracy of Object Detection

Auteurs de l’article

Alexey Bochkovskiy · Chien-Yao Wang · Hong-Yuan Mark Liao

Publication
Lieu de publication non encore vérifié
Premier dépôt sur arXiv
arXiv:2004.10934
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{objectdetectionyolov42020,
  title = {{YOLOv4: Optimal Speed and Accuracy of Object Detection}},
  author = {Alexey Bochkovskiy and Chien-Yao Wang and Hong-Yuan Mark Liao},
  year = {2020},
  eprint = {2004.10934},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2004.10934}
}
Sur cette page

Cet article a un air très industriel : on dirait presque le mode d’emploi d’un modèle de détection d’objets.

Partons donc de la conception d’ensemble pour voir comment construire un bon détecteur d’objets.

Vue d’ensemble de l’architecture

Un détecteur d’objets comprend généralement quatre grands modules : Input, Backbone, Neck et Head.

Chacun a son rôle ; on peut les relier et les combiner presque comme des briques de construction.

  • Input

    Au-delà de l’image elle-même, l’entrée peut intégrer une pyramide multiéchelle, des augmentations de données, un découpage en régions (patching) ou un changement de résolution. Le but est d’aider le modèle à reconnaître les objets dès cette étape.

  • Backbone

    Ce module extrait les caractéristiques. Il reprend souvent des architectures de classification comme VGG, ResNet ou DenseNet, ou des variantes conçues pour la détection comme CSPDarknet et DetNet. Il transforme l’image en cartes de caractéristiques contenant des informations visuelles et sémantiques.

  • Neck

    Il fusionne des cartes issues de différents niveaux, pour équilibrer les détails de localisation des couches peu profondes et la sémantique des couches profondes. FPN, PAN, BiFPN et NAS-FPN cherchent chacun à améliorer cette circulation de l’information.

  • Head

    Ce dernier module classe les objets et prédit leurs boîtes. On distingue notamment la prédiction dense de YOLO et SSD de la prédiction sur régions candidates de la famille R-CNN ; c’est là que se joue une grande partie du compromis entre précision et vitesse.

Deux voies de conception

Au fil du temps, les détecteurs d’objets se sont développés selon deux grandes stratégies : une étape ou deux étapes.

  • Détection en deux étapes (two-stage) : Faster R-CNN et Libra R-CNN génèrent d’abord des régions candidates (region proposals), puis les classent et ajustent leurs boîtes. Cette approche modélise finement les régions et peut convenir aux tâches exigeant une localisation précise. RepPoints est pour sa part une méthode sans ancres fondée sur des points représentatifs, avec deux affinages successifs de la localisation ; il ne faut pas confondre ces affinages avec les deux étapes classiques « propositions, puis classification ».
  • Détection en une étape (one-stage) : YOLO, SSD et RetinaNet prédisent directement sur l’image entière, sans étape de génération de propositions, afin de gagner en efficacité. Les méthodes sans ancres comme CenterNet, FCOS et CornerNet ont aussi réduit l’écart de précision avec les détecteurs en deux étapes.

Ces deux voies illustrent le compromis entre vitesse et précision. YOLOv4 cherche à trouver un bon équilibre sur cet axe.

Le neck et la fusion des caractéristiques

À mesure que le backbone gagne en profondeur et en largeur, bien combiner ses cartes de caractéristiques devient crucial pour la prédiction.

C’est le rôle du neck : rapprocher informations sémantiques et spatiales avant le head. Parmi les solutions courantes :

  • FPN (Feature Pyramid Network) introduit une fusion descendante : les caractéristiques profondes sont rééchantillonnées vers le haut puis combinées niveau par niveau.
  • PAN (Path Aggregation Network) ajoute un chemin ascendant pour mieux transmettre les informations des couches peu profondes.
  • BiFPN / NAS-FPN cherchent une meilleure efficacité au moyen, respectivement, d’une fusion bidirectionnelle pondérée et d’une recherche d’architecture.
  • ASPP / RFB / SAM renforcent les représentations grâce à des pyramides spatiales, à la conception du champ réceptif ou à l’attention.

La question commune est de mieux représenter plusieurs échelles sans sacrifier excessivement la vitesse.

Un backbone conçu pour la détection

Pendant que les architectures deviennent modulaires, certains chercheurs repartent du backbone et le redessinent pour les besoins propres à la détection.

  • DetNet et DetNAS adaptent les réseaux de classification à la détection, notamment en conservant une résolution élevée.
  • SpineNet recherche, avec NAS, des circulations de données et des combinaisons de caractéristiques plus souples.
  • HitDetector part directement des besoins de la tâche et conçoit ensemble les étapes allant de l’entrée à la prédiction.

La classification d’images et la localisation ne demandent pas la même chose. Reprendre tel quel un réseau de classification ne suffit donc pas toujours ; repenser le backbone peut être plus efficace.

Techniques d’optimisation de l’entraînement

En détection d’objets, une famille de techniques porte le nom de Bag of Freebies.

Ce sont des méthodes qui augmentent le coût de l’entraînement sans alourdir l’inférence. Leur objectif est d’améliorer précision et généralisation sans ralentir le modèle déployé.

On peut les regrouper en trois catégories : augmentation des données, traitement des étiquettes et optimisation de la fonction de perte.

Augmentation des données

La capacité d’un détecteur à généraliser dépend beaucoup de la variété de ses données. L’augmentation est donc un moyen courant de l’exposer à d’autres conditions visuelles.

  • Modifications des pixels : luminosité, contraste, saturation, teinte, bruit, mais aussi mise à l’échelle, recadrage, retournement ou rotation. Ces transformations changent l’agencement et l’apparence des pixels de départ.
  • Masquage d’une région : Random Erase, CutOut, Hide-and-Seek et GridMask occultent des zones aléatoires pour apprendre au modèle à reconnaître des objets partiellement cachés.
  • Masquage des caractéristiques : DropOut, DropConnect et DropBlock appliquent une idée proche aux cartes intermédiaires, afin de rendre leurs représentations plus robustes.
  • Mélange d’images : MixUp et CutMix fusionnent ou assemblent deux images, puis ajustent les étiquettes par pondération ou proportion de surface.
  • Transfert de style : un GAN peut produire d’autres styles visuels et réduire la dépendance du CNN à certaines textures.

Lissage des étiquettes et distillation

Le traitement des étiquettes est lui aussi une forme de freebie.

En classification, une étiquette one-hot est nette, mais ne traduit aucune proximité entre classes. Le label smoothing remplace cette cible dure par une cible adoucie, pour limiter l’excès de confiance du modèle et favoriser sa stabilité sur des données inédites.

La distillation va plus loin : un modèle teacher plus performant fournit une distribution de sorties plus riche, et un Label Refinement Network aide l’élève à apprendre les relations entre classes.

Optimisation de la fonction de perte

La régression des boîtes est essentielle en détection. Les méthodes classiques appliquent une perte MSE, L1 ou L2 directement aux coordonnées, par exemple au centre ou aux coins. Elles négligent ainsi la géométrie de la boîte entière et restent sensibles à l’échelle des objets.

Une perte fondée sur l’IoU mesure plutôt le recouvrement entre boîte prédite et boîte de référence. Elle tient compte de leur relation géométrique et résiste mieux au changement d’échelle.

Plusieurs variantes ont ensuite été proposées :

  • GIoU (Generalized IoU) : ajoute la plus petite boîte englobante pour fournir un signal même sans recouvrement.
  • DIoU (Distance IoU) : ajoute la distance entre les centres.
  • CIoU (Complete IoU) : combine recouvrement, distance entre centres et rapport largeur-hauteur ; l’article lui attribue aussi une convergence plus rapide dans ses comparaisons.

Ces pertes peuvent rendre l’entraînement plus stable et améliorer la localisation ; elles font partie des choix importants d’un détecteur performant.

Des modules complémentaires

À côté des Bag of Freebies, les Bag of Specials visent aussi une meilleure précision.

Ils ajoutent généralement un coût à l’inférence, mais cherchent à obtenir un gain de précision assez grand pour le justifier.

On peut les ranger selon le champ réceptif, l’attention, la fusion des caractéristiques et le post-traitement NMS, sans oublier le choix de la fonction d’activation.

Agrandir le champ réceptif

Plusieurs modules élargissent le contexte spatial accessible au réseau :

  • SPP (Spatial Pyramid Pooling) vient des représentations multiéchelles utilisées en classification. La variante YOLOv3-SPP l’intègre au réseau convolutif : des max-poolings de tailles différentes, par exemple 1, 5, 9 et 13, sont concaténés sans modifier les dimensions spatiales. Dans la comparaison citée, le coût de calcul augmente de 0,5 % et AP50 de 2,7 points de pourcentage face à YOLOv3-608.
  • ASPP (Atrous Spatial Pyramid Pooling) emploie des convolutions dilatées 3×3 de plusieurs taux pour capter des contextes à diverses échelles.
  • RFB (Receptive Field Block) combine en parallèle des convolutions de dilatations différentes. Sur la configuration SSD citée, le temps d’inférence augmente de 7 % et AP50 de 5,7 points de pourcentage.

Mécanismes d’attention

L’attention règle dynamiquement l’importance de certains signaux ; elle est devenue courante en vision.

  • SE (Squeeze-and-Excitation) repondère les canaux afin de privilégier les caractéristiques discriminantes, avec un coût d’inférence GPU relativement élevé.
  • SAM (Spatial Attention Module) pondère plutôt les positions spatiales. Sa variante utilisée ici coûte peu et influe peu sur la vitesse GPU.

Fusion entre échelles

Les skip connections et les hypercolumns concaténaient déjà des caractéristiques de différentes profondeurs. FPN a ensuite ouvert la voie à d’autres modules de fusion :

  • SFAM : renforce l’attention par canal à partir de SE.
  • ASFF (Adaptive Spatial Feature Fusion) : choisit les poids de fusion entre échelles par softmax point par point.
  • BiFPN : utilise des connexions résiduelles pondérées à plusieurs entrées pour apprendre à combiner les échelles tout en tenant compte du coût.

Évolution des fonctions d’activation

Une bonne activation laisse passer le gradient sans ajouter une charge excessive :

  • ReLU atténue la disparition du gradient rencontrée avec sigmoid ou tanh.
  • LReLU / PReLU conservent un gradient dans la partie négative.
  • ReLU6 / hard-Swish répondent notamment aux contraintes de quantification.
  • SELU vise l’auto-normalisation.
  • Swish / Mish sont lisses et dérivables, ce qui peut aider la convergence et la précision des réseaux profonds.

Ces choix paraissent minimes, mais leurs effets peuvent s’accumuler dans un grand réseau.

Post-traitement NMS

La suppression des non-maxima (NMS) élimine les boîtes prédites en double en fin de détection :

  • NMS classique : classe les boîtes selon leur confiance et leur IoU, mais peut supprimer trop sévèrement des objets occultés.
  • Soft-NMS : diminue progressivement les scores au lieu de rejeter brutalement certaines boîtes.
  • DIoU-NMS : ajoute la distance entre centres à la sélection des boîtes.

Une architecture sans ancres ne supprime pas automatiquement ce traitement : FCOS, par exemple, utilise encore NMS après la prédiction. Les méthodes qui s’en passent exigent une autre stratégie explicite pour éviter les doublons.

Résoudre le problème

Nous pouvons enfin en venir à YOLOv4 lui-même.

Après ce tour des méthodes disponibles, le but des auteurs est clair : trouver une architecture à la fois rapide et précise.

Choix de l’architecture

Pour choisir le backbone, les auteurs partent d’une idée simple : un bon classificateur n’est pas nécessairement un bon détecteur. Ils réévaluent donc les architectures selon la tâche visée.

CSPResNeXt50 réussit bien sur ImageNet, mais CSPDarknet53 fait mieux dans les essais de détection sur MS COCO. Les auteurs relient ce résultat à des exigences plus fortes en détection :

  • Une résolution d’entrée plus élevée pour repérer les petits objets.
  • Plus de profondeur et un champ réceptif plus vaste pour exploiter le contexte.
  • Une capacité en paramètres plus grande pour traiter plusieurs objets et plusieurs échelles.

Ainsi, CSPResNeXt50 possède 16 convolutions 3×3 et un champ réceptif de 425×425, contre 29 convolutions, 725×725 et 27,6 millions de paramètres pour CSPDarknet53 dans la comparaison de l’article.

YOLOv4 retient donc CSPDarknet53 comme backbone, ajoute SPP pour élargir le champ réceptif, puis PANet pour agréger plusieurs niveaux, avant un head YOLOv3 chargé des prédictions.

Sa configuration centrale est la suivante :

  • Backbone : CSPDarknet53
  • Neck : SPP + PANet
  • Head : YOLOv3 (avec ancres)

Choix des stratégies d’entraînement

L’entraînement de YOLOv4 s’appuie sur deux familles de techniques :

  • Bag of Freebies (BoF) : coût supplémentaire pendant l’entraînement, sans surcharge à l’inférence.
  • Bag of Specials (BoS) : légère surcharge à l’inférence pour gagner en précision.

Pour les activations, les auteurs écartent notamment PReLU et SELU, jugés difficiles à faire converger dans ce cadre, ainsi que ReLU6 destiné à la quantification, et retiennent Mish. Pour la normalisation, ils remplacent SyncBN, qui suppose plusieurs GPU, par Cross mini-Batch Normalization (CmBN), adapté à leur entraînement sur un seul GPU.

En apprentissage profond, la normalisation par lots (Batch Normalization, BN) contribue fortement à la stabilité de l’entraînement.

Elle dépend toutefois de statistiques représentatives. Lorsque le modèle est grand, la mémoire limitée ou l’entraînement limité à un seul GPU, les mini-lots peuvent être petits et les statistiques devenir moins fiables.

SyncBN (Cross-GPU BN) partage ces statistiques entre plusieurs GPU. Cela aide leur stabilité, mais demande évidemment plusieurs cartes.

CmBN propose plutôt une agrégation entre mini-lots :

Imaginons qu’un lot d’entraînement soit traité en quatre mini-lots successifs. CmBN agrège leurs moyennes et variances au sein du même lot, comme la ligne verte du schéma. Cela n’a rien à voir avec Mosaic, qui assemble quatre images.

La normalisation exploite ainsi plusieurs mini-lots sans synchronisation entre GPU. Sur le schéma, la ligne orange CBN traverse plusieurs mises à jour des poids : sa portée diffère de celle de CmBN.

Les auteurs retiennent aussi DropBlock pour la régularisation, avec CutMix, MixUp et le lissage des étiquettes parmi les outils d’augmentation à l’entraînement.

Autres améliorations

YOLOv4 ajoute trois optimisations importantes à son entraînement :

  1. Augmentation Mosaic :

    Quatre images sont assemblées en une seule, ce qui diversifie les scènes et donne à BatchNorm davantage d’informations visuelles, même avec de petits lots.

  2. SAT (Self-Adversarial Training) :

    Dans la première phase, le modèle modifie l’image d’entrée pour masquer des objets ; dans la seconde, il apprend à détecter sur cette image modifiée. Ces deux phases se répètent pendant l’entraînement SAT.

  3. Modification des modules :

    • SAM devient une attention point par point : le schéma retire les branches de max-pooling et de average-pooling du SAM initial, puis produit les poids par convolution et sigmoid.

    • Les shortcuts de PANet sont remplacés par des concaténations selon les canaux. Ce schéma seul ne mesure pas la qualité de la fusion.

Ces choix répondent à l’objectif de l’entraînement sur un seul GPU. Pour savoir quels composants apportent un gain, il faut regarder les ablations dans leurs configurations précises de modèle et de résolution.

Vue d’ensemble des composants

Les choix finaux de YOLOv4 se résument ainsi :

Architecture :

  • Backbone : CSPDarknet53
  • Neck : SPP, PAN
  • Head : YOLOv3 Head

Techniques ne coûtant qu’à l’entraînement (BoF pour backbone et détecteur) :

  • Augmentations CutMix et Mosaic
  • Régularisation DropBlock
  • Label smoothing
  • Perte CIoU
  • CmBN
  • SAT
  • Suppression de la sensibilité aux bords de grille
  • Plusieurs ancres associées à une même boîte de référence
  • Cosine annealing scheduler
  • Résolution d’entraînement aléatoire
  • Hyperparamètres optimisés par algorithme génétique

Techniques présentes à l’inférence ou dans son post-traitement (BoS pour backbone et détecteur) :

  • Mish activation
  • Modules CSP
  • Multi-input weighted residual connections
  • Module SPP
  • SAM modifié
  • Agrégation par PAN
  • Post-traitement DIoU-NMS

Configuration des expériences

Les auteurs étudient ces choix sur deux jeux de données : ImageNet pour la classification et MS COCO pour la détection.

Sur ImageNet (validation ILSVRC 2012), les paramètres d’entraînement par défaut sont :

  • Nombre d’itérations : 8 000 000
  • Taille du lot / du mini-lot : 128 / 32
  • Plan d’apprentissage : décroissance polynomiale, taux initial de 0,1
  • Préentraînement progressif (warm-up) : 1 000 itérations
  • Momentum / décroissance des poids : 0,9 / 0,005

Pour les Bag of Freebies (BoF), les auteurs évaluent :

  • MixUp
  • CutMix
  • Mosaic
  • Floutage (blurring)
  • Régularisation par lissage des étiquettes (label smoothing)

Sur MS COCO (test-dev 2017), les paramètres par défaut sont :

  • Nombre d’itérations : 500 500

  • Plan d’apprentissage : décroissance par paliers

    • Taux initial : 0,01
    • Multiplication par 0,1 aux itérations 400 000 et 450 000
  • Momentum / décroissance des poids : 0,9 / 0,0005

  • Taille du lot / du mini-lot : 64 / 8 ou 4 selon le modèle et la mémoire disponible

À part certaines recherches d’hyperparamètres par algorithme génétique, les comparaisons d’une même tâche reprennent ces réglages. Sur ImageNet, les comparaisons BoF prolongent aussi l’entraînement de 50 %.

Pour la recherche d’hyperparamètres, les auteurs utilisent YOLOv3-SPP avec une perte GIoU, sur le sous-ensemble min-val 5k pendant 300 époques. La combinaison retenue est :

  • Taux d’apprentissage : 0,00261
  • Momentum : 0,949
  • Seuil IoU d’attribution : 0,213
  • Coefficient de normalisation de la perte : 0,07

Toutes ces expériences sont menées sur un seul GPU, sans optimisation multicarte comme SyncBN.

Discussion

Effet des choix d’entraînement du classificateur

Les auteurs examinent d’abord comment différentes stratégies modifient la précision finale du classificateur : lissage des étiquettes, augmentations comme le floutage, MixUp, CutMix et Mosaic, et activations Leaky ReLU, Swish et Mish.

Le tableau porte sur les précisions Top-1 et Top-5 de CSPResNeXt50 sur ImageNet. Face à la référence de 77,9 % en Top-1, les éléments suivants apportent un gain :

  • Augmentation CutMix
  • Augmentation Mosaic
  • Lissage des étiquettes de classe
  • Activation Mish

Les auteurs retiennent donc les éléments suivants pour le BoF-backbone, c’est-à-dire les freebies d’entraînement du classificateur :

  • CutMix
  • Mosaic
  • Lissage des étiquettes de classe

Ils ajoutent Mish comme activation : CutMix + Mosaic + lissage donnent 78,5 % en Top-1, puis 79,8 % avec Mish. Dans le tableau, MixUp, le floutage et Swish pris isolément n’améliorent pas le Top-1 de cette référence.

Effet des choix d’entraînement du détecteur

Les auteurs évaluent ensuite les stratégies du détecteur, en particulier les Bag of Freebies for detector (BoF-detector) du tableau ci-dessus.

YOLOv4 étend cette liste avec des techniques d’entraînement qui cherchent à augmenter la précision sans réduire la cadence d’inférence (FPS).

Voici les éléments BoF-detector du Tableau 4 ; chacun ne donne pas forcément un gain AP lorsqu’il est ajouté seul :

  • S: Grid Sensitivity Elimination

    Dans YOLOv3, la coordonnée est définie par bx=σ(tx)+cxb_x = σ(t_x) + c_x, avec cxc_x entier. Il faut que txt_x devienne très grand en valeur absolue pour que bxb_x approche un bord de cellule (cxc_x ou cx+1c_x+1), ce qui complique certains cas situés près de ce bord.

    Les auteurs multiplient donc le résultat du sigmoid par un facteur supérieur à 1 pour réduire cette contrainte.

  • M : augmentation Mosaic Quatre images sont assemblées en entrée afin d’exposer le détecteur à plusieurs scènes et tailles d’objets.

  • IT: IoU Threshold Plusieurs ancres sont associées à chaque boîte de référence si IoU(ancre, vérité terrain) dépasse un seuil, ce qui augmente les exemples utilisés.

  • GA: Genetic Algorithms La recherche d’hyperparamètres est menée pendant les 10 % initiaux de l’entraînement. Ajoutée seule, elle donne 38,9 % AP contre 38,0 % pour la référence ; le tableau ne mesure pas la stabilité de la convergence.

  • LS: Class Label Smoothing Le lissage des étiquettes de classe, ajouté seul, abaisse AP de 38,0 % à 33,0 %. On ne peut donc pas le présenter comme un gain indépendant.

  • CBN: Cross mini-Batch Normalization (CmBN) Les statistiques sont agrégées entre mini-lots d’un même lot ; ajoutée seule, cette méthode fait passer AP de 38,0 % à 38,4 %.

  • CA: Cosine Annealing Scheduler Le taux d’apprentissage suit un cosinus ; ajoutée seule, cette stratégie fait passer AP de 38,0 % à 38,7 %. Le tableau ne fournit pas de courbe d’apprentissage.

  • DM: Dynamic mini-batch Size Le mini-lot grossit lorsque les images d’entraînement sont petites, en association avec une résolution d’entrée variable. Ajoutée seule, cette option donne 35,3 % AP, sous la référence à 38,0 %.

  • OA: Optimized Anchors Les positions et dimensions des ancres sont optimisées pour une résolution d’entrée donnée, par exemple 512×512.

  • BBox Regression Loss Les auteurs comparent GIoU, CIoU, DIoU et MSE pour évaluer la qualité de la régression des boîtes dans ces configurations.


Les auteurs évaluent aussi les Bag of Specials for detector dans le tableau suivant :

Les modules examinés comprennent :

  • PAN : meilleure agrégation et circulation des caractéristiques
  • RFB : champ réceptif élargi par des convolutions dilatées de plusieurs échelles
  • SAM : attention spatiale
  • Gaussian YOLO (G) : représentation probabiliste de la boîte plutôt qu’une estimation ponctuelle
  • ASFF : fusion avec attention entre échelles

Dans la comparaison du Tableau 5 avec CSPResNeXt50 à 512×512, SPP + PAN + SAM atteint le meilleur AP, 42,7 %, soit 0,3 point de pourcentage de plus que SPP + PAN. Certaines lignes ajoutant Gaussian YOLO ou RFB font moins bien. Le tableau ne couvre pas toutes les combinaisons possibles.

Effet du backbone

Le tableau ci-dessus compare la précision du détecteur avec différents backbones.

Il rappelle qu’les classements en classification et en détection d’objets diffèrent.

Avec plusieurs astuces d’entraînement, CSPResNeXt50 obtient en classification une précision généralement supérieure à celle de CSPDarknet53. Une fois employés comme backbones de détection, c’est pourtant CSPDarknet53 qui donne les meilleurs résultats de cette comparaison.

Plus précisément, BoF et Mish améliorent encore la classification de CSPResNeXt50, mais l’initialisation du détecteur avec ces poids préentraînés fait reculer sa précision de détection. Pour CSPDarknet53, BoF et Mish améliorent la classification et la détection obtenue ensuite avec ce backbone.

Dans ces essais, la précision du préentraînement en classification ne prédit donc pas à elle seule l’AP de détection.

Dans le Tableau 6, avec PANet-SPP et une entrée 512×512, CSPDarknet53 + BoF + Mish atteint 43,0 % AP, contre 42,3–42,4 % pour CSPResNeXt50. Cette comparaison n’isole pas la contribution du champ réceptif.

Effet de la taille du mini-lot

Les auteurs examinent enfin l’effet de la taille des mini-lots sur l’entraînement.

Avec CSPDarknet53 + BoF/BoS et une entrée 512, les mini-lots de 4 et 8 donnent respectivement 41,6 % et 41,7 % AP. Avec CSPResNeXt50, une entrée 608 et sans BoF/BoS, les chiffres sont 37,1 % et 38,4 % AP. Le backbone, la résolution et les techniques d’entraînement changent en même temps : on ne peut attribuer cet écart à BoF/BoS seulement.

Ce point compte pour la pratique.

Dans la configuration sur un seul GPU étudiée ici, les mini-lots de 4 et 8 donnent un AP proche. Le tableau ne vérifie pas si cela reste vrai avec un lot plus petit, d’autres GPU ou d’autres données.

Benchmark

Le graphique sépare les architectures GPU Maxwell, Pascal et Volta et met en regard FPS et AP sur COCO test-dev. Les résolutions de YOLOv4 dessinent plusieurs compromis vitesse-précision, proches de la frontière de Pareto parmi les points comparés par les auteurs.

Par exemple, YOLOv4-608 atteint 43,5 % AP et 23/33 FPS dans les colonnes Maxwell/Pascal ; à la résolution 416, il atteint 41,2 % AP et 38/54 FPS. Comme les méthodes n’emploient pas toutes les mêmes GPU et résolutions, YOLOv4 n’est pas simultanément plus rapide et plus précis à chaque point.

Les auteurs présentent des mesures sur trois familles courantes de GPU :

  • Maxwell : GTX Titan X (Maxwell), Tesla M40
  • Pascal : Titan X (Pascal), Titan Xp, GTX 1080 Ti, Tesla P100
  • Volta : Titan Volta, Tesla V100

Ces tableaux donnent les vitesses mesurées sur ces familles. Il faut comparer le GPU exact, la résolution, le lot de taille 1 et l’absence de TensorRT.

Ils montrent des cadences temps réel ou proches du temps réel sur plusieurs GPU, sans établir les performances sur d’autres appareils ni la stabilité de l’entraînement.

Conclusion

Dans les comparaisons COCO de l’article, YOLOv4 obtient 43,5 % AP et 65,7 % AP50 avec une vitesse d’inférence compétitive selon le GPU et la résolution. Les auteurs montrent aussi qu’un entraînement est possible sur une carte grand public ; la mémoire requise dépend toutefois de la configuration et du mini-lot. Cela abaisse le seuil matériel pour essayer le modèle.

Si vous voulez construire un détecteur d’objets, cet article mérite vraiment le détour.