Retour à la bibliothèque
arXiv 2024CVPR 2024Détection d’objetsNotes de lecture

YOLO-World

À la poursuite des mots

Article original

YOLO-World: Real-Time Open-Vocabulary Object Detection

Auteurs de l’article

Tianheng Cheng · Lin Song · Yixiao Ge · Wenyu Liu · Xinggang Wang · Ying Shan

Publication
CVPR 2024Conférence
Premier dépôt sur arXiv
arXiv:2401.17270
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{objectdetectionyoloworld2024,
  title = {{YOLO-World: Real-Time Open-Vocabulary Object Detection}},
  author = {Tianheng Cheng and Lin Song and Yixiao Ge and Wenyu Liu and Xinggang Wang and Ying Shan},
  year = {2024},
  eprint = {2401.17270},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2401.17270}
}
Sur cette page

À l’heure où YOLO incarne la détection d’objets, la vitesse et l’efficacité ne sont plus des sujets nouveaux.

La vraie difficulté, c’est l’enfermement dans des catégories fixes.

Définir le problème

En dix ans, la détection d’objets a fait des progrès spectaculaires.

Nous avons vu la série R-CNN construire peu à peu l’univers réglé des détecteurs en deux étapes ; SSD et RetinaNet simplifier la procédure en interrogeant chaque ancre à partir des pixels ; puis DETR introduire les requêtes et les Transformers, au point que « détecter » ne consiste plus seulement à localiser, mais aussi à dialoguer avec le sens.

Au milieu de toutes ces architectures, la série YOLO a toujours suivi sa propre voie.

Elle réduit sans cesse le coût du calcul et pousse une architecture simple vers les limites de l’inférence en temps réel : aller vite ! Encore plus vite ! Toujours plus vite !

Pourtant, malgré ces générations de techniques, une chose a rarement changé :

La plupart des détecteurs vivent encore dans un monde au « vocabulaire fixe ».

Les données d’entraînement définissent les mots que le modèle sait prononcer : sans « cerf-volant » dans le jeu de données, il n’apprendra pas à en reconnaître un. COCO compte 80 catégories, Objects365 en compte 365, mais le monde réel contient bien d’autres objets qui n’ont pas encore de nom dans ces jeux de données.

Comment donner au modèle la capacité d’« ouvrir le dictionnaire », au lieu de choisir seulement parmi les réponses connues ?

La détection d’objets à vocabulaire ouvert (Open-Vocabulary Object Detection, OVD) cherche à lever cette limite. Le détecteur doit franchir la frontière des catégories fixes et comprendre le « sens », plutôt que mémoriser seulement les correspondances entre images et étiquettes.

Mais chaque tentative d’OVD a un prix élevé.

Résoudre le problème

L’architecture de YOLO-World apparaît dans la figure ci-dessus.

Elle conserve le schéma général de YOLO : un backbone encode l’image, un module fusionne les caractéristiques à plusieurs échelles, puis le modèle prédit des boîtes et des représentations d’objets. Pour sortir du cadre des catégories fermées, YOLO-World y ajoute un encodeur de texte et un module de fusion multimodale.

Voici le déroulement :

  1. L’invite de l’utilisateur, qu’il s’agisse d’une description, de noms ou d’une liste de catégories, est d’abord organisée en groupes nominaux, puis encodée en vecteurs sémantiques par l’encodeur de texte de CLIP.
  2. L’encodeur d’images de YOLOv8 extrait des caractéristiques à plusieurs échelles.
  3. Le nouveau RepVL-PAN aligne et fusionne les caractéristiques textuelles et visuelles.
  4. Enfin, la tête découplée prédit à la fois les boîtes et les représentations sémantiques des objets, à comparer au vocabulaire fourni.

YOLO-World ne dépend ainsi plus d’un classifieur limité à des catégories fixes : l’appariement sémantique repère les régions correspondant aux mots saisis. On peut changer le vocabulaire à l’inférence, à condition d’encoder les nouveaux mots et de mettre à jour les poids du vocabulaire hors ligne ; la capacité sans entraînement sur les nouvelles classes dépend toujours de l’alignement image-texte appris au préentraînement.

Dans cette architecture, détecter passe de « quelle catégorie prédire ? » à « cette région correspond-elle à ce que décrit ce mot ? ».

Regardons maintenant de plus près comment fonctionne RepVL-PAN.

RepVL-PAN

La figure montre RepVL-PAN, le Re-parameterizable Vision-Language Path Aggregation Network proposé par YOLO-World. Ce module renforce les échanges entre image et texte au stade de la fusion des caractéristiques multiéchelles.

Un PAN classique ne fait circuler et ne fusionne que des caractéristiques visuelles. Pour détecter avec un vocabulaire ouvert, le signal visuel seul ne suffit pas à comparer les sens. RepVL-PAN introduit donc l’information linguistique dans ce trajet visuel pour qu’elle participe à la construction des cartes de caractéristiques.

Il comporte deux composants essentiels :

  1. Text-guided CSPLayer

    Dans YOLO, CSPLayer est un empilement résiduel amélioré qui maintient la stabilité des caractéristiques et la richesse des canaux. YOLO-World en propose une version guidée par le texte (Text-guided CSPLayer) afin que les caractéristiques de chaque couche s’ajustent au sens des mots.

    Pour les caractéristiques visuelles Xl∈RH×W×DX_l \in \mathbb{R}^{H \times W \times D} d’une échelle et l’ensemble des représentations textuelles W={wj}j=1CW = \{w_j\}_{j=1}^C, on calcule la similarité entre chaque position et les mots ; sigmoid transforme ensuite ces valeurs en poids d’attention :

    Xl′=Xl⋅δ(max⁡j∈{1..C}(XlWj⊤))⊤X_l' = X_l \cdot \delta\left( \max_{j \in \{1..C\}} (X_l W_j^\top) \right)^\top

    Ici, δ(⋅)\delta(\cdot) désigne sigmoid : la plus grande similarité textuelle à chaque position devient un coefficient de pondération. Les caractéristiques visuelles suivent ainsi les indices sémantiques et forment la carte Xl′X_l'.

    Ces caractéristiques enrichies sont concaténées à la sortie originale de CSPLayer, puis transmises au niveau suivant du PAN pour construire peu à peu une pyramide sensible aux mots.

  2. Image-Pooling Attention

    YOLO-World prévoit aussi le trajet inverse : l’image doit pouvoir renseigner la représentation des mots. C’est le rôle de l’Image-Pooling Attention.

    Les caractéristiques visuelles de chaque échelle sont condensées en plusieurs vecteurs régionaux, par exemple des patch tokens de 3×33 \times 3, soit 27 au total. Ces tokens X~∈R27×D\tilde{X} \in \mathbb{R}^{27 \times D} jouent le rôle de clés et de valeurs dans une attention multi-tête qui met à jour les représentations textuelles :

    W′=W+MultiHeadAttention(W,X~,X~)W' = W + \text{MultiHeadAttention}(W, \tilde{X}, \tilde{X})

    Les représentations des mots ne sont donc plus statiques : elles intègrent le contexte de l’image courante, ce qui rapproche les mots du contenu visuel.


L’un de ces mécanismes fait entrer le langage dans l’image ; l’autre laisse l’image enrichir les mots. Ensemble, ils forment un circuit sémantique dans les deux sens.

Les caractéristiques linguistiques et visuelles mises à jour participent alors ensemble à la détection. Le modèle peut comparer les sens sans classifieur attaché à des catégories fixes.

Une autre clé de ce dispositif est la reparamétrisation : on encode le vocabulaire choisi puis on intègre ses vecteurs aux poids de convolution ou de couches linéaires. Tant que ce vocabulaire hors ligne reste fixé, l’inférence ne relance pas l’encodeur de texte CLIP pour chaque image. Changer les mots exige un nouvel encodage.

Stratégie de préentraînement

Le langage et l’image sont deux modalités différentes. Pour apprendre ce que désigne un mot, le modèle doit finalement apprendre une chose :

L’association entre les mots et les régions de l’image.

YOLO-World utilise un apprentissage contrastif région-texte pour distinguer « ici, c’est un chien » de « ici, cela ressemble à un chien ».

Pour cela, les auteurs réorganisent les données d’entraînement : chaque ensemble d’annotations est représenté ainsi :

Ω={(Bi,ti)}i=1N\Omega = \{(B_i, t_i)\}_{i=1}^N

BiB_i est la boîte de la région ii dans l’image ; tit_i est le mot associé.

Il peut s’agir d’un nom de catégorie ou d’un groupe nominal extrait d’une description (noun phrase).

Apprentissage contrastif

Pendant la passe avant, YOLO-World prédit KK régions dans chaque image, chacune dotée d’un vecteur eke_k. L’encodeur de texte produit en parallèle, pour l’ensemble de mots TT, les vecteurs {wj}\{w_j\} correspondants.

Pour donner un sens à leur similarité, le modèle calcule :

sk,j=α⋅L2Norm(ek)⋅L2Norm(wj)⊤+βs_{k,j} = \alpha \cdot \text{L2Norm}(e_k) \cdot \text{L2Norm}(w_j)^\top + \beta

Les paramètres apprenables α,β\alpha, \beta règlent l’échelle et le décalage pour stabiliser l’entraînement. La normalisation L2 fait surtout dépendre la similarité de la direction, donc du sens, et non de la norme des vecteurs.

La matrice de similarité transforme la classification des mots en tâche d’appariement sémantique. Après une association des boîtes prédites et annotées selon le task-aligned assignment, la perte contrastive région-texte est calculée sur la similarité entre objets positifs et textes :

Lcon=CrossEntropy(sk,j,yk)\mathcal{L}_{\text{con}} = \text{CrossEntropy}(s_{k,j}, y_{k})

Séparation des tâches

YOLO-World apprend non seulement à partir de jeux de détection annotés, comme COCO, mais aussi de données d’ancrage (grounding) et de paires image-texte.

Comme ces données n’ont pas toutes la même qualité, un indicateur λI\lambda_I détermine si la perte de régression des boîtes est utilisée :

  • Si l’image II vient de données de détection ou d’ancrage, les pertes IoU et distributed focal loss sont calculées.
  • Si l’image II vient de paires image-texte, comme CC3M, seule la perte contrastive d’appariement sémantique est calculée.

La perte totale s’écrit :

L(I)=Lcon+λI⋅(Liou+Ldfl)\mathcal{L}(I) = \mathcal{L}_{\text{con}} + \lambda_I \cdot (\mathcal{L}_{\text{iou}} + \mathcal{L}_{\text{dfl}})

YOLO-World peut ainsi traiter des données de provenances et de qualités différentes, tout en conservant la généralisation et la précision de régression des boîtes.

Annotation automatique

La pseudo-annotation est une pièce maîtresse du préentraînement à grande échelle de YOLO-World.

CC3M, par exemple, contient beaucoup de descriptions image-texte mais pas de boîtes annotées ; les annoter toutes à la main serait irréaliste.

YOLO-World adopte donc une procédure en trois étapes :

  1. Extraire les mots : relever les groupes nominaux des descriptions, par exemple « a dog running in the park » → « dog », « park ».
  2. Proposer les boîtes : le détecteur GLIP préentraîné prédit des boîtes pour ces mots dans l’image.
  3. Filtrer : CLIP mesure la pertinence image-description et région-mot afin d’écarter les pseudo-paires peu fiables ; la suppression des non-maxima (NMS) élimine les boîtes redondantes.

Au final, les auteurs sélectionnent 246 000 images de CC3M et produisent environ 821 000 pseudo-annotations région-texte, une source importante pour entraîner YOLO-World.

Discussion

Les expériences couvrent l’évaluation sans entraînement sur les nouvelles classes (zero-shot), le réglage fin et la segmentation d’instances à vocabulaire ouvert. Elles examinent la généralisation de YOLO-World, son utilité et ses possibilités d’extension.

Voyons quelques résultats essentiels ; les détails figurent dans l’article original.

La généralisation d’un petit modèle

Les auteurs évaluent YOLO-World sans réglage fin sur LVIS minival, avec les résultats ci-dessus. Les paramètres et FPS entre parenthèses correspondent au modèle original avec encodeur de texte ; ceux hors parenthèses, à la version reparamétrée avec vocabulaire hors ligne fixé.

Sans réglage fin sur LVIS, YOLO-World-L préentraîné avec O365, GoldG et CC3M pseudo-annoté atteint 35,4 Fixed AP / 52 FPS sur LVIS minival. Dans les lignes du tableau, AP et FPS dépassent ceux de GLIP et Grounding DINO ; les données de préentraînement et les modes de déploiement ne sont toutefois pas tout à fait identiques.

Ce résultat est mesuré sur un V100, sans accélération TensorRT ni FP16. Le processus d’inférence lui-même se révèle donc très efficace dans cette configuration.

On peut en tirer plusieurs observations :

  • L’expérience utilise les 1 203 catégories de LVIS et retient au plus 1 000 prédictions. Le tableau donne l’AP global ainsi que l’AP des classes rares, communes et fréquentes ; la stabilité par catégorie et le rôle du post-traitement demandent des tests distincts.
  • YOLO-World-S, le plus petit modèle, ne compte que 13 millions de paramètres et atteint tout de même 26,2 AP. Ses résultats s’approchent de ceux de certaines architectures intermédiaires, ce qui montre le potentiel de mise à l’échelle de la méthode et d’applications légères.

Les détecteurs à vocabulaire ouvert précédents étaient souvent difficiles à déployer à cause de leur taille et de leur dépendance envers les modules de langage.

Ici, la vitesse de détection à vocabulaire ouvert atteint le temps réel sur le V100 utilisé dans l’article. Une éventuelle utilisation sur matériel embarqué doit encore être mesurée sur la cible prévue.

Ablation des modules

Pour mesurer la contribution de RepVL-PAN, les auteurs isolent ses deux modules principaux : Text-guided CSPLayer (T→I), où le texte agit sur l’image, et Image-Pooling Attention (I→T), où l’image renseigne le texte.

Le tableau donne les résultats de cinq configurations de détection sans entraînement sur LVIS :

  • « T→I » indique que Text-guided CSPLayer est activé ;
  • « I→T » indique que Image-Pooling Attention est activé ;
  • « GQA » indique l’ajout du jeu GQA, riche en langage, au préentraînement.

L’expérience comporte deux groupes.

D’abord, sans préentraînement sur GQA :

  • Sans module de langage (référence), l’AP vaut 22,4 et l’AP des classes rares (APrAP_r) 14,5.
  • Avec T→I, l’AP passe à 23,2 et APrAP_r à 15,2.
  • Avec T→I et I→T ensemble, l’AP atteint 23,5 et APrAP_r 16,2. Les deux modules aident donc davantage les mots peu fréquents dans cette comparaison.

Même sans annotations textuelles riches, ces modules aident YOLO à stabiliser l’alignement sémantique.

Puis, avec GQA dans le préentraînement :

  • Ajouter GQA sans module de langage donne déjà 29,7 AP / 21,0 APrAP_r : les mots supplémentaires de GQA améliorent la reconnaissance sémantique dans cette expérience.
  • Ajouter GQA et les deux modules donne le meilleur résultat de ce tableau : 31,9 AP / 22,5 APrAP_r. L’AP des classes communes (APcAP_c) et fréquentes (APfAP_f) atteint respectivement 29,9 / 35,4.

En somme :

  • T→I apporte une fusion précoce guidée par les mots : les caractéristiques visuelles s’alignent sur le sens dès le début ;
  • I→T apporte le retour contextuel : les vecteurs des mots tiennent mieux compte de l’image ;
  • Dans les lignes avec GQA, activer les deux modules donne 2,2 AP de plus qu’en désactiver les deux ; sans GQA, l’écart est de 1,1 AP. Le tableau ne contient pas de ligne « I→T seul » : on ne peut donc pas mesurer séparément toute sa contribution.

Ces résultats montrent que YOLO-World ne repose pas seulement sur l’empilement de backbones. Il ajoute au PAN deux voies de fusion entre langage et image pour mieux aligner les mots d’un vocabulaire ouvert sur les régions visuelles.

Réglage fin de l’encodeur de texte

Pour produire les représentations des mots, YOLO-World compare deux encodeurs de texte aux préentraînements différents, CLIP-base et BERT-base, avec ou sans réglage fin.

Les résultats sont les suivants :

  • Quand l’encodeur reste gelé, CLIP-base dépasse BERT-base : d’après les valeurs du tableau, l’écart pour les classes rares de LVIS est de 11,1 points d’AP (14,5 contre 3,4) ; l’AP global passe de 14,6 à 22,4.
  • Le réglage fin de BERT-base améliore son AP à 18,3 et celui des classes rares à 6,6, toujours sous le niveau de CLIP gelé.
  • À l’inverse, régler finement CLIP dégrade le résultat : l’AP passe de 22,4 à 19,3, et APrAP_r de 14,5 à 8,6.

Ces chiffres suggèrent plusieurs choses :

  • CLIP a appris sur des paires image-texte ; dans cette expérience LVIS sans entraînement sur les nouvelles classes, CLIP gelé surpasse BERT gelé.
  • Le réglage fin de BERT augmente l’AP de 14,6 à 18,3.
  • Le réglage fin de CLIP nuit ici au résultat. Les auteurs supposent que les 365 noms de classes d’O365 pourraient réduire sa généralisation antérieure ; c’est une interprétation de cette expérience, pas une loi générale.

Dans cette configuration à vocabulaire ouvert, l’intérêt d’un réglage fin de l’encodeur de texte doit donc être vérifié selon son préentraînement et la diversité des mots visés.

Extension aux tâches en aval

YOLO-World ne se limite pas à détecter des objets : il s’étend à la segmentation d’instances à vocabulaire ouvert (Open-Vocabulary Instance Segmentation, OVIS). Il faut alors non seulement entourer « ce que c’est », mais aussi tracer « son contour ».

Les auteurs distinguent deux configurations :

  1. COCO → LVIS : réglage fin avec les annotations de masques des 80 classes de COCO, puis évaluation du transfert aux 1 203 classes de LVIS.
  2. LVIS-base → LVIS : réglage fin avec les annotations de masques des 866 classes de LVIS-base, puis évaluation sur toutes les classes, dont 337 rares.

Deux stratégies de réglage fin sont également comparées :

  • Régler seulement la tête de segmentation : garder le détecteur préentraîné pour préserver la généralisation aux mots nouveaux.
  • Régler tous les modules (All) : adapter plus complètement le modèle à la segmentation, au risque de réduire la souplesse acquise pour les catégories inédites.

Quand seule la tête de segmentation est réglée :

  • Après un entraînement sur COCO, YOLO-World-L atteint 16,2 AP / 12,4 APrAP_r ;
  • Avec LVIS-base, dont les annotations sont plus détaillées et le vocabulaire plus dense, il atteint 19,1 AP / 14,2 APrAP_r.

Ainsi, même avec le détecteur gelé, entraîner seulement la tête de segmentation donne un AP de masque non nul sur les classes rares inédites de LVIS. Mais les deux sources d’entraînement ont des annotations différentes : on ne peut attribuer l’écart uniquement au préentraînement sémantique.

Si l’on règle l’ensemble du modèle, PAN, modules de langage et tête de détection compris :

  • Avec LVIS-base, YOLO-World-L atteint 28,7 AP, nettement plus que lorsque seule la tête de segmentation est réglée.
  • Le APrAP_r des masques monte de 14,2 à 15,0, tandis que le APrbAP_r^b des boîtes baisse de 18,0 à 17,4. Les deux métriques évoluent dans des directions opposées : on ne peut pas dire que toute la généralisation des classes rares en segmentation recule.

Ce résultat illustre un problème classique du vocabulaire ouvert :

Régler tout le modèle augmente l’AP global des masques, mais fait légèrement reculer l’AP des boîtes des classes rares dans cette configuration.

Si l’on cherche l’AP global des masques, le réglage complet est meilleur dans cette expérience. Pour les classes inconnues, il faut regarder aussi bien l’AP rare des masques que celui des boîtes.

Ce tableau rappelle que les métriques choisies changent l’évaluation de la stratégie de réglage fin ; avant tout déploiement, il faut vérifier la distribution réelle des catégories.

Conclusion

La fusion dans les deux sens de RepVL-PAN fait des mots autre chose que des étiquettes collées aux prédictions : ils participent directement à la construction des caractéristiques. L’idée n’est pas de faire du langage un auxiliaire de l’image, ni l’inverse, mais d’organiser leur coopération à égalité.

Pour nous, développeurs, YOLO-World ouvre plusieurs pistes :

  • On n’a pas besoin d’attendre les très grands modèles multimodaux pour mêler langage et vision.

    Avec une architecture bien pensée et resserrée, même un détecteur YOLO axé sur la vitesse peut apprendre un alignement sémantique qui se généralise.

  • Le vocabulaire ouvert ne se cantonne plus aux traitements hors ligne.

    Avec un module comme RepVL-PAN, on peut envisager un détecteur déployé avec peu de ressources, qui reconnaisse des objets définis par les mots de l’utilisateur plutôt que par une liste de classes figée.

  • Reparamétrer les modules de langage apporte un compromis utile.

    On peut conserver l’avantage de la généralisation sémantique tout en maîtrisant le coût d’inférence. C’est important pour des systèmes destinés à la périphérie, dont la vitesse reste à mesurer sur le matériel cible.

L’apport de l’article va au-delà de « mettre CLIP dans YOLO » : il repense la rencontre entre langue et vision au niveau du trajet des caractéristiques et réduit, par la reparamétrisation, le coût de cet alignement lorsque le vocabulaire d’inférence reste fixé.

Les mots et les images n’ont plus besoin d’une architecture coûteuse pour se rencontrer.