Retour à la bibliothèque
arXiv 2021ICCV 2021Apprentissage multimodalNotes de lecture

MDETR

L'art de la continuité

Article original

MDETR - Modulated Detection for End-to-End Multi-Modal Understanding

Auteurs de l’article

Aishwarya Kamath · Mannat Singh · Yann LeCun · Gabriel Synnaeve · Ishan Misra · Nicolas Carion

Publication
ICCV 2021Conférence
Premier dépôt sur arXiv
arXiv:2104.12763
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{multimodalitymdetr2021,
  title = {{MDETR - Modulated Detection for End-to-End Multi-Modal Understanding}},
  author = {Aishwarya Kamath and Mannat Singh and Yann LeCun and Gabriel Synnaeve and Ishan Misra and Nicolas Carion},
  year = {2021},
  eprint = {2104.12763},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2104.12763}
}
Sur cette page

Ces dernières années, la détection d'objets est restée au premier plan de la vision par ordinateur et au cœur de nombreux systèmes avancés de compréhension multimodale. Mais l'approche traditionnelle traite le détecteur comme une boîte noire chargée de reconnaître un vocabulaire fixe de concepts. Ses limites apparaissent vite.

Le détecteur ne peut guère être entraîné conjointement avec les autres modalités, et le modèle en aval n'accède qu'aux objets qu'il a détectés, pas à toute l'image. Souvent gelé, il ne peut pas non plus affiner sa perception pour la tâche. Son vocabulaire restreint l'empêche enfin de reconnaître de nouvelles combinaisons de concepts exprimées librement dans le texte.

En bref, les auteurs veulent eux aussi remplacer le détecteur d'objets des modèles vision-langage.

Vous vous souvenez peut-être d'un article qui tentait un remplacement par ViT, sans résultat très convaincant :

Puisque ViT n'est pas précisément un détecteur d'objets, pourquoi ne pas essayer cette fois un modèle conçu pour cette tâche, DETR ?

Définir le problème

La plupart des systèmes avancés de compréhension multimodale s'appuient sur un détecteur d'objets. Cette organisation soulève plusieurs difficultés :

  1. Un entraînement conjoint limité

    Dans un système multimodal, entraîner conjointement les composants signifie exploiter ensemble plusieurs sources, comme l'image, le texte ou le son. Si une partie du système est entraînée isolément, elle ne peut pas tirer pleinement parti des autres informations disponibles.

    Imaginez un modèle recevant une image et une entrée vocale. Si son détecteur visuel a été entraîné seul, sans tenir compte de la voix, il risque de manquer un objet que cette entrée vocale aide pourtant à reconnaître.

  2. Un champ de détection restreint

    Un détecteur reconnaît des objets précis. S'il ne s'intéresse qu'aux catégories connues et ignore le reste de l'image, il peut perdre un contexte utile. Dans une photo montrant plusieurs personnes et un chien, il trouvera peut-être ces objets, mais négligera le parc en arrière-plan, qui pourrait éclairer leur présence.

  3. Un modèle figé

    Une fois entraîné puis « gelé », le détecteur ne s'adapte plus. Un modèle appris sur des scènes estivales pourrait ainsi mal réagir à la neige ou à de gros manteaux s'il ne peut pas être ajusté sur des images d'hiver.

  4. Un vocabulaire limité

    Le détecteur apprend des catégories et des attributs à partir de ses données d'entraînement. Un objet ou une combinaison de concepts qu'il n'y a jamais vus risque de lui échapper.

  5. Une conception qui n'est pas de bout en bout

    Dans un système de bout en bout, les paramètres de la chaîne peuvent être optimisés ensemble depuis l'entrée jusqu'à la sortie. Un détecteur séparé, dont les étapes ne laissent pas passer le gradient vers la tâche aval, limite cet entraînement commun. Mathématiquement, si le gradient ne peut pas traverser la chaîne, on ne peut pas l'optimiser d'un seul tenant !

Résoudre le problème

Conception de MDETR

Le point de départ est simple : pour le texte, on emploie un modèle encodeur amélioré, RoBERTa.

Une fois les caractéristiques textuelles obtenues, celles de l'image et du texte sont projetées séparément vers une même dimension. On les concatène ensuite sur l'axe de la séquence, avant de les transmettre à un encodeur Transformer conjoint de type DETR et à son décodeur de requêtes d'objets.

L'architecture comprend plusieurs éléments :

  • Un backbone convolutif : il encode l'image, puis aplatit ses caractéristiques.
  • L'information spatiale : des encodages de position bidimensionnels ajoutés au vecteur aplati préservent l'emplacement des éléments.
  • Un encodeur textuel : un modèle de langue Transformer préentraîné produit une suite de vecteurs cachés correspondant aux tokens d'entrée.
  • Des projections propres à chaque modalité : l'image et le texte disposent chacun d'une projection linéaire vers un espace de représentation commun.
  • Un encodeur croisé : la séquence concaténée des caractéristiques visuelles et textuelles entre dans un encodeur Transformer conjoint, élément central du modèle.
  • Un décodeur de requêtes d'objets : comme dans DETR, les requêtes prêtent attention à la sortie de l'encodeur commun pour prédire des boîtes et leur correspondance avec le texte.

Mode d'entraînement

  1. Prédiction des soft tokens

L'idée est intéressante : pour chaque objet apparié à une boîte de vérité terrain, la prédiction soft-token cherche les positions des tokens qui le désignent dans le texte d'origine, plutôt qu'une classe d'objet fixe. Les tokens de la portion correspondante reçoivent une probabilité cible uniforme ; les requêtes non appariées apprennent la classe « aucun objet ». C'est une différence centrale avec la détection standard.

Prenons la phrase « un chat noir et un chien blanc ». Lorsqu'il détecte l'animal noir, le modèle doit le relier à « chat noir ». Il ne s'agit ni d'un unique token isolé ni d'une simple étiquette de classe : plusieurs tokens peuvent former le segment qui décrit l'objet.

Ce choix permet aussi de gérer plusieurs mentions d'un même objet dans un texte, ou plusieurs objets auxquels renvoie une seule expression.

Alignement contrastif

L'alignement contrastif rapproche, dans l'espace des caractéristiques, la représentation d'un objet visuel de celle des tokens qui lui correspondent. Cette contrainte agit directement sur les représentations : elle va plus loin que la prédiction soft-token fondée sur la position des mots.

Dans la formule reproduite de l'article :

  • LL désigne le nombre maximal de tokens.
  • NN désigne le nombre maximal d'objets.
  • Ti+T_i^+ est l'ensemble des tokens à aligner avec l'objet oio_i.
  • Oi+O_i^+ est l'ensemble des objets à aligner avec le token tit_i.
  • τ\tau est la température, fixée à 0,07.

La formule illustrée correspond au sens « objet vers tokens » : comme un objet peut posséder plusieurs tokens positifs, on moyenne sur leur nombre. L'article définit aussi le sens symétrique « token vers objets » ; la moyenne des deux termes constitue la perte contrastive complète. L'idée reste simple : objet et texte, mettez-vous d'accord, et rapprochez vos représentations !

Ensemble des pertes

MDETR commence par apparier les boîtes prédites aux boîtes de vérité terrain au moyen d'un appariement biparti. Le coût de cet appariement comprend la prédiction soft-token, la perte L1 et la GIoU. Après l'appariement, la perte d'entraînement combine les pertes de boîte L1/GIoU, l'entropie croisée soft-token et la perte d'alignement contrastif. L'appariement lui-même n'est pas une autre perte de prédiction des boîtes.

Jeux de données

  • CLEVR : sert à évaluer la méthode.
  • Flickr30k : fournit des images au jeu combiné.
  • MS COCO : fournit également des images au jeu combiné.
  • Visual Genome (VG) : autre source d'images du jeu combiné.
  • Les annotations proviennent de jeux d'expressions référentielles, des régions VG, de Flickr Entities et du jeu d'entraînement équilibré de GQA.

Détails techniques

  • Préentraînement de la détection modulée

    Durant cette phase, le modèle doit détecter tous les objets mentionnés dans un texte libre aligné avec l'image.

  • Combiner les données, et pourquoi le faire

    • Pour chaque image, les auteurs rassemblent les annotations textuelles des jeux cités. Les annotations portant sur une même image sont réunies, et toute image présente dans un jeu de validation ou de test est retirée de l'entraînement afin de séparer les partitions.
    • Un algorithme de coloration de graphe combine les phrases : seules celles dont les boîtes désignées ont une GIoU ≤ 0,5 peuvent être placées dans un même groupe. Il ne s'agit pas du chevauchement entre zones de texte. La phrase composée doit rester sous 250 caractères. Cette procédure produit 1,3 million de paires image-texte alignées à partir d'environ 200 000 images.
    • Deux raisons motivent cette combinaison :
      • L'efficacité des données : un exemple d'entraînement plus riche exploite mieux les annotations disponibles.
      • Un meilleur signal d'apprentissage :
        • Le modèle doit résoudre l'ambiguïté lorsque plusieurs objets d'une même catégorie sont mentionnés.
        • Avec une seule phrase, la prédiction soft-token peut être trop facile : le modèle pourrait deviner le sujet sans vraiment regarder l'image.
        • En combinant plusieurs phrases, on l'oblige à examiner plus finement les relations entre image et texte.
  • Choix de l'architecture

    • L'encodeur textuel est RoBERTa-base préentraîné, avec 12 couches d'encodeur Transformer.
    • Deux familles de backbones visuels sont essayées :
      • ResNet-101, fourni par Torchvision et préentraîné sur ImageNet ;
      • EfficientNet-B3 et B5. Le premier atteint 84,1 % de précision top-1 sur ImageNet et le second 86,1 %.
    • Les poids des EfficientNet-B3/B5 proviennent d'un préentraînement Noisy Student avec pseudo-étiquettes sur ImageNet et un grand volume d'images non annotées. Il ne s'agit pas d'une branche supplémentaire indépendante dans MDETR.
    • L'entraînement utilise 32 GPU V100, 40 époques de préentraînement et un lot effectif de 64 ; il dure environ une semaine.

Discussion

Analyse des tâches en aval

  1. Ancrage de segments de phrase (phrase grounding)

    Les auteurs évaluent MDETR sur Flickr30k avec une partition précise d'entraînement, de validation et de test. Deux protocoles traitent le cas où une expression renvoie à plusieurs objets de l'image. Chacun a ses avantages et ses limites.

    1. Protocole ANY-BOX (n'importe quelle boîte)

      Si l'expression désigne plusieurs objets, le rappel Recall@kk compte comme réussi dès qu'une des kk meilleures boîtes prédites atteint une intersection sur union (IoU) supérieure à 0,5 avec l'une quelconque des boîtes de vérité terrain.

    2. Protocole MERGED-BOXES (boîtes fusionnées)

      Si plusieurs objets correspondent à une expression, toutes leurs boîtes de vérité terrain sont d'abord réunies dans leur plus petite boîte englobante, utilisée ensuite pour calculer l'IoU. MDETR prédit normalement les boîtes des instances séparées ; les auteurs le réajustent donc avec des annotations fusionnées pour ce protocole. Ce n'est pas simplement une autre mesure des mêmes sorties du modèle ANY-BOX. La fusion peut masquer le détail de chaque instance et devenir peu informative si les objets sont éloignés.

    3. Comparer les résultats

      • Sous ANY-BOX, le MDETR-R101 sans préentraînement supplémentaire sur les paires image-texte obtient 78,9 en Recall@1 sur la validation, contre 70,4 pour VisualBERT†, soit 8,5 points de plus. RoBERTa et le backbone visuel conservent toutefois leurs propres préentraînements, et les conditions des méthodes diffèrent ; on ne peut pas attribuer tout l'écart à l'architecture.
      • Après préentraînement sur COCO, VG et Flickr30k, MDETR-R101 atteint 83,4 en Recall@1 sur le test, contre 71,3 pour VisualBERT† avec backbone ResNet-101 : 12,1 points de plus. La meilleure ligne ENB5 du tableau change, elle, de backbone.
  2. Compréhension des expressions référentielles

    Beaucoup de méthodes antérieures classent des boîtes déjà extraites de l'image par un détecteur préentraîné.

    MDETR vise une tâche plus exigeante : à partir de l'image et de l'expression, prédire directement la boîte plutôt que classer ces propositions préexistantes.

    Pendant son préentraînement, le modèle apprend à détecter tous les objets mentionnés dans le texte. Pour « Une femme vêtue d'une robe bleue se tient près d'un rosier », il doit par exemple prédire les boîtes de la femme, de la robe et du rosier. Dans une tâche d'expression référentielle, on ne veut en revanche qu'une boîte pour l'objet visé par l'expression entière. Les auteurs ajustent donc MDETR pendant cinq époques sur chacun des jeux RefCOCO, RefCOCO+ et RefCOCOg, puis classent les boîtes candidates à l'inférence selon 1−P(∅)1-P(\varnothing).

    Dans les partitions RefCOCO, RefCOCO+ et RefCOCOg rapportées, les lignes R101/ENB3 dépassent les méthodes antérieures indiquées. Les volumes de données de préentraînement ne sont toutefois pas identiques ; certaines méthodes marquées d'un astérisque emploient même des caractéristiques de détecteur qui recoupent les jeux de validation ou de test. Il ne s'agit donc pas d'une ablation à conditions égales.

  3. Question-réponse visuelle

    L'architecture peut aussi répondre à des questions sur l'image, avec quelques adaptations.

    • Conception du modèle
      • Types de requêtes : aux 100 requêtes de détection s'ajoutent des requêtes consacrées aux types de questions et à la prédiction de ce type. Sur GQA, les types sont REL, OBJ, GLOBAL, CAT et ATTR.
      • Entraînement : après 40 époques de préentraînement, le modèle est ajusté pendant 125 époques sur la partition GQA non équilibrée, puis pendant 10 époques sur la partition équilibrée.
      • Pertes : les 125 premières époques d'ajustement emploient détection et QA, avec un poids plus fort pour QA ; les 10 dernières n'emploient que la perte QA.

    Les requêtes d'objets sont des représentations apprises qui entrent dans le décodeur pour la détection. À l'inférence, la partie dédiée aux questions prédit le type de question et la réponse correspondante.

  1. Comparer les performances

    • Sur GQA test-std, MDETR avec backbone ResNet-101 obtient 61,99, contre 60,33 pour LXMERT et 60,80 pour VL-T5.
    • Il dépasse aussi OSCAR (61,62), qui utilise davantage d'images de préentraînement ; cette comparaison traverse cependant des méthodes et des régimes de préentraînement différents.
    • Avec EfficientNet-B5, MDETR monte à 62,45. NSM atteint néanmoins 63,17 et VinVL 64,65 dans le tableau : MDETR n'y est pas le meilleur de tous.

La détection avec peu d'exemples est-elle possible ?

Inspirés par le succès de CLIP en classification zéro-shot, les auteurs étudient la détection d'objets avec peu de données étiquetées à partir de MDETR préentraîné. Contrairement à CLIP, le jeu de préentraînement de MDETR n'assure pas une répartition équilibrée de toutes les classes cibles. Surtout, il ne contient pas d'exemples négatifs où le texte nomme une classe sans aucune boîte correspondante : le modèle tend donc à prédire une boîte pour chaque texte fourni. Les boîtes du préentraînement sont déjà alignées avec le texte.

Les auteurs n'évaluent donc pas le MDETR préentraîné comme un détecteur zéro-shot fiable et passent à un cadre à peu d'exemples. Ils utilisent LVIS, avec environ 1 200 catégories et une longue traîne de catégories peu représentées.

Pour s'y adapter, chaque classe positive donne un exemple constitué de l'image et du nom textuel de la classe, avec toutes ses boîtes annotées. Pour les classes connues comme négatives, le modèle reçoit le nom de la classe et une annotation vide. À l'inférence, il interroge séparément chaque nom de classe possible, puis regroupe les boîtes détectées pour les différentes invites. L'article indique environ dix secondes par image sur GPU pour ces requêtes classe par classe.

Les auteurs ajustent MDETR sur des sous-ensembles de 1 %, 10 % et 100 % des images d'entraînement LVIS. Le sous-ensemble à 1 % est échantillonné de manière équilibrée pour offrir au moins un exemple positif et un négatif par classe. Ils le comparent à Mask R-CNN entraîné directement sur tout LVIS et à DETR préentraîné sur MS COCO puis ajusté sur les sous-ensembles LVIS. Le tableau mesure le box AP fixed, avec une limite de prédictions par classe, sur 5 000 images minival sans recoupement avec le préentraînement. À 1 % de LVIS, MDETR obtient 11,2 AP sur les classes rares, contre 3,2 pour DETR ajusté sur 100 % des données. Il reste cependant sous les 26,3 de Mask R-CNN entraîné sur l'ensemble du jeu.

Autre constat : l'AP rare de MDETR passe de 20,9 à 10 % des données à 7,4 à 100 %. Le texte de l'article dit 7,5, mais sa Table 6 affiche 7,4 ; nous suivons le tableau. Les auteurs supposent que cette forte baisse tient au déséquilibre extrême des classes, sans tester isolément cette cause dans cette expérience.

Conclusion

L'un des attraits majeurs de MDETR est qu'il est différentiable de bout en bout.

Cette conception permet d'entraîner ensemble les différentes parties du modèle et de mieux coordonner leurs effets, avec l'espoir d'améliorer les performances et l'efficacité de l'entraînement. Ses résultats sur plusieurs jeux de données lui donnent aussi une place solide dans la recherche multimodale.

Sa polyvalence est un autre avantage : il sert à la détection modulée, mais également à des tâches en aval comme la détection avec peu d'exemples et la question-réponse visuelle.

MDETR propose ainsi une voie de recherche : remplacer le détecteur boîte noire par une architecture qui relie directement la détection au langage et à la tâche aval.