DINOv2: Learning Robust Visual Features without Supervision
- Publication
- Transactions on Machine Learning Research 2024Revue
- Premier dépôt sur arXiv
- arXiv:2304.07193
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{contrastivelearningdinov22023,
title = {{DINOv2: Learning Robust Visual Features without Supervision}},
author = {Maxime Oquab and Timothée Darcet and Théo Moutakanni and Huy V. Vo and Marc Szafraniec and Vasil Khalidov and Pierre Fernandez and Daniel Haziza and Francisco Massa and Alaaeldin El-Nouby and Mahmoud Assran and Nicolas Ballas and Wojciech Galuba and Russell Howes and Po-Yao Huang and Shang-Wen Li and Ishan Misra and Michael Rabbat and Vasu Sharma and Gabriel Synnaeve and Hu Xu and Hervé Jégou and Julien Mairal and Patrick Labatut and Armand Joulin and Piotr Bojanowski},
year = {2023},
eprint = {2304.07193},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2304.07193}
}
Nous avons déjà parcouru la première génération de DINO.
Deux ans plus tard, voyons ce que Meta AI Research a amélioré dans cette architecture.
Définir le problème
Ces dernières années, les modèles de vision ont suivi deux grandes voies.
D'un côté, des méthodes comme CLIP et ALIGN apprennent en alignant images et textes. Elles utilisent le langage comme signal de supervision sémantique et obtiennent des modèles de base performants en classification, en recherche d'images et dans les tâches multimodales.
De l'autre, certaines méthodes renoncent au langage et même aux annotations externes pour le préentraînement. Elles laissent les images fournir leur propre signal d'apprentissage : le modèle apprend à distinguer, mémoriser et généraliser à partir des images seules.
Cette voie soulève une question plus fondamentale :
Dans un monde sans langage, les images peuvent-elles encore se comprendre elles-mêmes ?
C'est l'ambition de l'apprentissage autosupervisé (Self-Supervised Learning, SSL).
On peut répartir ces méthodes en deux grandes familles :
-
Les tâches prédictives internes à l'image (intra-image pretext tasks) : prédire des zones masquées, reconstruire une image, restaurer ses couleurs ou retrouver l'ordre des patchs. Elles rappellent les exercices de texte à trous des modèles de langage. MAE et BEiT en sont des exemples.
-
L'apprentissage autosupervisé discriminant : il cherche à apprendre des représentations qui distinguent les images, par exemple au moyen de l'apprentissage contrastif, de la classification d'instances ou du regroupement. SimCLR, MoCo, BYOL et DINO illustrent cette famille ; toutes ces méthodes n'utilisent pas explicitement des paires négatives.
Sur des jeux de données comme ImageNet-1k, ces approches ont montré que des caractéristiques extraites par un réseau gelé peuvent se transférer à d'autres tâches, parfois avec des résultats proches de l'apprentissage supervisé. Mais augmenter la taille des modèles, prolonger leur entraînement ou utiliser des données non sélectionnées peut rendre l'apprentissage instable et dégrader les représentations.
Et si la qualité et la diversité des données étaient plus importantes encore ?
L'absence d'annotations humaines rend la variété et l'équilibre des images d'autant plus importants. Un décalage thématique, une longue traîne mal représentée ou trop de doublons peuvent conduire le modèle à apprendre des caractéristiques partielles, difficiles à transférer.
Malgré leurs résultats prometteurs, ces méthodes doivent encore résoudre plusieurs problèmes avant de fournir un modèle visuel de base stable et utilisable :
- Les méthodes autosupervisées restent-elles stables et extensibles à grande échelle ?
- Sans langage ni annotations pendant le préentraînement, peut-on obtenir des caractéristiques utiles aux tâches aval ?
- Comment filtrer et rééquilibrer automatiquement une très grande collection d'images non sélectionnées ?
Ces questions restent ouvertes.
DINOv2 repart de DINO pour revoir la stratégie de données, stabiliser l'entraînement et repenser l'ensemble du système. Avec de meilleures données et une méthode plus stable, un modèle appris sans langage pourrait devenir une base polyvalente pour la vision.
Collecte des données
Pour apprendre des caractéristiques visuelles robustes et transférables, il faut d'abord considérer la qualité des données.
Si le préentraînement se passe d'étiquettes, la sélection ne repose plus sur les classes annotées, mais sur la diversité et la représentativité des images. Le pipeline s'appuie toutefois sur des jeux de données existants pour définir ses références.
Les auteurs organisent la préparation en trois étapes, illustrées ci-dessous :
1. Préparer les réservoirs d'images
Le jeu LVD-142M est constitué à partir de deux ensembles :
- La partie curated : ImageNet-1k/22k, Google Landmarks et plusieurs jeux de données à classes fines fournissent des exemples de référence ;
- La partie uncurated : des images issues d'une collecte publique du Web. Les auteurs écartent les URL dangereuses, filtrent les contenus NSFW, floutent les visages reconnaissables et éliminent les doublons, pour obtenir environ 1,2 milliard d'images candidates.
Ces images uncurated ne sont pas choisies manuellement par catégorie sémantique, mais elles ont déjà subi ces premiers filtres de sécurité et de déduplication.
2. Retirer les doublons
Pour limiter les biais et les fuites entre entraînement et évaluation, les auteurs utilisent une méthode spécialisée de détection de copies. Elle retire les images très similaires au sein de l'ensemble uncurated ainsi que celles qui ressemblent aux images des jeux de test.
Cette étape s'appuie sur la méthode de Pizzi et al. (2022) pour rendre le jeu plus diversifié et plus propre.
3. Retrouver des images par autosupervision
C'est ici que se trouve l'idée la plus intéressante.
Les auteurs utilisent d'abord un ViT-H/16 précédemment entraîné de façon autosupervisée sur ImageNet-22k. Il produit un vecteur pour chaque image. Une recherche par similarité cosinus permet alors de trouver, dans le réservoir uncurated, les images qui ressemblent aux références curated.
Il ne s'agit ni d'une annotation manuelle ni d'un filtrage par mots-clés : la sélection repose sur les caractéristiques visuelles.
Les images uncurated sont ensuite regroupées par K-means. Selon la taille du jeu de requêtes, les auteurs retiennent soit les N plus proches voisines de chaque image de référence (N = 4), soit M images du groupe correspondant.
Ce choix cherche un équilibre entre recouvrement des données et diversité des résultats.
Échelle et efficacité du pipeline
Traiter et rechercher autant d'images demande une infrastructure conséquente.
Le pipeline utilise FAISS, avec un index inversé et une quantification accélérés par GPU. Il est distribué sur 20 machines dotées chacune de huit GPU V100. La construction des 142 millions d'images d'entraînement prend moins de deux jours.
Au total, DINOv2 associe des jeux de référence à des images du Web trouvées par ressemblance visuelle. Cette sélection automatique prépare les données sur lesquelles le modèle apprendra ensuite.
Résoudre le problème
L'entraînement de DINOv2 relève de l'apprentissage autosupervisé discriminant. Il combine les objectifs de DINO et d'iBOT avec une normalisation de la cible inspirée de SwAV, puis y ajoute une régularisation et une courte phase à haute résolution.
Aligner les caractéristiques à l'échelle de l'image
Cette partie reprend l'idée centrale de DINO, illustrée ci-dessus.
La perte DINO encourage deux vues augmentées de la même image à produire des représentations cohérentes dans les réseaux student et teacher.
Concrètement :
-
On tire deux recadrages (views) d'une image et on les transmet aux réseaux student et teacher ;
-
Les deux réseaux sont des Vision Transformers ; leur class token représente l'image dans son ensemble ;
-
Un head MLP transforme chaque class token en scores de prototypes. Le student applique un softmax pour former sa distribution prédite, tandis que la cible du teacher est équilibrée par Sinkhorn-Knopp (SK) :
-
Dans DINOv2, SK équilibre les cibles du teacher au sein du lot. Il remplace le centrage par moyenne mobile de DINO et d'iBOT ; ce n'est pas un lissage appliqué après coup à la sortie du softmax ;
-
La perte finale est l'entropie croisée entre les deux distributions :
On entraîne le student par rétropropagation. Les poids du teacher suivent une moyenne mobile exponentielle (Exponential Moving Average, EMA) de ceux du student.
Prédire à l'échelle des patchs
Pour apprendre aussi les détails et les structures locales, les auteurs ajoutent l'objectif de prédiction de patchs d'iBOT :
-
Certains patchs de l'entrée du student sont masqués aléatoirement ;
-
Les mêmes patchs restent visibles pour le teacher ;
-
Pour chaque patch masqué, le student prédit une distribution que l'on compare à la cible du patch visible correspondant chez le teacher. Le premier utilise le softmax, le second SK :
désigne les indices des patchs masqués. Cet objectif fournit un signal d'apprentissage local, utile notamment aux tâches aval qui demandent des caractéristiques au niveau des pixels.
Deux heads distincts
DINOv2 et iBOT utilisent chacun un head de projection MLP qui transforme la sortie du Transformer en logits.
L'article iBOT trouvait préférable de partager les poids des deux heads. À l'échelle étudiée dans DINOv2, les auteurs observent l'inverse et utilisent donc deux heads séparés dans toutes leurs expériences.
Centrage Sinkhorn-Knopp
Pour équilibrer la distribution prédite par le teacher, DINOv2 reprend la normalisation Sinkhorn-Knopp (SK) de SwAV.
Cet algorithme normalise de façon itérative les lignes et les colonnes afin d'approcher une affectation équilibrée. L'implémentation effectue trois itérations.
SK réduit le risque que toutes les sorties se concentrent sur un même prototype, autrement dit le risque d'effondrement de la représentation.
Régularisation KoLeo
DINOv2 ajoute la régularisation KoLeo (Kozachenko-Leonenko Regularizer) afin que les caractéristiques restent réparties dans l'espace des représentations.
Elle provient d'un estimateur d'entropie différentielle et s'écrit :
Ici :
- est la distance entre le vecteur et son plus proche voisin du lot ;
- les vecteurs sont d'abord normalisés en norme .
La régularisation évite que les caractéristiques se concentrent excessivement et favorise une meilleure couverture de l'espace des représentations.
Une courte phase à haute résolution
Une résolution élevée aide les tâches comme la segmentation et la détection, mais elle coûte cher en calcul dès le début du préentraînement. Les auteurs n'augmentent donc la taille des images à 518 × 518 qu'à la fin du préentraînement, pendant une courte période.
Cette progression rappelle UniViT et FlexiViT. Elle améliore les résultats sur les tâches au niveau des pixels sans imposer le coût d'un entraînement entier à haute résolution.
Dans l'ensemble, DINOv2 combine cohérence sémantique entre vues, prédiction de patchs, équilibrage des cibles et régularisation des caractéristiques, tout en cherchant à maintenir un entraînement stable à grande échelle.
Mise en œuvre technique
L'article consacre une section aux moyens d'accélérer l'entraînement et de réduire l'usage mémoire. Par rapport à iBOT, DINOv2 atteint environ deux fois sa vitesse et n'utilise qu'un tiers de sa mémoire à matériel identique.
FlashAttention
Dans un ViT, l'attention constitue une part importante du coût de calcul.
L'équipe développe une variante de FlashAttention qui améliore la vitesse et l'usage mémoire par rapport à l'implémentation initiale, et prend en charge davantage de plateformes et de configurations.
Elle remarque aussi que certaines dimensions conviennent mieux au GPU : par exemple, une dimension par tête multiple de 64 et une dimension totale multiple de 256.
Le ViT-g utilise donc 1 536 dimensions et 24 têtes, soit 64 dimensions par tête, au lieu d'une configuration courante de 1 408 dimensions et 16 têtes.
Les deux variantes ont une précision proche, mais la nouvelle est plus efficace à l'entraînement.
Regroupement des séquences
L'entrée d'un ViT est une séquence de patch tokens. DINO traite à la fois :
- de grands recadrages de résolution 224, qui produisent de longues séquences ;
- de petits recadrages de résolution 98, qui produisent des séquences plus courtes.
Les traiter séparément rend les lots hétérogènes et gaspille des ressources.
DINOv2 emprunte au traitement du langage le regroupement des séquences (sequence packing).
Il concatène plusieurs séquences de longueurs différentes et applique un masque d'attention par blocs diagonaux. Les séquences ne prêtent donc pas attention les unes aux autres, comme si elles avaient été traitées séparément, mais le calcul est plus efficace.
Cette solution s'appuie sur des opérations de bas niveau fournies par xFormers.
Profondeur stochastique
Pendant l'entraînement, la profondeur stochastique saute aléatoirement la branche résiduelle pour certains exemples, tout en conservant le raccourci.
Une implémentation classique calcule d'abord toute la branche, puis annule les sorties supprimées. DINOv2 évite le calcul de cette branche pour les exemples concernés, ce qui économise mémoire et opérations.
Un noyau spécialisé permute les exemples du lot et ne traite que les premiers à cette couche. Avec le taux utilisé dans l'article, la branche résiduelle n'est calculée que pour environ 60 % du lot à chaque couche.
Entraînement distribué
Pour entraîner un modèle d'environ 1,1 milliard de paramètres, comme le ViT-g, la mémoire devient une contrainte majeure.
DINOv2 utilise Fully-Sharded Data Parallel (FSDP) pour répartir sur plusieurs GPU les états du modèle :
- le réseau student ;
- le réseau teacher ;
- les deux moments de l'optimiseur AdamW.
Pour environ un milliard de paramètres, ces quatre ensembles de tenseurs en float32 représentent près de 16 Go. FSDP les répartit entre les GPU pour réduire la mémoire d'état nécessaire sur chacun.
Les poids et gradients sont en outre communiqués en float16, sauf ceux du head MLP. Par rapport à un all-reduce de gradients float32 en DDP, cela réduit d'au moins 50 % le volume transmis.
Dans les configurations évaluées, PyTorch FSDP avec précision mixte offre presque toujours une meilleure efficacité de mise à l'échelle que DDP avec autocast.
Distillation des modèles
Une fois le grand ViT-g entraîné, les auteurs n'entraînent pas les modèles ViT-B et ViT-L plus petits entièrement depuis zéro : ils leur transmettent les sorties du grand modèle par distillation.
Le cadre teacher-student reste proche de celui du préentraînement, avec quelques différences :
- le ViT-g entraîné devient un teacher gelé ;
- le masquage et la profondeur stochastique sont retirés ;
- la perte iBOT est appliquée aux deux grands recadrages ;
- l'EMA du student est conservée pendant l'entraînement et fournit le modèle final.
Cette méthode est proche de celle de Duval et al., mais réutilise le pipeline de DINOv2 sans changer la structure de sa fonction de perte. Le ViT-L distillé obtient ainsi de meilleurs résultats que son homologue entraîné depuis zéro dans la comparaison présentée.
Études d'ablation
Les auteurs testent les choix d'entraînement, les sources de données, la taille des modèles, les fonctions de perte et la résolution.
Étapes de l'entraînement
Ils partent d'iBOT, ajoutent successivement les composants de DINOv2 — deux heads, centrage Sinkhorn, régularisation KoLeo et autres — puis mesurent k-NN et la classification linéaire sur ImageNet-1k.
La plupart des étapes améliorent au moins une évaluation, mais chaque ligne ajoute des composants à la précédente : ce ne sont pas des ablations indépendantes. L'ajout conjoint de LayerScale et de la profondeur stochastique fait baisser le résultat linéaire de 83,2 à 82,0 ; les auteurs indiquent toutefois qu'il évite les pertes NaN. Enfin, la séparation des heads fait passer k-NN de 81,7 à 82,0, tandis que le score linéaire passe de 84,7 à 84,5.
Données de préentraînement
Pour mesurer l'effet du choix des données, les auteurs comparent :
- LVD-142M, constitué par recherche visuelle ;
- ImageNet-22k, un grand jeu traditionnellement annoté ;
- Uncurated-142M, un échantillon aléatoire d'images Web provenant de la même source.
Les modèles ViT-g/14 suivent le même nombre d'itérations d'entraînement ; le tableau comprend aussi une variante d'ImageNet-22k excluant les classes d'ImageNet-1k.
Le tableau montre que :
- LVD-142M dépasse les images uncurated sur la plupart des indicateurs, sauf ADE-20k, où il obtient 47,7 contre 48,5 mIoU ;
- LVD-142M dépasse ImageNet-22k sur la plupart des tâches, à l'exception d'ImageNet-1k ;
- les résultats sont aussi meilleurs sur iNaturalist et Places205, qui n'ont pas servi de jeux de référence pour sélectionner les images.
La préparation des données reste donc un choix de conception important, même sans supervision par étiquettes.
Contribution des fonctions de perte
Les auteurs retirent tour à tour deux composants pour mesurer leur apport :
-
La régularisation KoLeo
Sur la recherche d'images Oxford-M, son activation fait passer la mAP de 55,6 à 63,9, soit 8,3 points de plus. La classification ImageNet-1k gagne 0,5 point, tandis qu'ADE-20k descend légèrement de 47,2 à 47,1 mIoU.
Le gain est surtout visible dans les tâches qui distinguent les voisins dans l'espace des caractéristiques.
-
La prédiction de patchs masqués d'iBOT (Masked Image Modeling)
Sans cette perte, la segmentation ADE-20k passe de 47,1 à 44,2 mIoU, soit 2,9 points de moins. Dans cette configuration, l'objectif au niveau des patchs contribue donc à la segmentation.
Effet de la distillation
Pour réduire le coût d'entraînement des modèles plus petits, DINOv2 distille un ViT-L/14 à partir d'un ViT-g gelé et le compare à un ViT-L/14 entraîné depuis zéro.
Le modèle distillé dépasse celui entraîné depuis zéro sur les douze indicateurs du tableau. La distillation simplifie ainsi la formation des petits modèles et montre qu'ils bénéficient du grand teacher dans ces évaluations.
Entraînement à haute résolution
Les auteurs vérifient s'il faut vraiment entraîner à haute résolution dès le départ :
- Dans cette ablation sur ViT-L/16 et ImageNet-1k, ils comparent un entraînement entièrement à 224, un autre entièrement à 416, et un entraînement à 224 suivi de 10 000 itérations à 416. La recette finale emploie, elle, 518 dans sa dernière phase ;
- Ils mesurent la classification ImageNet et la segmentation ADE ;
- L'entraînement entièrement à 416 donne les meilleurs résultats à la plupart des résolutions d'évaluation du graphique, mais coûte environ trois fois plus que celui entièrement à 224. La courte phase finale à 416 suit une courbe proche, sans payer ce surcoût pendant tout l'entraînement.
DINOv2 choisit donc une courte phase finale à haute résolution pour profiter des détails sans assumer le coût d'un entraînement complet dans ces conditions.
Discussion
Classification ImageNet
Les caractéristiques de DINOv2 sont particulièrement solides pour la classification linéaire sur ImageNet-1k.
Avec un backbone gelé et un classifieur linéaire entraîné, ViT-g/14 atteint 86,5 % de précision Top-1 sur l'ensemble de validation. Il dépasse de 4,2 points le meilleur modèle autosupervisé précédent du tableau, iBOT à 82,3 %. Il se situe aussi légèrement au-dessus d'OpenCLIP ViT-G/14 à 86,2 % et d'EVA-CLIP ViT-g/14 à 86,4 %. Leurs architectures et données de préentraînement diffèrent : on ne peut attribuer tous ces écarts à la seule méthode d'entraînement.
Sans supervision textuelle pendant le préentraînement, ViT-g/14 obtient aussi 89,6 % sur ImageNet-ReaL et 78,4 % sur ImageNet-V2. Le tableau indique en outre 83,5 % avec k-NN. Ces nombres correspondent à des évaluations de classification distinctes dans le même protocole.
Pour les ViT-S/B/L/g de DINOv2, les résultats linéaires sont respectivement 81,1 %, 84,5 %, 86,3 % et 86,5 %. Ils montrent les performances de cette famille à mesure que la taille augmente, sans isoler tous les autres coûts propres à chaque architecture.
Le tableau confirme la qualité de l'évaluation linéaire sur ImageNet, proche ou légèrement supérieure à celle des modèles faiblement supervisés cités. Le transfert vers d'autres tâches doit être jugé avec les expériences suivantes.
Classification vidéo
Pour d'autres tâches de classification d'images et de vidéos, les auteurs conservent les caractéristiques d'image gelées et entraînent un classifieur aval. Le tableau ci-dessus couvre iNaturalist, Places205 et trois jeux vidéo ; l'image suivante présente séparément douze jeux de classification d'images.
ViT-g/14 obtient 81,6 % sur iNaturalist 2018 et 85,7 % sur iNaturalist 2021, contre 73,0 % et 76,0 % pour OpenCLIP ViT-G/14. Sur Places205, il reste derrière OpenCLIP : 67,5 % contre 69,8 %.
Pour les vidéos, les auteurs extraient huit images espacées régulièrement. Ils moyennent leurs caractéristiques pour K400 et UCF-101, les concatènent pour SSv2, puis entraînent un classifieur linéaire. ViT-g/14 atteint respectivement 78,4 %, 91,2 % et 38,3 % sur K400, UCF-101 et SSv2, contre 78,3 %, 90,7 % et 35,8 % pour OpenCLIP. L'écart sur SSv2 est de 2,5 points.
Sur les douze autres tâches de classification d'images, la moyenne de DINOv2 ViT-g/14 est de 92,1 %, contre 91,9 % pour OpenCLIP ViT-G/14. DINOv2 mène sur Aircraft, 87,2 % contre 80,2 %, mais reste derrière sur Cars, 91,4 % contre 96,1 %, et sur SUN, 78,7 % contre 84,0 %. Chaque modèle a donc ses points forts selon le jeu de données.
Reconnaissance d'instances
DINOv2 donne aussi de bons résultats dans la recherche d'instances.
Ici, aucun classifieur paramétrique n'est entraîné : les images sont classées selon la similarité cosinus entre la requête et les images de la base. Le tableau compare des modèles autosupervisés et faiblement supervisés.
ViT-L/14 atteint une mAP de 54,0 sur Oxford-Hard, contre 12,7 pour iBOT et 19,7 pour OpenCLIP dans le tableau. Il obtient 83,5 sur Paris-Hard et 50,0 sur AmsterTime. ViT-g/14 n'est pas toujours en tête : son 52,3 sur Oxford-Hard est inférieur au score du ViT-L/14.
Avec les résultats de classification précédents, ces scores montrent que des caractéristiques gelées restent utiles à plusieurs niveaux de granularité. Le tableau ne mesure pas directement comment le modèle distingue les petits détails.
Segmentation sémantique
Pour la segmentation et l'estimation monoculaire de profondeur, les auteurs gèlent le backbone et entraînent des prédicteurs aval afin d'évaluer les caractéristiques des patchs.
En segmentation, « lin. » utilise une couche linéaire pour produire des logits de basse résolution à partir des patch tokens, puis les agrandit. « +ms » concatène les caractéristiques des quatre dernières couches, utilise une résolution d'entrée plus élevée et teste à plusieurs échelles. Sur ADE-20k, DINOv2 ViT-g/14 atteint 53,0 mIoU en « +ms », près des 53,6 obtenus par MAE + UperNet avec un ajustement complet du modèle. Sur Pascal VOC, ses 86,2 restent inférieurs au meilleur résultat cité, 89,0.
Les auteurs branchent également un ViT-g/14 gelé à ViT-Adapter + Mask2Former. Ils entraînent encore l'adaptateur et le head ; environ 66 % des poids restent gelés. Cette configuration atteint 60,2 mIoU sur ADE-20k, près des 62,9 cités. Elle ne dispense donc pas d'entraîner les modules aval.
Résultats qualitatifs
En plus des chiffres, l'article présente des exemples de segmentation, d'estimation de profondeur et de visualisation des caractéristiques.
Voyons d'abord les comparaisons de segmentation et de profondeur :
Dans les exemples ADE20K, avec un backbone gelé et un prédicteur linéaire, les régions et contours produits par DINOv2 paraissent plus complets que ceux d'OpenCLIP. Ce sont des exemples qualitatifs ; le tableau de mIoU précédent reste nécessaire pour juger l'ensemble des résultats.
Les cartes de profondeur de DINOv2 paraissent aussi plus lisses et moins bruitées. Dans l'exemple SUN RGB-D, la chaise a notamment une position plus nette. Il s'agit d'une estimation de profondeur, et non d'une reconnaissance de la classe « chaise ».
L'image suivante applique les prédicteurs linéaires déjà entraînés à des peintures, des croquis et d'autres styles visuels :
Certaines prédictions conservent les contours des objets et la structure de profondeur, ce qui illustre qualitativement un transfert entre styles d'images. Ces illustrations ne permettent pas, à elles seules, de savoir si le backbone avait déjà vu tel animal ou tel style pendant son préentraînement.
Enfin, les auteurs visualisent la structure de l'espace des caractéristiques :
Ils séparent d'abord l'objet principal du fond selon le signe de la première composante principale. Ils appliquent ensuite une seconde PCA aux caractéristiques des patchs conservés ; les trois premières composantes de cette seconde analyse déterminent les couleurs de l'image.
Des parties semblables d'images proches prennent souvent des couleurs semblables. C'est une structure observée par les auteurs, mais la visualisation PCA n'est pas, à elle seule, une mesure quantitative de la reconnaissance des parties.
Conclusion
Pour un ingénieur, la valeur de DINOv2 tient surtout à ses caractéristiques visuelles polyvalentes : dans plusieurs tâches évaluées, elles restent utiles sans ajuster le backbone.
Pour la classification, la segmentation, la profondeur ou la recherche d'instances, on peut conserver ce backbone et entraîner un module aval relativement simple au lieu d'ajuster systématiquement tout le modèle. Même une tête linéaire peut nécessiter des données annotées ; un déploiement réel exige aussi une validation sur les données et contraintes du domaine visé.
Les résultats sur plusieurs domaines et sur les structures locales en font un candidat intéressant comme backbone lorsque les données sont limitées ou très variables.
Ces représentations se prêtent également à une analyse visuelle.
La PCA et les correspondances entre patchs permettent d'observer certaines structures et de mieux examiner les erreurs ; elles n'expliquent pas à elles seules chaque prédiction.
Pour l'imagerie médicale, les images satellite, les produits de vente ou la perception d'un véhicule autonome, DINOv2 peut donc faire partie des modèles à étudier, à condition de l'évaluer séparément dans chaque application.