Learning Transferable Visual Models From Natural Language Supervision
- Publication
- ICML 2021Conférence
- Premier dépôt sur arXiv
- arXiv:2103.00020
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{multimodalityclip2021,
title = {{Learning Transferable Visual Models From Natural Language Supervision}},
author = {Alec Radford and Jong Wook Kim and Chris Hallacy and Aditya Ramesh and Gabriel Goh and Sandhini Agarwal and Girish Sastry and Amanda Askell and Pamela Mishkin and Jack Clark and Gretchen Krueger and Ilya Sutskever},
year = {2021},
eprint = {2103.00020},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2103.00020}
}
Essayez de décrire cette image :
- Il y a une tasse de café… euh, un livre sous la tasse… le tout est posé sur une table ?
- Ce serait un coin de café, le matin ?
- Une table et des chaises brunes, et même un café brun ? (
Hé, un peu de sérieux !) - …
En fait, cette image a été générée à partir de cette description :
Par un matin paisible, la lumière du soleil passe doucement entre les rideaux et tombe sur une simple table en bois. Une tasse de café fraîchement préparé y repose ; son parfum se mêle à la lumière dans l'air et donne à cette nouvelle journée un sentiment de chaleur et d'espoir. L'ombre de la tasse s'allonge sur la table, à côté des plantes vertes près de la fenêtre. La surface du café ondule légèrement, comme si elle racontait le calme du matin et la beauté de la vie. Près de la table, un livre ouvert attend tranquillement qu'on le feuillette. Café, soleil, plantes et livre composent une scène accueillante et sereine, comme un récit de la simplicité et de la beauté du quotidien.
Si vous avez tenté vous aussi de décrire l'image, vous sentez peut-être combien les quelque vingt mille catégories et les millions d'images d'ImageNet, pourtant si admirées dans la recherche et l'ingénierie, paraissent pâles devant ce qu'une phrase peut exprimer.
- Il existe tant de façons de décrire une même image.
Définir le problème
Sur ImageNet, une image reçoit généralement une catégorie hiérarchique ou un nombre limité d'étiquettes. La langue et la perception humaines permettent pourtant d'en parler sous une multitude d'angles : couleurs, formes, émotions, histoire suggérée…
C'est, pour l'auteur, une grande différence entre apprentissage unimodal et multimodal : le second peut rapprocher plusieurs types d'informations pour proposer une interprétation plus riche.
Une seule étiquette ImageNet laisse souvent de côté les relations entre objets, le contexte de la scène ou l'impression que produit l'image.
Les auteurs de CLIP cherchent à dépasser cette limite en rapprochant images et textes de sources variées, afin d'apprendre des représentations visuelles plus souples. Ce n'est pas pour autant une preuve que le modèle comprend comme un être humain.
Alors, comment faire ?
Résoudre le problème
Architecture du modèle
La figure présente le préentraînement proposé par CLIP.
Imaginons une paire formée d'une photo de chien et du texte « un adorable petit chien ».
Dans un lot, CLIP reçoit de nombreuses paires de ce genre. Un encodeur visuel, ResNet ou ViT, extrait les caractéristiques des images ; un Transformer encode les textes.
Le modèle calcule ensuite les similarités cosinus entre images et textes du lot. Deux pertes d'entropie croisée, image-vers-texte et texte-vers-image, augmentent le score des bonnes paires — le chien et sa description — par rapport aux mauvaises — le chien et « une pomme ».
Et ensuite ?
Ensuite, il suffit d'empiler 400 millions de paires image-texte et de lancer l'entraînement !
Un jeu de données immense
Au début, les auteurs considèrent surtout MS-COCO, Visual Genome et YFCC100M.
Ils trouvent vite ces jeux trop petits pour leurs besoins. MS-COCO et Visual Genome sont de bonne qualité, mais ne comptent qu'environ 100 000 photographies d'entraînement ; d'autres systèmes de vision traitent jusqu'à 3,5 milliards de photos Instagram. L'écart est énorme.
YFCC100M contient certes 100 millions de photos, mais les titres ou descriptions de beaucoup d'entre elles sont peu utiles : noms de fichiers automatiques, réglages d'exposition et autres métadonnées qui aident peu le modèle à apprendre.
Si les jeux existants sont trop petits ou trop bruités, pourquoi ne pas en créer un ?
C'est ce que font les auteurs avec WIT (WebImageText) : 400 millions de paires image-texte recueillies sur des ressources publiques du Web.
Détails de l'entraînement
Les auteurs entraînent cinq modèles ResNet et trois Vision Transformers.
La famille ResNet comprend ResNet-50 et ResNet-101. À partir de ResNet-50, ils créent aussi RN50x4, RN50x16 et RN50x64 par un changement d'échelle inspiré d'EfficientNet. Leur coût de calcul est d'environ 4, 16 et 64 fois celui de ResNet-50.
Les trois ViT sont ViT-B/32, ViT-B/16 et ViT-L/14. Chaque modèle est entraîné pendant 32 époques avec Adam, une décroissance des poids découplée et un taux d'apprentissage à décroissance en cosinus.
Les premiers hyperparamètres sont choisis sur ResNet-50 par recherche sur grille, recherche aléatoire et ajustements manuels. Faute de pouvoir refaire la même recherche coûteuse pour les plus grands modèles, les auteurs les adaptent ensuite de manière heuristique.
Pour stabiliser l'entraînement, le paramètre de température apprenable τ commence à 0,07 et le facteur appliqué aux logits est borné à 100. Le lot est très grand : 32 768 paires. Précision mixte, checkpointing des gradients, statistiques Adam en demi-précision et arrondi stochastique en demi-précision des poids de l'encodeur textuel accélèrent le calcul et réduisent la mémoire nécessaire.
Côté matériel, RN50x64 demande 18 jours sur 592 GPU V100 ; le plus grand ViT, 12 jours sur 256 V100. Les auteurs entraînent en outre ViT-L/14 une époque supplémentaire à 336 pixels de résolution, donnant ViT-L/14@336px.
Discussion
Zéro-shot ?
Ici, « zéro-shot » signifie que l'on construit un classifieur à partir des noms ou descriptions des classes sans utiliser les exemples d'entraînement du jeu cible. Ces concepts peuvent avoir figuré dans les 400 millions de paires de préentraînement. CLIP répond à certaines attentes, mais révèle aussi des limites :
-
De bons résultats sur certains jeux :
Sur 16 des 27 jeux examinés, CLIP zéro-shot dépasse une régression logistique supervisée entraînée sur des caractéristiques ResNet-50. Il se distingue sur Stanford Cars et Food101, mais reste en retrait sur Flowers102 ou FGVC Aircraft. Son intérêt dépend donc de la tâche ; il ne surpasse pas tous les classifieurs supervisés.
-
Une performance comparable à quelques exemples annotés :
Sur les 20 jeux où la comparaison est possible, la performance moyenne de CLIP zéro-shot correspond à peu près à celle d'un classifieur entraîné sur les mêmes caractéristiques CLIP avec quatre images étiquetées par classe. Cela illustre l'intérêt d'un classifieur défini par le texte.
-
Le nombre d'exemples équivalents varie fortement :
Pour atteindre le résultat zéro-shot de CLIP avec un classifieur à peu d'exemples, le nombre d'images étiquetées nécessaires va de moins d'une à 184 par classe selon le jeu. Ce sont les besoins du classifieur de comparaison, pas de CLIP zéro-shot lui-même.
-
Comparaison à un classifieur entièrement supervisé :
Si l'on entraîne une couche linéaire pleinement supervisée sur les caractéristiques CLIP, les résultats zéro-shot restent inférieurs d'environ 10 à 25 points de pourcentage sur la plupart des jeux. Seuls cinq jeux ont un écart d'au plus trois points. Cette référence utilise les caractéristiques CLIP ; elle diffère de la comparaison précédente avec des caractéristiques ResNet-50.
-
Une corrélation entre les résultats :
Sur les mêmes caractéristiques CLIP, les résultats du classifieur linéaire supervisé et du classifieur zéro-shot sont corrélés d'un jeu à l'autre (coefficient 0,82). La qualité des représentations compte donc pour le transfert.
-
Effet du changement d'échelle :
Sur les cinq modèles CLIP comparés dans la figure, couvrant environ 44 fois plus de calcul d'entraînement, l'erreur zéro-shot moyenne suit une courbe régulière en échelle logarithmique. Les trajectoires des jeux individuels diffèrent fortement ; cette figure ne sépare pas l'effet de la taille du modèle de celui de la diversité des données.
Les représentations sont-elles bonnes ?
Regardons plusieurs aspects pour comprendre les forces et les limites des représentations CLIP :
-
Évaluer leur qualité :
En ajustant un classifieur linéaire sur les caractéristiques visuelles CLIP gelées puis en le testant sur plusieurs jeux, on mesure leur utilité pour ces tâches.
-
Pourquoi un classifieur linéaire ?
Il permet de voir plus directement ce que les représentations préentraînées rendent accessible. Un ajustement fin de bout en bout modifierait ces représentations et pourrait masquer ce qui n'avait pas été appris pendant le préentraînement. C'est la raison du choix de cette sonde linéaire.
-
Taille et efficacité :
Les variantes comme ResNet-50×64 et les CLIP ViT mettent en évidence les relations entre taille, qualité des représentations et efficacité du calcul. Les plus grands modèles demandent toutefois beaucoup de ressources, ce qui limite leur usage sur des appareils modestes.
-
Diversité des tâches :
Les caractéristiques CLIP se transfèrent à la géolocalisation, à la reconnaissance optique de caractères (OCR), à la reconnaissance d'émotions faciales ou d'actions. Les résultats changent pourtant selon la tâche et la distribution.
-
Des jeux d'évaluation plus variés :
Les 27 jeux montrent les possibilités de transfert des caractéristiques CLIP. Les auteurs reconnaissent néanmoins qu'ils ont été ajoutés progressivement pendant le développement ; le choix du banc d'essai a pu s'adapter au modèle. Une évaluation zéro-shot plus systématique reste nécessaire.
-
Comparaison à l'auto-supervision :
L'article inclut SimCLRv2 et d'autres méthodes auto-supervisées dans la comparaison par sondes linéaires. Il mesure des résultats de transfert sur des jeux précis, sans établir qu'une méthode d'entraînement est la plus efficace dans toutes les configurations.
-
Comparaison aux modèles de pointe :
Avec une sonde linéaire, les caractéristiques CLIP dépassent celles de Noisy Student EfficientNet-L2 sur 21 des 27 jeux. Ce dernier garde des avantages sur ImageNet, les images de faible résolution et certaines tâches spécialisées. Ici encore, il s'agit de caractéristiques suivies d'un classifieur linéaire, pas de résultats zéro-shot.
Le modèle traverse-t-il les domaines ?
La capacité à passer d'un domaine de données à un autre est une mesure importante de la généralisation. Idéalement, un modèle conserverait de bons résultats lorsque changent le jeu et la distribution. Beaucoup de modèles entraînés sur ImageNet, au contraire, perdent nettement en précision hors de leur distribution d'origine.
Dans la figure, un ResNet-101 classique atteint, comme CLIP, 76,2 % sur ImageNet. Sa précision baisse beaucoup plus sur les nouveaux jeux de données. Cette comparaison illustre sa sensibilité au changement de distribution.
CLIP zéro-shot réduit l'écart entre ImageNet et les jeux de décalage naturel testés ici. L'exemple de la banane à droite ne montre qu'un cas à précision ImageNet égale, pas le comportement de chaque classe. Une autre expérience, la Figure 14, entraîne sur les caractéristiques CLIP un classifieur linéaire supervisé par ImageNet : la précision ImageNet gagne 9,2 points et atteint 85,4 %, tandis que la précision moyenne sur les distributions décalées baisse légèrement. Ce n'est pas le classifieur zéro-shot de la figure ci-dessus.
Peut-on le comparer aux humains ?
Les auteurs utilisent Oxford-IIIT Pets pour étudier cette question. Cinq participants classent chacun les 3 669 images du test parmi 37 races de chats ou de chiens, avec la possibilité de répondre « je ne sais pas ». En zéro-shot, ils ne voient aucune image de référence ; dans deux autres essais, ils reçoivent une ou deux images par race. Les auteurs veulent comprendre comment les humains apprennent de ces quelques exemples.
Sur un autre jeu, STL-10, les humains atteignent 94 % ; les 97 à 100 % indiquent la précision sur des images de contrôle de l'attention, qui vérifient qu'ils répondent sérieusement. Sur Oxford-IIIT Pets, la précision moyenne par classe des participants pris individuellement passe de 53,7 % sans exemple à 75,7 % avec un exemple par race. Le vote majoritaire des cinq passe de 57,0 à 80,3 % : ce ne sont pas les mêmes mesures. Un deuxième exemple apporte presque rien à la moyenne individuelle, mais porte le vote majoritaire à 85,0 %. Le premier exemple aide surtout pour les images qui laissaient les participants incertains.
CLIP atteint 93,5 % en zéro-shot sur ce test Oxford-IIIT Pets, au-dessus des participants. Mais sa manière d'utiliser des exemples n'est pas directement comparable à la leur : les humains peuvent regarder une photo de référence, tandis que le classifieur linéaire à peu d'exemples de CLIP n'exploite pas de la même façon ses connaissances préalables. Cette étude ne classe donc pas équitablement leurs capacités d'apprentissage avec peu d'exemples.
Le modèle a-t-il déjà vu les réponses ?
À l'échelle du Web, certaines images du préentraînement peuvent se retrouver par accident dans les jeux d'évaluation. Cela risque de gonfler les scores sans refléter une meilleure généralisation.
Certains jeux, par leur caractère particulier ou synthétique, ne montrent pas de recoupement détecté, comme MNIST, CLEVR ou GTSRB. D'autres en contiennent davantage, surtout ceux construits à partir de collections publiques telles que YFCC100M : Country211 atteint 21,5 % de chevauchement détecté.
Selon l'estimation de l'article, fondée sur l'écart entre le test complet et sa partie sans recoupement, la précision globale de Country211 ne change que de 0,2 point de pourcentage. Le texte d'entraînement des doublons ne contenait peut-être pas l'information utile à la tâche. Sur Kinetics-700, beaucoup de « doublons » détectés sont des images noires de transition et le sous-ensemble correspondant a, au contraire, une précision inférieure d'environ 20 %.
Cette analyse est délicate : outre les doublons, la distribution sous-jacente peut différer entre les sous-ensembles. Sur CIFAR-100, la faible résolution produit des faux positifs parmi les oiseaux ou les avions ; la distribution des classes et la difficulté des images peuvent donc changer et troubler la comparaison.
Ces observations rejoignent des études antérieures à grande échelle, notamment Mahajan et ses collègues (2018) et Kolesnikov et ses collègues (2019). Kolesnikov et ses collègues comparent plusieurs stratégies de déduplication et trouvent des écarts modestes. Cela rappelle l'importance, mais aussi la difficulté, de vérifier les recoupements lorsqu'on juge la généralisation.
Les auteurs indiquent que leur détecteur de doublons atteint presque 100 % sur une tâche de substitution et une très forte précision après inspection manuelle et réglage du seuil. Il reste impossible de mesurer facilement son rappel sur 400 millions d'exemples. De plus, les changements de distribution entre les sous-ensembles restent des facteurs de confusion : les images noires de Kinetics-700 en donnent un exemple.
Ils évoquent aussi des différences plus subtiles sur CIFAR-100 : des images peu détaillées d'oiseaux ou d'avions peuvent être prises à tort pour des doublons. Un changement de précision peut alors venir des classes ou de la difficulté des images, tout en masquant éventuellement un surapprentissage.
Quelles limites ?
Malgré ses capacités encourageantes, CLIP présente des limites importantes :
-
Niveau de performance
CLIP zéro-shot peut rivaliser avec un classifieur linéaire fondé sur des caractéristiques ResNet-50 dans certains jeux. Sur la plupart, il reste pourtant loin du meilleur niveau connu. Les auteurs estiment qu'atteindre ce niveau par simple changement d'échelle exigerait environ mille fois plus de calcul, hors de portée du matériel dont ils disposaient.
-
Tâches difficiles à apprendre ou transférer
CLIP reste faible sur certaines classifications fines, comme les modèles de voitures, les espèces de fleurs ou les variantes d'avions, ainsi que sur des tâches plus abstraites et systématiques, par exemple compter les objets d'une image.
-
Généralisation
Ses résultats sont bons sous plusieurs changements naturels de distribution, mais peuvent s'effondrer vraiment hors distribution. Sur les chiffres manuscrits de MNIST, CLIP zéro-shot n'atteint que 88 % et une régression logistique sur les pixels d'origine fait mieux.
-
Coût en données et en calcul
CLIP demande d'énormes ressources. Les « 405 ans » de l'article correspondent à la présentation séquentielle, à une image par seconde, des quelque 12,8 milliards d'images vues sur 32 époques. Ce n'est pas sa durée réelle d'entraînement : sur les grappes GPU citées plus haut, celle-ci se compte en jours. L'auto-supervision et l'auto-entraînement pourraient offrir des pistes pour améliorer l'efficacité des données.
-
Évaluation et optimisation
- Bien que l'étude vise le zéro-shot, les chercheurs consultent à répétition les résultats des jeux de validation complets pendant le développement de CLIP. Ces validations comprennent souvent des milliers d'exemples, une disponibilité peu réaliste dans un véritable nouveau contexte zéro-shot. Oliver et ses collègues (2018) signalent une préoccupation proche en apprentissage semi-supervisé.
- Le passage du zéro-shot à quelques exemples peut parfois faire baisser les résultats. L'optimisation de CLIP pour l'apprentissage à peu d'exemples mérite donc encore du travail.
-
Biais sociaux et questions éthiques
Les paires image-texte du Web peuvent transmettre au modèle des biais sociaux, surtout lorsqu'elles ne font pas l'objet d'une sélection ou d'un filtrage soigneux.
Il faudra chercher à combiner la force du transfert zéro-shot de CLIP avec un apprentissage plus efficace à partir de quelques exemples.
Les dangers apportés par les données
-
Biais (Bias)
À partir de FairFace et d'autres essais exploratoires, les auteurs examinent les écarts de classification entre groupes de personnes. Pour un ensemble précis de libellés comprenant des animaux non humains et des termes liés à la criminalité, CLIP attribue parfois ces étiquettes à des portraits humains, à des taux qui varient selon l'âge, le sexe et le groupe racial. Ces taux dépendent des libellés choisis et ne sont pas une fréquence valable pour tous les usages.
L'ajout d'une classe « enfant » réduit nettement, chez les moins de vingt ans, les classements dans les catégories nuisibles précédentes. Dans un autre test sur des portraits de membres du Congrès, changer le seuil des étiquettes modifie la distribution des étiquettes liées au genre. Les données de préentraînement ne sont donc pas seules en cause : choix des classes, formulations et seuils comptent aussi. Ces essais restent exploratoires.
-
Surveillance (Surveillance)
L'article discute l'usage possible de modèles visuels polyvalents pour la surveillance, notamment la classification d'images de vidéosurveillance et la reconnaissance zéro-shot de célébrités. Les auteurs évaluent capacités et limites pour éclairer la réflexion sur les garde-fous de ces systèmes.
Sur des images de vidéosurveillance de faible résolution, ils construisent, à partir de VIRAT et de données de Varadarajan et Odobez, des tests grossiers et fins portant sur 515 images de 12 vidéos. Le test grossier reconnaît des scènes, comme un parking vide ou un campus ; le test fin recherche de petits éléments, par exemple la présence d'une personne dans un coin. La précision top-1 du test grossier est de 91,8 %. Dans une épreuve de résistance du même test grossier, avec des descriptions concurrentes proches, elle tombe à 51,1 %, dont 40,7 % de choix proches mais faux. Le test sur les petits objets, lui, approche le hasard : 51,1 % n'est pas son score.
Les auteurs examinent également la reconnaissance zéro-shot de célébrités sur CelebA. Sur une tâche comportant 8 000 portraits « dans la nature » et 100 noms possibles, CLIP obtient 59,2 % de précision top-1. Avec 1 000 noms candidats, elle descend à 43,3 %. Ces résultats ne rivalisent pas avec les systèmes de reconnaissance dédiés, mais montrent qu'une telle analyse reste possible sans entraînement supplémentaire propre à la tâche.
Les auteurs soulignent enfin que de grands jeux annotés et de puissants modèles supervisés existent déjà pour plusieurs applications de surveillance, comme la reconnaissance faciale : CLIP y est donc moins attrayant. Il ne convient pas non plus tel quel à des tâches fréquentes comme la détection d'objets ou la segmentation sémantique. Mais la réduction du besoin en données et modèles spécialisés peut rendre accessibles des usages de niche auparavant difficiles à construire. Cela justifie d'examiner ces possibilités et leurs conséquences.
Conclusion
En transposant à la vision par ordinateur l'idée de préentraînement massif fondé sur le langage naturel, cette étude montre les capacités de CLIP pour plusieurs tâches et pour le transfert zéro-shot.
Récapitulons ses apports et les pistes qu'elle laisse ouvertes :
-
Apports :
- Apprentissage multimodal : CLIP rapproche images et textes lors d'un préentraînement de grande ampleur. À l'aide de descriptions de classes en langue naturelle, ses représentations peuvent servir différentes tâches.
- Transfert zéro-shot : le modèle peut construire un classifieur à partir de descriptions textuelles sans utiliser les exemples d'entraînement propres au jeu cible ; les résultats sont bons sur plusieurs tâches, pas sur toutes.
- Passage à l'échelle : avec beaucoup de données et de calcul, certaines performances deviennent comparables à celles de modèles supervisés spécialisés, ce qui montre le potentiel et le coût de cette approche.
-
Pistes pour l'avenir :
- Interprétabilité limitée : rapprocher texte et image ou produire un score pour une description ne constitue pas une explication détaillée de la décision du modèle. Ses couches internes, les biais des données et les concepts abstraits rendent toute interprétation incertaine.
- Marge de progrès : malgré ses forces sur plusieurs tâches, CLIP peut encore s'améliorer, notamment face à des modèles supervisés conçus pour une tâche précise.
Les auteurs discutent aussi des effets sociaux possibles et remercient les personnes ainsi que les développeurs des outils logiciels qui ont contribué au travail. Cette étude ouvre une piste féconde entre langage et vision, tout en rappelant que les conditions d'évaluation et les risques de l'application comptent autant que les meilleurs scores.