Turning a CLIP Model into a Scene Text Detector
- Publication
- CVPR 2023Conférence
- Premier dépôt sur arXiv
- arXiv:2302.14338
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{textdetectiontcm2023,
title = {{Turning a CLIP Model into a Scene Text Detector}},
author = {Wenwen Yu and Yuliang Liu and Wei Hua and Deqiang Jiang and Bo Ren and Xiang Bai},
year = {2023},
eprint = {2302.14338},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2302.14338}
}
L'apprentissage contrastif a déjà laissé son empreinte dans de nombreux domaines.
Il était tout naturel que les chercheurs en détection de texte veuillent, eux aussi, prendre part à la fête.
Définition du problème
Les applications multimodales sont très en vue, surtout depuis la publication de CLIP en code ouvert. Son idée simple a attiré beaucoup de chercheurs.
Chacun cherche à appliquer ce modèle préentraîné à son propre domaine pour suivre cette nouvelle vague.
Attendez ! Vous ne savez toujours pas ce qu'est CLIP ?
CLIP
Nous avons déjà présenté CLIP plusieurs fois ; rappelons brièvement son fonctionnement.
Voici son architecture :
Imaginons un ensemble de paires image-texte. Une paire pourrait associer la photo d'un chien à la phrase « un adorable petit chien ».
Dans chaque lot d'entraînement, CLIP reçoit plusieurs de ces paires. L'encodeur d'images, fondé par exemple sur ResNet ou ViT, extrait des caractéristiques visuelles ; l'encodeur de texte, fondé sur un Transformer, extrait des caractéristiques textuelles.
Le modèle compare ensuite ces représentations. Il augmente la similarité cosinus entre les éléments correctement appariés, comme l'image du chien et sa description, et la réduit pour les paires incorrectes, comme l'image du chien et le texte « une pomme ».
Son entraînement s'appuie sur 400 millions de paires image-texte.
Neurones multimodaux
Peu après la publication de CLIP, OpenAI a étudié ce modèle et relevé des phénomènes intéressants.
L'étude montre que certains neurones de CLIP semblent se spécialiser dans des concepts, par exemple les émotions ou les lieux géographiques.
La figure ci-dessous concerne plus directement le texte ; regardons-la ensemble :
Tout à gauche, l'image d'origine est reconnue correctement par le modèle.
À partir de la deuxième image, cela devient intéressant.
Les images suivantes comportent une perturbation sous forme de texte, par exemple les mots « ipad » ou « pizza » superposés à l'image. Et, surprise :
- Le modèle se laisse dévier par ce texte !
Quand du texte apparaît dans l'image, le modèle peut privilégier ce texte au détriment du contenu visuel. C'est plutôt contre-intuitif !
Qu'en faire ?
Pour les chercheurs d'OpenAI, cette sensibilité excessive de CLIP au texte pose un problème sérieux : dans une application, quelqu'un pourrait s'en servir pour attaquer le modèle.
Un attaquant pourrait ajouter des mots à l'image afin de détourner sa prédiction. Pour eux, il faut donc apprendre à résister à ces attaques textuelles afin qu'elles ne dictent pas le résultat de reconnaissance visuelle.
Mais pour les chercheurs en détection de texte :
- Ce n'est pas un bug, c'est une fonctionnalité !
CLIP semble naturellement sensible au texte. Voilà une excellente nouvelle pour la détection et la reconnaissance de texte !
Autant en tirer pleinement parti.
Résolution du problème
De nombreux travaux cherchent déjà à exploiter efficacement les connaissances préentraînées de CLIP ; CoOp est l'un des plus connus.
En bref, on envoie l'image dans la branche visuelle de CLIP et une invite textuelle dans sa branche textuelle, puis on exploite les deux représentations pour transférer les connaissances de CLIP à la détection de texte.
Commençons par la branche textuelle : des invites apprenables et des indices conditionnés par l'image mobilisent les connaissances de CLIP. L'encodeur d'images est lui aussi ajusté pendant l'entraînement, avec un taux d'apprentissage réduit.
Dans CoCoOp, les caractéristiques de l'image servent à produire une invite pour la branche textuelle. Cet apprentissage adaptatif des invites a ensuite été largement repris.
Les auteurs de TCM s'en inspirent pour proposer une architecture qui extrait les connaissances de CLIP.
Architecture du modèle
Les auteurs nomment leur modèle TCM. Il paraît un peu compliqué, alors prenons-le étape par étape.
Ils utilisent d'abord le ResNet50 préentraîné de CLIP comme encodeur d'images. L'image d'entrée devient une représentation , où :
On peut l'écrire :
Générateur d'invites linguistiques
Il s'agit du bloc Language Prompt Generator dans le schéma.
L'étape précédente nous a donné les caractéristiques de l'image.
Pour faire appel aux connaissances de la branche textuelle, les auteurs s'inspirent de CoOp et ajoutent à l'entrée de l'encodeur de texte des invites apprenables . Elles facilitent le transfert des représentations textuelles :
À partir des caractéristiques visuelles , le générateur produit un indice :
est la représentation visuelle obtenue par la mise en commun globale avec attention de CLIP. Les paramètres ont pour dimensions . On ajoute ensuite à chaque vecteur d'invite pour obtenir .
Encodeur de texte
L'article emploie l'encodeur de texte préentraîné de CLIP en gardant ses poids gelés. Son invite prédéfinie est « Text ».
L'encodeur transforme cette invite de la seule classe recherchée en vecteur continu :
Ici, .
L'invite conditionnée par l'image est transmise à l'encodeur de texte, qui produit la représentation :
Générateur d'invites visuelles
Regardons la partie Visual Prompt du schéma.
Un mécanisme d'attention croisée de Transformer apprend une invite visuelle , faisant passer l'information du niveau de l'image à celui des instances textuelles :
La représentation visuelle est alors ajustée comme suit :
On obtient ainsi les Locality Embeddings indiqués sur la figure.
Correspondance instance-langage
On calcule le produit scalaire de la représentation textuelle et de la représentation visuelle ajustée , puis on applique une sigmoïde pour obtenir une carte binaire :
Pendant l'entraînement, on concatène et avant de les transmettre à la tête de détection. On contraint aussi au moyen d'une perte d'entropie croisée binaire (BCE) et des étiquettes de référence :
La perte totale vaut :
La formule de la perte auxiliaire dans l'article omet le signe moins ; il est rétabli ici conformément à la minimisation annoncée de la BCE. On prend , et est la perte propre à la méthode de détection employée.
À l'inférence, la sortie de la tête de détection constitue le résultat final.
Stratégie d'entraînement
Les expériences utilisent plusieurs méthodes de détection répandues : DBNet (DB), PAN et FCENet (FCE). Pour conserver des conditions comparables, les détecteurs sont entraînés sur SynthText et des jeux de données réels. Sauf indication contraire, le réseau dorsal est le ResNet50 de l'encodeur d'images préentraîné de CLIP.
Le générateur d'invites visuelles comprend trois couches de décodeur Transformer, avec quatre têtes d'attention. Sa largeur est de 256 et sa couche cachée feed-forward compte 1024 dimensions. La tête de détection est celle de DBNet, PAN ou FCENet selon le détecteur étudié.
Pour juger si une région textuelle est correctement détectée, l'évaluation utilise l'intersection sur l'union (IoU), puis compare précision, rappel et score F. Les régions marquées « do not care » ou « ### » sont ignorées à l'entraînement comme au test dans tous les jeux de données.
Discussion
Association aux méthodes existantes
Dès le départ, les auteurs présentent TCM comme un module que l'on peut greffer sur un détecteur existant. Le tableau ci-dessus donne les résultats obtenus en l'associant à trois méthodes sur IC15, TD et CTW :
- Score F : sur IC15, TCM fait gagner respectivement 0,9, 1,7 et 1,9 point de pourcentage à FCENet, PAN et DBNet. Les résultats sur TD et CTW montrent eux aussi des gains.
- Vitesse d'inférence : TCM-PAN, TCM-FCENet et TCM-DBNet atteignent respectivement 18, 8,4 et 10 images par seconde (FPS), contre 36, 11,5 et 14,5 FPS pour leurs versions d'origine. Ces mesures utilisent un réseau dorsal ResNet50 et un seul GPU V100.
Réseau dorsal CLIP préentraîné
Les auteurs commencent par remplacer uniquement le réseau dorsal de DBNet par l'encodeur visuel ResNet50 préentraîné de CLIP, afin de mesurer l'effet de ce changement. Dans le tableau, CR50 désigne la branche visuelle de CLIP et R50 le réseau dorsal d'origine de DBNet.
Avec le réseau dorsal CLIP, le score F augmente de 0,4 point sur IC15 et de 1,9 point sur TD. Il reste inchangé sur TT et CTW : remplacer le réseau dorsal, à lui seul, ne produit donc pas un gain systématique.
Efficacité des composants du modèle
Commençons par les abréviations du tableau :
- BSL : DBNet Baseline, ici le DBNet de référence doté du ResNet50 de CLIP.
- PP : Predefined Prompt, l'invite prédéfinie.
- LP : Learnable Prompt, les invites apprenables.
- LG : Language Prompt Generator, le générateur d'invites linguistiques.
- VG : Visual Prompt Generator, le générateur d'invites visuelles.
- TCM : la configuration complète du modèle.
Avec l'invite prédéfinie seule, à la deuxième ligne du tableau, les gains sur les quatre jeux de données IC15, TD, TT et CTW sont modestes : 0,05, 0,2, 0,04 et 0,1 point de pourcentage par rapport au modèle de référence.
En ajoutant les invites apprenables à l'invite prédéfinie, troisième ligne, on observe un gain sur chaque jeu de données.
Avec 32 invites plutôt que 4, le score F progresse sur les quatre jeux de données. Des invites plus nombreuses pourraient mieux mobiliser les connaissances de l'encodeur de texte préentraîné. Pour simplifier les expériences suivantes, les auteurs fixent néanmoins ce nombre à 4 par défaut.
Les auteurs évaluent aussi le générateur d'invites linguistiques, à la septième ligne du tableau.
Son ajout améliore encore les résultats sur les quatre jeux de données, surtout sur ICDAR2015. Cela suggère que les indices conditionnés par l'image aident la détection dans ces essais ; la généralisation entre jeux de données demande toutefois l'expérience de transfert présentée plus loin.
L'association du générateur d'invites visuelles aux autres composants dépasse le modèle de référence sur les quatre jeux de données. Avec 32 invites apprenables, le TCM complet gagne 1,7 point sur IC15 et 2,0 points sur TD par rapport à ce modèle.
La complémentarité constatée peut s'expliquer par la transmission de sémantique visuelle fine depuis les caractéristiques textuelles grâce au générateur d'invites visuelles.
Ses représentations visuelles locales aident également le modèle à construire des caractéristiques au niveau des instances textuelles et une carte de segmentation utile à la tête de détection.
Ablation de VG et LG pour la généralisation
Quand on retire le générateur d'invites visuelles (VG) ou linguistiques (LG) de TCM, la généralisation baisse nettement. Cette expérience confirme leur utilité dans les conditions étudiées.
Expérience sur le gel des encodeurs
En général, avec CLIP, on gèle l'encodeur de texte pour préserver ses connaissances et l'on entraîne l'encodeur d'images. Ici, les auteurs font varier les facteurs de taux d'apprentissage des deux encodeurs afin de mesurer l'effet du gel.
Parmi les quatre configurations présentées, le meilleur score F sur TD500, 88,7 %, est obtenu avec un taux d'apprentissage de l'encodeur d'images multiplié par 0,1 et l'encodeur de texte gelé.
Augmenter les données d'entraînement
Les auteurs veulent également savoir si TCM apporte quelque chose qu'un simple ajout de données d'entraînement n'apporterait pas. Ils mènent l'expérience suivante :
- Entraînement : le modèle utilise un grand ensemble public de 13 784 images provenant d'IC13, IC15, TD, CTW, TT et MLT17.
- Test : il est évalué sur 326 images nocturnes sélectionnées dans ArT. Voici un exemple de ces données.
Le tableau suivant donne les résultats :
Même après l'ajout d'un grand nombre d'images d'entraînement, les méthodes existantes restent limitées face aux images nocturnes dont la distribution diffère de celle de l'entraînement. Sur ce test NightTime-ArT, TCM-DBNet atteint un score F de 70,2 %, contre 52,8 % pour DBNet et 55,2 % pour FCENet.
Augmenter le nombre de paramètres
Pour une comparaison plus équitable, les auteurs augmentent la taille de DBNet en remplaçant son réseau dorsal par des ResNet plus grands et évaluent le tout sur TD500.
TCM-DBNet compte 50 millions de paramètres et 156 G de calculs, entre DBNet-R101 et DBNet-R152. Son score F atteint 88,7 %, contre 87,3 % pour DBNet-R152.
Effet de la perte auxiliaire
Les auteurs comparent enfin, sur TD500, les résultats avec et sans perte auxiliaire.
Le modèle qui l'utilise est plus performant. En contraignant la carte des scores de correspondance instance-langage, cette perte aide l'entraînement.
Généralisation entre jeux de données
Après entraînement sur IC13, les auteurs testent le transfert vers IC15 et TD. TCM-DBNet obtient respectivement des scores F de 71,9 % et 65,1 %, contre 63,9 % et 53,8 % pour DBNet dans le même tableau.
Conclusion
Tout le monde veut renforcer son modèle avec CLIP, et cet article en donne un bon exemple.
TCM permet d'exploiter directement les connaissances préalables de CLIP pour détecter le texte dans les scènes, sans ajouter une phase de préentraînement spécifique. On peut dire qu'il propose un nouveau paradigme pour cette tâche.
Les gains sur les tests classiques ne sont pas toujours très marqués. Mais les expériences de transfert entre jeux de données suggèrent que les connaissances d'un modèle multimodal préentraîné peuvent aider la généralisation.
Dans l'ensemble, TCM ouvre une piste intéressante pour les recherches suivantes.