Retour à la bibliothèque
arXiv 2023IEEE TIP 2024Reconnaissance de texteNotes de lecture

CLIP4STR

La bénédiction du multimodal

Article original

CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model

Auteurs de l’article

Shuai Zhao · Ruijie Quan · Linchao Zhu · Yi Yang

Premier dépôt sur arXiv
arXiv:2305.14014
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{textrecognitionclip4str2023,
  title = {{CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model}},
  author = {Shuai Zhao and Ruijie Quan and Linchao Zhu and Yi Yang},
  year = {2023},
  eprint = {2305.14014},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2305.14014}
}
Sur cette page

Le vent de l'apprentissage contrastif souffle partout.

L'apprentissage multimodal qui lui a succédé est devenu un sujet très en vue ces dernières années, au point de populariser un nouveau sigle :

  • VLM, pour Vision-Language Models.

Dans le métier, tout le monde peut désormais lancer à tue-tête : « VLM ! »

Alors, les chercheurs en reconnaissance de texte ne pouvaient tout de même pas manquer la fête, si ?

Définition du problème

La reconnaissance de texte de scène (Scene Text Recognition, STR) se débrouille mal lorsque le texte est tourné, courbé, flou ou occulté.

Le même problème dure depuis des décennies. Cette fois, essayons autre chose.

CLIP, proposé en 2021, a rapidement attiré l'attention grâce à son apprentissage entre images et langage. Il peut percevoir diverses formes de texte dans des images naturelles ; cette capacité pourrait être utile à la STR.

Un instant ! Qu'est-ce que CLIP ?

Comment a-t-on changé de sujet si vite ?

CLIP

Nous savons que vous n'avez pas envie de tout relire, alors voici un bref rappel.

Voici l'architecture de CLIP :

Imaginons des paires image-texte, par exemple une photo de chien associée à la description « un adorable petit chien ».

Un lot d'entraînement contient plusieurs paires de ce type. L'encodeur d'image, fondé par exemple sur ResNet ou ViT, produit des caractéristiques visuelles ; l'encodeur de texte, fondé sur un Transformer, produit des caractéristiques linguistiques.

Le modèle compare ces représentations pour rapprocher, selon leur similarité cosinus, les bonnes paires, comme le chien et sa description, et éloigner les mauvaises, comme la photo du chien et le texte « une pomme ».

Une architecture très simple !

Ajoutons enfin 400 millions de paires image-texte, et lançons l'entraînement !

Et alors ?

Qu'est-ce que cela signifie ?

Une fois entraîné, CLIP permet de rechercher des images avec une requête en langue naturelle. Dans l'autre sens, il peut classer une image parmi des descriptions candidates ; CLIP seul ne rédige pas librement une légende. Si ses données d'entraînement comportent des images de mots comme celles d'une tâche STR, ses caractéristiques visuelles pourraient aussi être liées au sens du texte visible.

  • Des liens entre l'image d'un mot et le mot lui-même ? C'est justement le problème de la STR !

Les données de CLIP couvrent de nombreuses formes d'images du monde réel. Leurs caractéristiques pourraient donc dépasser ce que les seuls jeux de données STR apprennent habituellement et améliorer la reconnaissance.

C'est particulièrement intéressant pour les mots inclinés, déformés ou fortement occultés : les données de CLIP contiennent peut-être des cas que nous aurions du mal à imaginer, et CLIP pourrait en avoir appris certaines caractéristiques.

Essai sans entraînement supplémentaire

Pour vérifier leur intuition, les auteurs commencent par un essai zero-shot de CLIP.

Regardons ce que CLIP saisit du « texte ». À gauche se trouve l'image d'entrée avec un mot, au centre la visualisation de l'attention et à droite le résultat d'une classification parmi des catégories candidates, et non une transcription OCR libre :

Surprise : dans cet essai de classification, CLIP prête bien attention aux lettres !

Lorsque le mot est occulté, comme dans l'exemple +occluded, CLIP prend en compte le texte et le fond. Les probabilités de classification pour cat et horse finissent presque à égalité !

Résolution du problème

Puisque CLIP possède déjà une certaine sensibilité au texte, il reste à le « guider » pour qu'il se concentre sur la STR.

Architecture du modèle

Nous supposons que CLIP vous est désormais familier, alors passons directement à cette architecture.


CLIP a deux branches, l'une textuelle et l'autre visuelle.

Dans CLIP4STR, l'image entre d'abord dans la « branche image de CLIP » pour produire des caractéristiques visuelles. Un « image decoder » spécifique lit ensuite ces caractéristiques et prédit un texte.

Dans l'exemple du schéma, cette première prédiction est « briiad ». Elle peut être incorrecte : elle entre alors dans la « branche texte de CLIP » pour fournir des caractéristiques textuelles.

Enfin, les caractéristiques textuelles et visuelles sont concaténées et données à un « cross-modal decoder » qui corrige la prédiction. À l'inférence, les deux branches prédisent d'abord successivement de façon autorégressive ; une correction itérative par masques cloze peut suivre. La sortie retenue est celle de la branche intermodale.

Seules certaines couches de l'encodeur de texte CLIP sont gelées, tandis que l'encodeur d'image reste entraînable. Le gradient du décodeur intermodal ne revient pas jusqu'à l'encodeur d'image, ce qui permet à la branche visuelle d'apprendre aussi de manière autonome.

On voit ici que la fonction principale de la « branche texte de CLIP » s'apparente à la correction des fautes, plutôt qu'à la génération initiale du texte.

Décodeur de texte

Vous vous souvenez du « cross-modal decoder » dont nous venons de parler ?

Il reprend la modélisation de séquences permutées et le décodeur Transformer de PARSeq. Le décodeur visuel et le décodeur intermodal ont la même architecture ; seule change la source de la seconde couche d'attention. Le premier lit les caractéristiques visuelles, le second celles obtenues en concaténant les encodeurs texte et image de CLIP. Tous deux utilisent des caractéristiques au niveau des tokens.

Discussion

Comparaison avec les autres méthodes

Le tableau compare neuf colonnes de benchmarks STR et distingue les conditions d'entraînement sur données synthétiques ou réelles. CLIP4STR obtient une précision supérieure sur plusieurs d'entre elles. Il faut néanmoins regarder les données d'entraînement et la taille du modèle dans chaque ligne.

Première étude d'ablation

L'expérience part d'une branche visuelle seule avec un encodeur ViT-S non préentraîné.

  1. L'introduction de PSM et de la recette d'entraînement de PARSeq apporte 0,7 point de précision supplémentaire.
  2. Remplacer l'encodeur par ViT-B/16 de CLIP fait passer la précision moyenne de 89,9 % à 90,0 % : le gain est faible et suggère qu'il faut encore adapter le modèle.
  3. Les auteurs ajustent les paramètres d'entraînement : blocs de 16×16, taux d'apprentissage plus faible pour l'encodeur que pour le décodeur, et entraînement ramené à 16 époques.

À ce stade, le modèle dépasse déjà la précédente meilleure méthode.

  1. La branche intermodale et les caractéristiques de tous les tokens font passer la précision moyenne sur neuf benchmarks de 90,8 % à 91,2 %. L'utilisation des seuls [CLASS] et [EOS] donne 90,6 % (ligne ajoutée au tableau V de la version 4 de l'article, absente de l'image ci-dessus).
  2. Avec le modèle plus grand ViT-L/14, la précision gagne encore 0,7 point.

CLIP-ViT-L/14 converge plus vite que CLIP-ViT-B/16 sur la STR : dix époques lui suffisent.

Quelles couches de CLIP faut-il geler ?

#Params indique les paramètres entraînables ; token signifie que seul le token embedding préentraîné est utilisé.
La partie haute concerne le gel de la branche texte, la partie basse celui de la branche image.


Deux stratégies de gel sont courantes :

  1. Geler une partie de l'encodeur de texte CLIP : le réglage par défaut gèle 6 de ses 12 couches ; les auteurs testent d'autres nombres de couches gelées.
  2. Geler la branche image CLIP : elle ne peut alors plus s'adapter pendant l'entraînement, ce qui peut nuire au résultat final.

Les auteurs comparent plusieurs réglages. Selon le nombre de couches textuelles gelées, les scores montent ou baissent d'un benchmark à l'autre ; un gel important de l'encodeur d'image entraîne une baisse plus nette.

Même si l'on ne conserve que le token embedding fixe préentraîné de l'encodeur de texte, le système approche les performances du réglage par défaut. Les auteurs en déduisent que la sémantique textuelle nécessaire à la STR tient surtout aux mots et aux courtes expressions, plus qu'à la compréhension générale du langage.

Geler le modèle visuel nuit davantage aux performances, peut-être à cause du décalage de domaine entre les données de préentraînement visuel de CLIP et les images STR.

CLIP voit principalement des images naturelles au préentraînement, tandis que les données STR sont des images recadrées de mots. Les résultats du tableau soutiennent donc l'intérêt de laisser l'encodeur visuel de CLIP4STR entraînable pour réduire ce décalage.

Le multimodal est-il vraiment utile ?

Pour évaluer l'intérêt réel du préentraînement multimodal, les auteurs réentraînent la « branche image ».

Ils testent trois initialisations de l'encodeur visuel :

  • ViT initialisé aléatoirement : aucun préentraînement.
  • ViT préentraîné sur ImageNet-1K.
  • ViT préentraîné sur ImageNet-21K.

Le tableau ne compare que la branche visuelle de CLIP4STR-B. Le préentraînement sur paires image-texte dépasse l'entraînement à partir de zéro sur quatre des cinq benchmarks ; sur Uber, les deux valent 86,6 %. Le préentraînement ImageNet-1K ou ImageNet-21K est inférieur à l'entraînement à partir de zéro sur les cinq benchmarks.

Et si l'on essayait le PEFT ?

Outre l'affinage complet, les méthodes d'affinage efficaces en paramètres (Parameter-Efficient Fine-Tuning, PEFT) gagnent du terrain pour les grands modèles préentraînés. CoOp, par exemple, n'entraîne que des prefix prompts apprenables ; CLIP-Adapter ajoute des couches linéaires ajustables au-dessus d'un VLM gelé.

Comme ces méthodes fonctionnent bien sur certaines tâches, les auteurs en essaient deux pour la STR :

  1. CLIP-Adapter : deux couches linéaires sont ajoutées au sommet de CLIP gelé, avec un coefficient de connexion résiduelle λ=0.2\lambda = 0.2.
  2. LST : un réseau latéral en échelle est associé à CLIP gelé ; il réduit puis réaugmente la dimension des caractéristiques pour les faire correspondre aux caractéristiques d'origine.

Le tableau porte uniquement sur la branche visuelle de CLIP4STR-B. CLIP-Adapter fait mieux que le modèle simplement gelé, mais moins bien qu'un affinage complet. LST donne un meilleur résultat que CLIP-Adapter et améliore sensiblement la précision, tout en restant sous l'affinage complet.

Quand les ressources d'entraînement sont limitées, LST peut être un choix intéressant.

Conclusion

Les architectures multimodales ont connu de grands succès dans diverses tâches ces dernières années. Cet article montre aussi comment appliquer CLIP à la STR, avec des performances de pointe dans les conditions étudiées.

Le chemin ne s'arrête pas ici : il est temps de tourner.