DiffusionSTR: Diffusion Model for Scene Text Recognition
- Publication
- ICIP 2023Conférence
- Premier dépôt sur arXiv
- arXiv:2306.16707
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{textrecognitiondiffusionstr2023,
title = {{DiffusionSTR: Diffusion Model for Scene Text Recognition}},
author = {Masato Fujitake},
year = {2023},
eprint = {2306.16707},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2306.16707}
}
La logique de la recherche est parfois toute simple :
On repère une bonne idée dans un autre domaine, on l’essaie, et voilà peut-être un article.
Définir le problème
Les modèles de diffusion sont populaires depuis plusieurs années, surtout dans la génération d’images.
Une nouveauté pareille, pourquoi ne pas...
L’utiliser pour reconnaître du texte !
Résoudre le problème
Architecture du modèle
Il faudrait trois jours et trois nuits pour expliquer les modèles de diffusion. Nous n’allons pas le faire ici ; supposons que vous les maîtrisez déjà.
Les auteurs introduisent un modèle de diffusion comme base de la reconnaissance de texte.
L’architecture est très simple : un ViT commence par encoder l’image et produire ses caractéristiques.
Une séquence remplie de bruit, , entre ensuite dans un Transformer. Conditionné par les caractéristiques visuelles, celui-ci produit une séquence progressivement affinée . Le processus se répète fois et aboutit à .
Enfin, passe dans un FFN pour devenir le texte reconnu, tandis qu’une tête sensible aux caractères prédit leurs positions.
Un modèle de diffusion comprend un processus direct et un processus inverse :
- Processus direct : dans le modèle de diffusion initial, on ajoute progressivement du bruit à jusqu’au bruit gaussien ; cet article traite des séquences de caractères discrets et utilise plutôt une diffusion multinomiale.
- Processus inverse : le débruitage progressif reconstruit les données initiales .
Les auteurs emploient la diffusion multinomiale pour les variables discrètes que sont les caractères. Ils introduisent aussi des marqueurs spéciaux : [EOS] pour la fin du texte, [PAD] pour le remplissage et [MASK] pour le bruit.
L’entraînement utilise une perte simplifiée et une erreur quadratique moyenne pour le stabiliser.
Aucun modèle de langage n’est ajouté. Les auteurs estiment qu’une branche linguistique rendrait l’architecture plus complexe et masquerait l’effet propre du modèle de diffusion.
Architecture du Transformer
Les auteurs emploient un décodeur Transformer avec un encodage de la position temporelle pour transformer la séquence de diffusion.
Il diffère d’un Transformer traditionnel sur plusieurs points :
- Les caractéristiques visuelles conditionnent la séquence textuelle grâce à une attention croisée.
- Les probabilités de tous les caractères sont produites en même temps, au lieu d’en prédire un seul à la fois. La génération n’est pas autorégressive.
- La sortie a deux usages : elle passe dans un FFN pour produire le texte et dans la tête sensible aux caractères pour prédire si chaque région de caractère contient réellement un caractère.
Pendant l’entraînement, on tire un pas de temps au hasard. Selon le calendrier de bruit , on produit la séquence bruitée . Puis prédit et la perte est calculée.
À l’inférence, on part de rempli de marqueurs de bruit [MASK]. Conditionné par les caractéristiques visuelles de l’encodeur, le modèle répète le processus fois jusqu’à obtenir . Enfin, est transformé en texte reconnu par le FFN.
Les auteurs ajoutent une tête sensible aux caractères pour traiter leur classification dans la séquence de longueur fixe. Elle décide de façon binaire si une position correspond à un caractère (1) ou non (0), avec une perte d’entropie croisée binaire.
Discussion
Comparaison avec d’autres méthodes
Le tableau compare la précision par mot de plusieurs méthodes entraînées seulement sur MJ et ST, sur six jeux de test.
DiffusionSTR obtient de bons résultats sur plusieurs jeux et reste compétitif face aux méthodes récentes les plus solides.
ABINet et PARSeq utilisent de puissants modèles de langage, tandis que TRBA rectifie les images avant la reconnaissance. DiffusionSTR, malgré une structure plus simple sans ces techniques, atteint néanmoins une précision comparable.
Atouts du modèle de diffusion
À partir des exemples de reconnaissance de la figure, les auteurs observent les résultats de DiffusionSTR dans ces cas :
- Images bruitées : certains exemples sont mieux reconnus que par PARSeq.
- Images floues : le texte de certains exemples reste reconnaissable.
Effet de la tête sensible aux caractères
L’expérience montre son importance : quand on la retire, la précision moyenne sur les six jeux passe de 91,8 % à 63,4 %.
Effet du nombre de pas de diffusion
Le tableau montre l’effet du nombre total de pas sur la précision : de 100 à 2 000 pas, elle monte de 17,6 % à 91,9 %, puis retombe à 91,3 % avec 4 000 pas.
Dans cette expérience, la précision semble à peu près saturer après 1 000 pas.
Conclusion
La méthode affine, sous condition des informations visuelles, une séquence textuelle bruitée : elle diffère ainsi des méthodes existantes. Sur les jeux de validation, DiffusionSTR reste au niveau des meilleures méthodes, ce qui montre l’intérêt de l’approche.
Cette façon originale de poser le problème fait entrevoir aux chercheurs le potentiel des modèles de diffusion pour reconnaître le texte.