Retour à la bibliothèque
arXiv 2023ICIP 2023Reconnaissance de texteNotes de lecture

DiffusionSTR

Un signal textuel dans le bruit

Article original

DiffusionSTR: Diffusion Model for Scene Text Recognition

Auteurs de l’article

Masato Fujitake

Publication
ICIP 2023Conférence
Premier dépôt sur arXiv
arXiv:2306.16707
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{textrecognitiondiffusionstr2023,
  title = {{DiffusionSTR: Diffusion Model for Scene Text Recognition}},
  author = {Masato Fujitake},
  year = {2023},
  eprint = {2306.16707},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2306.16707}
}
Sur cette page

La logique de la recherche est parfois toute simple :

On repère une bonne idée dans un autre domaine, on l’essaie, et voilà peut-être un article.

Définir le problème

Les modèles de diffusion sont populaires depuis plusieurs années, surtout dans la génération d’images.

Une nouveauté pareille, pourquoi ne pas...

L’utiliser pour reconnaître du texte !

Résoudre le problème

Architecture du modèle

Il faudrait trois jours et trois nuits pour expliquer les modèles de diffusion. Nous n’allons pas le faire ici ; supposons que vous les maîtrisez déjà.

Les auteurs introduisent un modèle de diffusion comme base de la reconnaissance de texte.

L’architecture est très simple : un ViT commence par encoder l’image et produire ses caractéristiques.

Une séquence remplie de bruit, xTx_T, entre ensuite dans un Transformer. Conditionné par les caractéristiques visuelles, celui-ci produit une séquence progressivement affinée xT−1x_{T-1}. Le processus se répète TT fois et aboutit à x0x_0.

Enfin, x0x_0 passe dans un FFN pour devenir le texte reconnu, tandis qu’une tête sensible aux caractères prédit leurs positions.

Un modèle de diffusion comprend un processus direct et un processus inverse :

  • Processus direct : dans le modèle de diffusion initial, on ajoute progressivement du bruit à x0x_0 jusqu’au bruit gaussien xTx_T ; cet article traite des séquences de caractères discrets et utilise plutôt une diffusion multinomiale.
  • Processus inverse : le débruitage progressif reconstruit les données initiales x0x_0.

Les auteurs emploient la diffusion multinomiale pour les variables discrètes que sont les caractères. Ils introduisent aussi des marqueurs spéciaux : [EOS] pour la fin du texte, [PAD] pour le remplissage et [MASK] pour le bruit.

L’entraînement utilise une perte simplifiée LsimpleL_{\text{simple}} et une erreur quadratique moyenne pour le stabiliser.

Aucun modèle de langage n’est ajouté. Les auteurs estiment qu’une branche linguistique rendrait l’architecture plus complexe et masquerait l’effet propre du modèle de diffusion.

Architecture du Transformer

Les auteurs emploient un décodeur Transformer avec un encodage de la position temporelle pour transformer la séquence de diffusion.

Il diffère d’un Transformer traditionnel sur plusieurs points :

  1. Les caractéristiques visuelles zz conditionnent la séquence textuelle grâce à une attention croisée.
  2. Les probabilités de tous les caractères sont produites en même temps, au lieu d’en prédire un seul à la fois. La génération n’est pas autorégressive.
  3. La sortie a deux usages : elle passe dans un FFN pour produire le texte et dans la tête sensible aux caractères pour prédire si chaque région de caractère contient réellement un caractère.

Pendant l’entraînement, on tire un pas de temps tt au hasard. Selon le calendrier de bruit αt,αˉt\alpha_t, \bar{\alpha}_t, on produit la séquence bruitée xtx_t. Puis Dec(xt,z,t)\text{Dec}(x_t, z, t) prédit xt−1x_{t-1} et la perte est calculée.

À l’inférence, on part de xTx_T rempli de marqueurs de bruit [MASK]. Conditionné par les caractéristiques visuelles zz de l’encodeur, le modèle répète le processus TT fois jusqu’à obtenir x0x_0. Enfin, x0x_0 est transformé en texte reconnu par le FFN.

Les auteurs ajoutent une tête sensible aux caractères pour traiter leur classification dans la séquence de longueur fixe. Elle décide de façon binaire si une position correspond à un caractère (1) ou non (0), avec une perte d’entropie croisée binaire.

Discussion

Comparaison avec d’autres méthodes

Le tableau compare la précision par mot de plusieurs méthodes entraînées seulement sur MJ et ST, sur six jeux de test.

DiffusionSTR obtient de bons résultats sur plusieurs jeux et reste compétitif face aux méthodes récentes les plus solides.

ABINet et PARSeq utilisent de puissants modèles de langage, tandis que TRBA rectifie les images avant la reconnaissance. DiffusionSTR, malgré une structure plus simple sans ces techniques, atteint néanmoins une précision comparable.

Atouts du modèle de diffusion

À partir des exemples de reconnaissance de la figure, les auteurs observent les résultats de DiffusionSTR dans ces cas :

  1. Images bruitées : certains exemples sont mieux reconnus que par PARSeq.
  2. Images floues : le texte de certains exemples reste reconnaissable.

Effet de la tête sensible aux caractères

L’expérience montre son importance : quand on la retire, la précision moyenne sur les six jeux passe de 91,8 % à 63,4 %.

Effet du nombre de pas de diffusion

Le tableau montre l’effet du nombre total de pas sur la précision : de 100 à 2 000 pas, elle monte de 17,6 % à 91,9 %, puis retombe à 91,3 % avec 4 000 pas.

Dans cette expérience, la précision semble à peu près saturer après 1 000 pas.

Conclusion

La méthode affine, sous condition des informations visuelles, une séquence textuelle bruitée : elle diffère ainsi des méthodes existantes. Sur les jeux de validation, DiffusionSTR reste au niveau des meilleures méthodes, ce qui montre l’intérêt de l’approche.

Cette façon originale de poser le problème fait entrevoir aux chercheurs le potentiel des modèles de diffusion pour reconnaître le texte.