SEED: Semantics Enhanced Encoder-Decoder Framework for Scene Text Recognition
- Publication
- CVPR 2020Conférence
- Premier dépôt sur arXiv
- arXiv:2005.10977
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{textrecognitionseed2020,
title = {{SEED: Semantics Enhanced Encoder-Decoder Framework for Scene Text Recognition}},
author = {Zhi Qiao and Yu Zhou and Dongbao Yang and Yucan Zhou and Weiping Wang},
year = {2020},
eprint = {2005.10977},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2005.10977}
}
Les modèles fondés sur les caractéristiques visuelles semblent avoir atteint une limite.
Pourrait-on y intégrer davantage d'information linguistique ?
Définition du problème
Inspirées par le traitement automatique du langage, de nombreuses recherches sur la reconnaissance de texte dans les scènes (STR) utilisent désormais l'attention.
Pour les textes réguliers, un encodeur composé d'un réseau convolutif (CNN) et d'un réseau récurrent (RNN), associé à un décodeur avec attention, prédit les caractères un par un. Pour les textes irréguliers, on emploie plutôt un encodage multidirectionnel ou une attention 2D.
Mais alors…
Puisqu'on a déjà emprunté l'architecture au TAL, pourquoi ne pas lui emprunter encore autre chose ?
La partie « langage » des modèles de langage n'est-elle pas un indice intéressant ?
Les auteurs de cet article ajoutent une information sémantique globale pour guider le décodage. C'est l'une des premières explorations de la possibilité de combiner plusieurs modalités en STR.
Résolution du problème
Architecture du modèle
Les auteurs prennent ASTER comme base et proposent SE-ASTER, pour « ASTER enrichi par la sémantique », présenté ci-dessus.
SE-ASTER comporte quatre modules :
- Module de rectification : il redresse les images de texte irrégulier ;
- Encodeur : il extrait des caractéristiques visuelles riches ;
- Module sémantique : il prédit des informations sémantiques à partir de ces caractéristiques ;
- Décodeur : il produit le résultat final de la reconnaissance.
L'image entre d'abord dans le module de rectification. Un CNN peu profond prédit des points de contrôle, puis une transformation par spline à plaque mince (Thin-plate Splines, TPS) redresse l'image.
L'image redressée entre ensuite dans l'encodeur, qui génère ses caractéristiques visuelles.
L'encodeur comprend un CNN ResNet à 45 couches et un BiLSTM de deux couches, avec 256 unités cachées par couche. Il produit la séquence de caractéristiques , de forme . Ici, est la largeur de la dernière carte de caractéristiques du CNN et la dimension des caractéristiques.
Cette séquence a deux usages :
- Elle permet au module sémantique de prédire l'information sémantique.
- Elle sert d'entrée au décodeur.
Pour prédire la sémantique, les auteurs aplatissent la séquence en un vecteur de dimension .
L'information sémantique est calculée par deux fonctions linéaires ; la dimension du vecteur aplati est :
, , et sont des paramètres entraînables, et est l'activation ReLU. Le vecteur de mot fourni par FastText préentraîné sert à superviser cette information sémantique.
Modèle de langage préentraîné
Comme modèle de langage préentraîné, les auteurs choisissent FastText, fondé sur skip-gram.
Soit une fenêtre de texte autour du mot , avec mots de chaque côté. Dans skip-gram, le mot est représenté par un vecteur , donné à un simple réseau à propagation avant pour prédire son contexte :
Pendant l'entraînement, est optimisé de sorte que le vecteur final d'un mot soit proche de celui de mots de sens voisin. FastText ajoute des représentations de sous-mots, puis s'en sert pour construire le vecteur final de .
Par exemple, si , et le mot est « where », l'ensemble illustratif de sous-mots est wh, he, er, re, whe, her, ere, wher, here. La représentation combine les vecteurs de tous ces sous-mots et celui du mot lui-même.
FastText peut ainsi construire une représentation pour un mot « hors vocabulaire » (Out of Vocabulary).
À l'entraînement, les vecteurs de mots FastText supervisent , l'information sémantique prédite depuis l'image. À l'inférence, est transformé linéairement puis initialise l'état caché du GRU décodeur. Ce point est essentiel : dans l'ablation, la seule supervision par les vecteurs de mots n'apporte pas d'amélioration nette.
Fonction de perte
Les auteurs supervisent à la fois le module sémantique et le décodeur. SE-ASTER s'entraîne de bout en bout.
La perte est :
est une entropie croisée standard qui mesure l'écart entre les probabilités prédites et les vraies étiquettes.
est la perte cosinus du vecteur sémantique :
est le vecteur sémantique prédit et le vecteur de mot donné par FastText préentraîné pour la transcription cible. La perte compare leur similarité.
équilibre les deux pertes ; il vaut 1 dans ces expériences.
Détails de mise en œuvre
Le modèle FastText utilisé est le modèle officiel préentraîné sur Common Crawl et Wikipédia. Le réseau de reconnaissance peut produire 97 symboles : chiffres, lettres majuscules et minuscules, 32 signes de ponctuation, symbole de fin de séquence, symbole de remplissage et symbole d'inconnu.
Les images d'entrée sont redimensionnées à 64 × 256 sans conserver leur rapport largeur-hauteur. Les auteurs optimisent la fonction objectif avec ADADELTA.
Le réseau de reconnaissance ne reçoit pas d'autre préentraînement ni d'augmentation de données. Il est entraîné sur SynthText et Synth90K pendant 6 époques, avec des lots de 512. Le taux d'apprentissage commence à 1,0, passe à 0,1 à la quatrième époque puis à 0,01 à la cinquième. FastText, lui, est bien le modèle préentraîné mentionné plus haut. L'entraînement utilise une carte NVIDIA M40.
À l'inférence, les images gardent la même taille qu'à l'entraînement. Le décodage GRU utilise une recherche en faisceau qui conserve les candidats aux meilleurs scores cumulés ; vaut 5 dans toutes les expériences.
Discussion
Comparaison avec les méthodes récentes
Les auteurs comparent leur méthode à plusieurs méthodes antérieures sur divers jeux de référence, comme le montre le tableau.
Sans lexique et avec seulement des annotations au niveau des mots, SE-ASTER obtient deux meilleurs résultats et trois deuxièmes places sur les six jeux. Il se montre particulièrement efficace sur les jeux de faible qualité comme IC15 et SVTP.
Par rapport aux résultats ASTER publiés dans le tableau, SE-ASTER passe de 76,1 % à 80,0 % sur IC15 (+3,9 points de pourcentage) et de 78,5 % à 81,4 % sur SVTP (+2,9 points). Si l'on compare plutôt à la base ASTER réentraînée par les auteurs, les gains sont de 1,6 et 2,3 points respectivement. Malgré un backbone plus faible et l'absence d'annotations par caractère, SE-ASTER dépasse aussi ScRN de 0,6 point sur SVTP et de 1,3 point sur IC15.
Résultats visualisés
Les auteurs montrent quelques images de faible qualité, notamment floues ou partiellement occultées. Des exemples figurent ci-dessus.
Sur ces exemples, SE-ASTER corrige certaines erreurs d'ASTER. Les auteurs estiment que l'information sémantique apporte au décodeur un contexte global qui réduit l'effet des perturbations de l'image.
Conclusion
L'introduction d'un modèle de langage ouvre une autre voie à la reconnaissance de texte dans les scènes. SE-ASTER obtient de bons résultats sur plusieurs jeux de référence et résiste mieux à certaines images de faible qualité.
Dans les recherches STR qui ont suivi, l'association avec les modèles de langage est devenue une tendance majeure. Sans même aborder ici ses éventuels effets indésirables, c'est une piste encore nouvelle et qui mérite d'être étudiée à la date de cet article.