What Is Wrong With Scene Text Recognition Model Comparisons? Dataset and Model Analysis
- Publication
- ICCV 2019Conférence
- Premier dépôt sur arXiv
- arXiv:1904.01906
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{textrecognitionwwwstr2019,
title = {{What Is Wrong With Scene Text Recognition Model Comparisons? Dataset and Model Analysis}},
author = {Jeonghun Baek and Geewook Kim and Junyeop Lee and Sungrae Park and Dongyoon Han and Sangdoo Yun and Seong Joon Oh and Hwalsuk Lee},
year = {2019},
eprint = {1904.01906},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1904.01906}
}
Cet article de Clova AI ne propose pas de nouvelle technique. Il analyse en profondeur les algorithmes et les jeux de données existants, puis combine les modules de plusieurs façons pour chercher les meilleures configurations possibles.
Analyse des jeux de données
Les travaux n'emploient pas tous les mêmes jeux d'entraînement. Quand leurs résultats progressent, comment savoir si le mérite revient au nouveau modèle ou à des données plus grandes et meilleures ?
Cette incohérence entre jeux de données compromet l'équité des comparaisons.
Jeux d'entraînement
Annoter des images de texte en scène réelle coûte cher. Comme les exemples annotés sont difficiles à obtenir en quantité suffisante, la plupart des modèles de reconnaissance de texte en scène naturelle (STR) s'entraînent sur des jeux synthétiques.
En voici deux très utilisés :
-
MJSynth (MJ)
Conçu pour la STR, MJSynth contient 8,9 millions d'images de boîtes de mots synthétiques. La fabrication passe par le rendu des polices, des bordures et des ombres, la coloration du fond, la composition du texte avec ce fond, des déformations de perspective, le mélange avec de vraies images, puis l'ajout de bruit.
-
SynthText (ST)
SynthText a d'abord été conçu pour la détection de texte en scène naturelle, mais sert aussi à la STR. Pour l'entraînement, les chercheurs recadrent les boîtes de mots et retirent les exemples contenant des caractères non alphanumériques ; il reste environ 5,5 millions d'images.
Jeux de test
Plusieurs versions d'un même benchmark diffèrent parfois sensiblement.
Sur IC03, la différence de sept exemples peut ainsi déplacer la précision de 0,8 point de pourcentage : beaucoup, quand on compare les résultats publiés par différents travaux.
Les écarts de taille entre versions d'IC13 et d'IC15 sont encore plus grands.
Sept jeux de scènes réelles sont couramment utilisés pour évaluer les modèles STR. Selon la difficulté du texte et sa disposition géométrique, on les regroupe en jeux « réguliers » et « irréguliers » :
-
Jeux réguliers : texte horizontal dont les caractères sont assez régulièrement espacés, généralement plus facile à lire.
- IIIT5K-Words (IIIT) : images issues de Google Images, avec 2 000 images d'entraînement et 3 000 d'évaluation.
- Street View Text (SVT) : scènes de rue Google Street View, parfois bruitées, floues ou de faible résolution ; 257 images d'entraînement et 647 d'évaluation.
- ICDAR2003 (IC03) : jeu du concours de lecture robuste ICDAR 2003, avec 1 156 images d'entraînement et 1 110 d'évaluation. Après exclusion des mots trop courts ou contenant des caractères non alphanumériques, deux versions d'évaluation comptent 860 et 867 images.
- ICDAR2013 (IC13) : reprend beaucoup d'images d'IC03 pour le concours ICDAR 2013 ; 848 images d'entraînement et 1 095 d'évaluation. Deux versions d'évaluation en retiennent respectivement 857 et 1 015.
-
Jeux irréguliers : texte courbe, tourné ou déformé, plus difficile à reconnaître.
- ICDAR2015 (IC15) : concours de lecture robuste ICDAR 2015, avec 4 468 images d'entraînement et 2 077 d'évaluation. Les images proviennent d'une personne portant des Google Glass en mouvement ; flou, bruit et rotation sont donc fréquents. L'étude utilise des versions d'évaluation de 1 811 et 2 077 images.
- SVT Perspective (SP) : 645 images d'évaluation tirées de Google Street View, souvent déformées par un point de vue non frontal.
- CUTE80 (CT) : 288 images recadrées de scènes naturelles pour l'évaluation, dont beaucoup de textes courbes.
Différences entre versions
Le tableau montre que les travaux n'évaluent pas toujours leurs modèles sur la même version des benchmarks, surtout IC03, IC13 et IC15.
Sur IC03, sept exemples seulement peuvent changer la précision de 0,8 point ; l'écart de taille est encore plus grand sur IC13 et IC15. Ces variations introduisent des biais de comparaison. Il faut donc vérifier la version exacte d'un jeu avant de comparer deux modèles.
Analyse des architectures
La STR associe des représentations visuelles et la prédiction d'une séquence de caractères. Les réseaux convolutifs (CNN) et récurrents (RNN) ont chacun apporté leurs outils à ces étapes.
CRNN a été le premier modèle à associer CNN et RNN pour la STR : le CNN extrait les caractéristiques et le RNN prédit la séquence. De nombreuses variantes ont ensuite cherché à améliorer les résultats, en ajoutant des modules pour traiter les polices et les arrière-plans complexes.
Certaines méthodes omettent même le RNN afin de réduire le temps d'inférence. D'autres introduisent un décodeur avec attention pour mieux prédire la suite des caractères.
Le cadre commun proposé distingue quatre étapes :
- Transformation : un réseau de transformation spatiale (STN) normalise l'image de texte en entrée et soulage les étapes suivantes.
- Extraction des caractéristiques : l'image est convertie en représentations utiles à la reconnaissance des caractères, tandis que les variations de police, couleur, taille et fond sont atténuées.
- Modélisation de séquence : elle exploite le contexte entre caractères pour rendre chaque prédiction plus précise.
- Prédiction : elle produit la séquence finale de caractères à partir des caractéristiques extraites.
Transformation
Le module transforme l'image d'entrée X en une image normalisée X'.
Dans une scène réelle, le texte peut être courbe ou incliné. Sans correction préalable, l'extracteur de caractéristiques doit apprendre seul à résister à toutes ces déformations géométriques.
Certains travaux emploient donc une transformation par splines à plaques minces (Thin-Plate Spline, TPS), une variante du STN. Elle prédit des points de contrôle sur les limites supérieure et inférieure du texte, puis redresse la région par interpolation lisse.
La TPS traite ainsi des textes de proportions diverses et les ramène vers une forme rectangulaire prédéfinie.
Extraction des caractéristiques
Le CNN transforme l'image d'entrée, X ou X', en une carte de caractéristiques visuelles.
Chaque colonne de cette carte correspond à une zone réceptrice située le long de l'axe horizontal de l'image. Ces représentations servent à prédire les caractères de ces zones.
Les auteurs étudient trois architectures fréquentes : VGG, RCNN et ResNet.
- VGG : plusieurs couches convolutionnelles, suivies de quelques couches entièrement connectées.
- RCNN : variante de CNN dont les couches sont appliquées récursivement afin d'adapter la zone réceptrice à la forme des caractères.
- ResNet : ses connexions résiduelles facilitent l'entraînement d'un CNN plus profond.
Modélisation de séquence
La sortie de l'extracteur est réorganisée en une séquence de caractéristiques V : chaque colonne de la carte devient un pas de cette séquence.
Cette séquence brute peut manquer de contexte. Des travaux antérieurs utilisent donc un réseau LSTM bidirectionnel (BiLSTM) pour enrichir avec les relations entre caractères.
Prédiction
La séquence sert à prédire la suite de caractères .
À partir des travaux antérieurs, les auteurs proposent deux possibilités :
- Classification temporelle connexionniste (CTC) : elle prédit une sortie de longueur variable à partir d'une séquence de caractéristiques de longueur fixe. Les caractères répétés et les blancs de l'alignement sont supprimés pour obtenir le texte final.
- Prédiction de séquence fondée sur l'attention (Attn) : elle suit les informations de la séquence d'entrée et apprend des dépendances entre les caractères de sortie, comme un modèle de langue au niveau des caractères.
Chaque module peut être choisi ou adapté aux besoins de l'application STR.
Configuration expérimentale
Comme nous l'avons vu, les données changent fortement les résultats. Pour comparer équitablement les modèles STR, les auteurs fixent donc les jeux d'entraînement, de validation et d'évaluation.
- Entraînement : MJSynth (8,9 millions d'exemples) et SynthText (5,5 millions), soit 14,4 millions au total.
- Validation : les partitions d'entraînement d'IC13, IC15, IIIT et SVT sont réunies.
- Paramètres d'entraînement : optimiseur AdaDelta, taux de décroissance ρ=0,95, lots de 192, 300 000 itérations, écrêtage des gradients à 5, initialisation de He et validation toutes les 2 000 étapes.
- Éviter les doublons : la partition d'entraînement IC03 est exclue de la validation, car 34 scènes, comprenant 215 boîtes de texte, se retrouvent dans l'évaluation IC13.
- Mesures :
- Précision : proportion de mots correctement reconnus sur les différentes versions des sept jeux réels et sur un ensemble fusionné de 8 539 images. Chaque combinaison de modules est entraînée avec cinq graines aléatoires, puis les résultats sont moyennés.
- Vitesse : temps moyen de traitement par image, en millisecondes.
- Mémoire : nombre de paramètres flottants entraînables de l'ensemble du modèle STR.
- Matériel : processeur Intel Xeon(R) E5-2630 v4 à 2,20 GHz, GPU NVIDIA TESLA P40 et 252 Go de RAM.
Discussion
Les auteurs examinent les compromis entre précision et temps d'inférence, puis entre précision et nombre de paramètres, pour différentes combinaisons de modules.
La figure ci-dessus place toutes ces combinaisons sur les deux graphiques. Six modèles STR déjà publiés y sont signalés par une étoile.
Compromis précision-temps
Dans le tableau (a), T1 est le modèle le plus rapide, car il n'a ni module de transformation ni module de séquence.
De T1 à T5, les modules ajoutés ou remplacés sont, dans l'ordre, ResNet, BiLSTM, TPS puis Attn ; leurs noms sont en gras dans le tableau.
À chaque passage, un seul module change. Le cadre offre ainsi une transition progressive entre résultat et coût de calcul, en fonction de l'application.
ResNet, BiLSTM et TPS portent la précision de 69,5 % à 82,9 %, avec un temps qui passe de 1,3 à 10,9 ms par image : une baisse de vitesse relativement modérée au vu du gain.
L'ajout d'Attn gagne encore 1,1 point de pourcentage, mais le temps passe de 10,9 à 27,6 ms par image. Son coût est bien plus élevé.
Compromis précision-mémoire
Dans le tableau (b), P1 est le modèle avec le moins de paramètres entraînables. P1 à P5 illustrent le compromis entre quantité de paramètres et précision.
Là aussi, on ne change qu'un module à la fois. Les ajouts successifs sont Attn, TPS, BiLSTM, puis ResNet. Entre P4 et P5, ce dernier fait monter les paramètres de 7,2 à 49,6 millions, mais le temps d'inférence descend de 30,1 à 27,6 ms.
Par rapport au VGG de T1, RCNN est plus léger dans P1 à P4 et offre un bon compromis précision-mémoire. Il réutilise récursivement un nombre réduit de couches CNN distinctes.
Dans le groupe P1–P4, l'effet de la transformation, de la séquence et de la prédiction sur le nombre de paramètres reste limité (1,9 à 7,2 millions), tandis que la précision monte de 75,4 % à 82,3 %.
Le passage final à ResNet apporte encore 1,7 point de précision, mais fait bondir les paramètres de 7,2 à 49,6 millions. Dans ce choix de modules et à ce budget, il faut donc réfléchir avant de sélectionner ResNet si la mémoire est déterminante.
Analyse des modules
Les auteurs comparent chaque module en précision, vitesse et paramètres. La précision du tableau est moyennée sur toutes les combinaisons contenant ce module ; temps et paramètres sont mesurés pour chaque module pris séparément.
-
Gain de précision : les progrès sur les jeux irréguliers sont environ deux fois ceux observés sur les jeux réguliers. Si l'on rapporte le gain de précision au temps, le meilleur ordre de montée en gamme est ResNet, BiLSTM, TPS, Attn, à partir de la configuration de base (None-VGG-None-CTC). C'est aussi l'ordre de la frontière précision-temps T1→T5.
-
Point de vue précision-mémoire : selon le coût en paramètres, l'ordre le plus efficace est RCNN, Attn, TPS, BiLSTM, ResNet, comme sur la frontière P1→P5. Hormis le choix initial de RCNN, les quatre changements se font dans l'ordre inverse de la frontière précision-temps.
Analyse des échecs
Les auteurs examinent les échecs communs aux 24 combinaisons de modules.
La figure donne six cas fréquents. Parmi les 8 539 exemples des benchmarks, 644 images (7,5 %) ne sont reconnues correctement par aucun modèle.
-
Polices calligraphiques
- Les typographies particulières de certaines marques, comme « Coca Cola », ou d'enseignes, comme « Cafe », restent difficiles. Il faut des caractéristiques visuelles qui s'adaptent mieux à cette diversité.
- Piste de recherche : une régularisation pourrait éviter le surapprentissage des polices présentes dans l'entraînement.
-
Texte vertical
- La plupart des modèles STR supposent un texte horizontal et peinent donc à lire une disposition verticale. Quelques modèles exploitent déjà cette direction, mais le problème n'est pas résolu.
- Piste de recherche : mieux inclure le texte vertical dans la reconnaissance.
-
Caractères spéciaux
- Les benchmarks de l'époque n'évaluent pas ces caractères. Les travaux les retirent donc souvent de l'entraînement et les modèles finissent par les confondre avec des lettres ou des chiffres.
- Piste de recherche : avec des caractères spéciaux ajoutés à l'entraînement, les auteurs portent la précision sur IIIT de 87,9 % à 90,3 %.
-
Occultations fortes
- Les méthodes existantes n'utilisent pas encore assez le contexte pour compenser le texte caché.
- Piste de recherche : des modèles de langue plus puissants pourraient mieux exploiter ce contexte.
-
Faible résolution
- Les modèles ne traitent pas explicitement ces images de mauvaise résolution.
- Piste de recherche : une pyramide d'images ou un module de super-résolution pourrait améliorer les résultats.
-
Bruit des étiquettes
- Certaines erreurs viennent d'étiquettes incorrectes. L'examen montre du bruit d'annotation dans tous les jeux évalués.
- Statistiques du bruit :
- 1,3 % d'étiquettes erronées sans tenir compte des caractères spéciaux ;
- 6,1 % en tenant compte des caractères spéciaux ;
- 24,1 % si l'on tient aussi compte de la casse.
Conclusion
Cet article analyse la reconnaissance de texte en scène naturelle en profondeur. Son cadre commun permet des comparaisons plus équitables entre les modèles et leurs performances.
Si vous n'avez pas le temps de lire tous les articles précédents, lisez au moins celui-ci !
Il vous donnera rapidement une idée de l'état de la reconnaissance de texte en 2019 et une direction plus claire pour vos recherches. De quoi éviter bien des détours.