Show, Attend and Read: A Simple and Strong Baseline for Irregular Text Recognition
- Publication
- AAAI 2019Conférence
- Premier dépôt sur arXiv
- arXiv:1811.00751
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{textrecognitionsar2018,
title = {{Show, Attend and Read: A Simple and Strong Baseline for Irregular Text Recognition}},
author = {Hui Li and Peng Wang and Chunhua Shen and Guyu Zhang},
year = {2018},
eprint = {1811.00751},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1811.00751}
}
Les textes très courbés posent de grandes difficultés aux modèles de reconnaissance. Des méthodes ont déjà tenté de résoudre ce problème, par exemple en corrigeant la géométrie avec un réseau STN, mais leurs résultats restent limités.
Définition du problème
Revenons sur les solutions antérieures à la reconnaissance de textes irréguliers. On peut les regrouper en trois familles :
-
Rectification géométrique : RARE en est un exemple représentatif. Il utilise un STN pour corriger la géométrie, mais les textes fortement déformés restent difficiles à traiter.
-
Attention : pendant le décodage, le modèle choisit des caractéristiques 2D locales. La méthode citée ici exige toutefois une supervision au niveau des caractères pendant l'entraînement, ce qui restreint les données utilisables.
-
Encodage multidirectionnel : le texte est encodé depuis quatre directions pour traiter diverses orientations, mais l'architecture devient plus complexe.
Après ce tour d'horizon, les auteurs préfèrent encore une solution simple.
Ils reviennent au cadre encodeur-décodeur avec attention. Leur architecture associe ResNet et LSTM à un module d'attention 2D adapté à la reconnaissance de textes irréguliers.
Résolution du problème
Architecture du modèle
Comme le montre le schéma, les auteurs choisissent ResNet-31 pour extraire les caractéristiques. La carte de caractéristiques 2D reste disponible pour la suite ; l'une des couches utilise un max-pooling de 1×2 afin de conserver davantage d'informations sur l'axe horizontal.
Encodeur
Une fois la carte de caractéristiques obtenue, un LSTM encode l'image.
Nous savons qu'un LSTM traite une séquence à une dimension. Les auteurs appliquent donc un max-pooling sur la hauteur de la carte pour la ramener à une séquence unidimensionnelle, qu'ils transmettent ensuite au LSTM.
Ce LSTM comporte deux couches de 512 unités cachées chacune. D'après le schéma, il est unidirectionnel.
Décodeur
Le décodeur utilise lui aussi un LSTM.
Le schéma ci-dessus montre la principale contribution des auteurs : si l'on retire la « 2D convolution feature map V », on retrouve un décodeur LSTM ordinaire.
Le décodeur reçoit d'abord le dernier état caché de l'encodeur. À chaque étape du décodage, il utilise ensuite son état courant pour calculer des poids d'attention sur la carte 2D et sélectionner les caractéristiques locales utiles.
Son LSTM comporte également deux couches de 512 unités cachées, avec des paramètres distincts de ceux de l'encodeur. Pendant l'entraînement, il utilise le teacher forcing ; à l'inférence, il reçoit à la place la prédiction de l'étape précédente.
Carte d'attention 2D
Pour remédier aux limites de l'attention 2D classique, les auteurs proposent un mécanisme qui prend en compte les relations spatiales :
Pour chaque position , les caractéristiques des positions voisines interviennent dans le calcul du poids d'attention. Il s'agit des huit voisins de .
Le score d'attention est calculé ainsi :
Avec :
- , le vecteur de caractéristiques local en ;
- , les huit voisins de ;
- , l'état caché du LSTM décodeur au pas , qui guide l'attention ;
- , et , des matrices de transformation linéaire apprises.
La fonction softmax produit le poids d'attention :
La somme pondérée, ou glimpse, au pas est :
et désignent respectivement la hauteur et la largeur de la carte de caractéristiques.
Par rapport à l'attention classique, le calcul ajoute une somme pondérée sur les huit voisins pour tenir compte des positions proches. Le modèle peut ainsi saisir les relations spatiales entre caractéristiques locales.
Discussion
Comparaison avec les autres méthodes
Sur les jeux de textes irréguliers du tableau (IC15, SVTP, CT80 et COCO-T), SAR obtient la meilleure précision dans chacune des configurations indiquées.
- Sur SVTP-None, il atteint 86,4 %, soit 7,5 points de pourcentage de plus que les 78,9 % de Liu, Chen et Wong (2018).
- Sur CT80, il atteint 89,6 %, soit 10,1 points de plus que les 79,5 % de Shi et ses collègues (2018).
Sur les jeux de textes réguliers, comme IIIT5K, SVT et IC13, SAR est également compétitif : son score sans lexique sur IIIT5K atteint 95,0 %, mais ses 91,2 % et 94,0 % sur SVT et IC13 ne sont pas les meilleurs du tableau.
Sans lexique, SAR affiche les meilleurs scores du tableau sur IIIT5K et SVTP, avec 95,0 % et 86,4 %. Les méthodes marquées d'un astérisque utilisent aussi des annotations au niveau des caractères ; il faut en tenir compte lorsque l'on compare leurs données d'entraînement.
Visualisation
Les auteurs comparent l'attention 2D de SAR avec une attention 2D classique.
Les caractères décodés figurent à gauche de leur carte d'attention ; les erreurs sont indiquées en rouge. Dans les deux exemples montrés, SAR place mieux son attention et reconnaît mieux le texte que le modèle d'attention 2D classique.
Conclusion
SAR montre de bonnes performances pour reconnaître des textes réguliers et irréguliers. Il ouvre aussi plusieurs pistes d'amélioration, notamment pour accélérer l'entraînement et mieux traiter les structures textuelles complexes.
Quelques études ultérieures prennent SAR comme référence de comparaison ; nous en reparlerons.