Retour à la bibliothèque
arXiv 2018AAAI 2019Reconnaissance de texteNotes de lecture

SAR

Une carte d'attention en deux dimensions

Article original

Show, Attend and Read: A Simple and Strong Baseline for Irregular Text Recognition

Auteurs de l’article

Hui Li · Peng Wang · Chunhua Shen · Guyu Zhang

Publication
AAAI 2019Conférence
Premier dépôt sur arXiv
arXiv:1811.00751
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{textrecognitionsar2018,
  title = {{Show, Attend and Read: A Simple and Strong Baseline for Irregular Text Recognition}},
  author = {Hui Li and Peng Wang and Chunhua Shen and Guyu Zhang},
  year = {2018},
  eprint = {1811.00751},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1811.00751}
}
Sur cette page

Les textes très courbés posent de grandes difficultés aux modèles de reconnaissance. Des méthodes ont déjà tenté de résoudre ce problème, par exemple en corrigeant la géométrie avec un réseau STN, mais leurs résultats restent limités.

Définition du problème

Revenons sur les solutions antérieures à la reconnaissance de textes irréguliers. On peut les regrouper en trois familles :

  1. Rectification géométrique : RARE en est un exemple représentatif. Il utilise un STN pour corriger la géométrie, mais les textes fortement déformés restent difficiles à traiter.

  2. Attention : pendant le décodage, le modèle choisit des caractéristiques 2D locales. La méthode citée ici exige toutefois une supervision au niveau des caractères pendant l'entraînement, ce qui restreint les données utilisables.

  3. Encodage multidirectionnel : le texte est encodé depuis quatre directions pour traiter diverses orientations, mais l'architecture devient plus complexe.


Après ce tour d'horizon, les auteurs préfèrent encore une solution simple.

Ils reviennent au cadre encodeur-décodeur avec attention. Leur architecture associe ResNet et LSTM à un module d'attention 2D adapté à la reconnaissance de textes irréguliers.

Résolution du problème

Architecture du modèle

Comme le montre le schéma, les auteurs choisissent ResNet-31 pour extraire les caractéristiques. La carte de caractéristiques 2D reste disponible pour la suite ; l'une des couches utilise un max-pooling de 1×2 afin de conserver davantage d'informations sur l'axe horizontal.

Encodeur

Une fois la carte de caractéristiques obtenue, un LSTM encode l'image.

Nous savons qu'un LSTM traite une séquence à une dimension. Les auteurs appliquent donc un max-pooling sur la hauteur de la carte pour la ramener à une séquence unidimensionnelle, qu'ils transmettent ensuite au LSTM.

Ce LSTM comporte deux couches de 512 unités cachées chacune. D'après le schéma, il est unidirectionnel.

Décodeur

Le décodeur utilise lui aussi un LSTM.

Le schéma ci-dessus montre la principale contribution des auteurs : si l'on retire la « 2D convolution feature map V », on retrouve un décodeur LSTM ordinaire.

Le décodeur reçoit d'abord le dernier état caché de l'encodeur. À chaque étape du décodage, il utilise ensuite son état courant pour calculer des poids d'attention sur la carte 2D et sélectionner les caractéristiques locales utiles.

Son LSTM comporte également deux couches de 512 unités cachées, avec des paramètres distincts de ceux de l'encodeur. Pendant l'entraînement, il utilise le teacher forcing ; à l'inférence, il reçoit à la place la prédiction de l'étape précédente.

Carte d'attention 2D

Pour remédier aux limites de l'attention 2D classique, les auteurs proposent un mécanisme qui prend en compte les relations spatiales :

Pour chaque position (i,j)(i, j), les caractéristiques des positions voisines interviennent dans le calcul du poids d'attention. Il s'agit des huit voisins de (i,j)(i, j).

Le score d'attention eije_{ij} est calculé ainsi :

eij=tanh⁡(Wvvij+∑p,q∈NijW~p−i,q−j⋅vpq+Whht′)e_{ij} = \tanh(W_v v_{ij} + \sum_{p,q \in N_{ij}} \tilde{W}_{p-i, q-j} \cdot v_{pq} + W_h h'_t)

Avec :

  • vijv_{ij}, le vecteur de caractéristiques local en (i,j)(i, j) ;
  • NijN_{ij}, les huit voisins de (i,j)(i, j) ;
  • ht′h'_t, l'état caché du LSTM décodeur au pas tt, qui guide l'attention ;
  • WvW_v, WhW_h et W~\tilde{W}, des matrices de transformation linéaire apprises.

La fonction softmax produit le poids d'attention αij\alpha_{ij} :

αij=softmax(weT⋅eij)\alpha_{ij} = \text{softmax}(w_e^T \cdot e_{ij})

La somme pondérée, ou glimpse, au pas tt est :

gt=∑i,jαijvij,i=1,…,H,j=1,…,Wg_t = \sum_{i,j} \alpha_{ij} v_{ij}, \quad i = 1, \ldots, H, \quad j = 1, \ldots, W

HH et WW désignent respectivement la hauteur et la largeur de la carte de caractéristiques.

Par rapport à l'attention classique, le calcul ajoute une somme pondérée sur les huit voisins pour tenir compte des positions proches. Le modèle peut ainsi saisir les relations spatiales entre caractéristiques locales.

Discussion

Comparaison avec les autres méthodes

Sur les jeux de textes irréguliers du tableau (IC15, SVTP, CT80 et COCO-T), SAR obtient la meilleure précision dans chacune des configurations indiquées.

  • Sur SVTP-None, il atteint 86,4 %, soit 7,5 points de pourcentage de plus que les 78,9 % de Liu, Chen et Wong (2018).
  • Sur CT80, il atteint 89,6 %, soit 10,1 points de plus que les 79,5 % de Shi et ses collègues (2018).

Sur les jeux de textes réguliers, comme IIIT5K, SVT et IC13, SAR est également compétitif : son score sans lexique sur IIIT5K atteint 95,0 %, mais ses 91,2 % et 94,0 % sur SVT et IC13 ne sont pas les meilleurs du tableau.

Sans lexique, SAR affiche les meilleurs scores du tableau sur IIIT5K et SVTP, avec 95,0 % et 86,4 %. Les méthodes marquées d'un astérisque utilisent aussi des annotations au niveau des caractères ; il faut en tenir compte lorsque l'on compare leurs données d'entraînement.

Visualisation

Les auteurs comparent l'attention 2D de SAR avec une attention 2D classique.

Les caractères décodés figurent à gauche de leur carte d'attention ; les erreurs sont indiquées en rouge. Dans les deux exemples montrés, SAR place mieux son attention et reconnaît mieux le texte que le modèle d'attention 2D classique.

Conclusion

SAR montre de bonnes performances pour reconnaître des textes réguliers et irréguliers. Il ouvre aussi plusieurs pistes d'amélioration, notamment pour accélérer l'entraînement et mieux traiter les structures textuelles complexes.

Quelques études ultérieures prennent SAR comme référence de comparaison ; nous en reparlerons.