Retour à la bibliothèque
CVPR 2016Reconnaissance de texteNotes de lecture

RARE

Une rectification entièrement automatique

Article original

Robust Scene Text Recognition With Automatic Rectification

Auteurs de l’article

Baoguang Shi · Xinggang Wang · Pengyuan Lyu · Cong Yao · Xiang Bai

Publication
CVPR 2016Conférence
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@inproceedings{textrecognitionrare2016,
  title = {{Robust Scene Text Recognition With Automatic Rectification}},
  author = {Baoguang Shi and Xinggang Wang and Pengyuan Lyu and Cong Yao and Xiang Bai},
  year = {2016},
  booktitle = {CVPR},
  url = {https://openaccess.thecvf.com/content_cvpr_2016/html/Shi_Robust_Scene_Text_CVPR_2016_paper.html}
}
Sur cette page

CRNN a résolu une grande partie du problème, mais peine encore à reconnaître le texte irrégulier.

Définition du problème

Reconnaître du texte dans une scène naturelle est bien plus difficile que lire du texte imprimé. Au moment de la reconnaissance, les mots peuvent être fortement déformés, courbés, occultés ou flous.

Dans cet article, les auteurs se concentrent surtout sur les déformations. Attendez : n'avons-nous pas vu récemment un modèle STN assez connu ?

Et si nous concevions un modèle capable de rectifier l'image automatiquement ?

Résolution du problème

Réseau de transformation spatiale

Pour mieux reconnaître le texte irrégulier, il faut placer la rectification avant le module de reconnaissance.

Les auteurs font appel à un réseau de transformation spatiale (Spatial Transformer Network, STN) pour rectifier l'image d'entrée.

Le STN transforme l'image II en une image rectifiée I′I' au moyen d'une transformation TPS (Thin Plate Spline) prédite. Son réseau de localisation prévoit des points de repère ; le générateur de grille calcule ensuite les paramètres TPS et les positions à échantillonner dans l'image d'entrée. Enfin, l'échantillonneur utilise cette grille et l'image II pour produire I′I'.

Réseau de localisation

Le réseau de localisation prédit les coordonnées xx et yy de KK points de repère, notés :

C=[c1,…,cK]∈R2×K,ck=[xk,yk]⊤C = [c_1, \dots, c_K] \in \mathbb{R}^{2 \times K}, c_k = [x_k, y_k]^\top

L'origine des coordonnées se trouve au centre de l'image ; les valeurs sont normalisées dans [−1,1][-1, 1].

Un CNN effectue cette régression. Sa sortie compte 2K2K nœuds, avec une activation tanh qui maintient les valeurs dans (−1,1)(-1, 1).

Les coordonnées des points de repère ne sont pas annotées à la main : le réseau apprend grâce aux gradients rétropropagés depuis les autres parties du STN.

Générateur de grille

Sur les bords supérieur et inférieur de l'image rectifiée, les auteurs fixent des points de repère de base C′C^\prime. Le réseau de localisation prédit leurs correspondants CC dans l'image d'entrée, comme le montre la figure.

Le générateur de grille estime les paramètres TPS et produit la grille d'échantillonnage. Ces paramètres forment une matrice T∈R2×(K+3)T \in \mathbb{R}^{2 \times (K+3)} calculée ainsi :

T=(ΔC′−1[C⊤03×2])⊤T = \left( \Delta_{C^\prime}^{-1} \begin{bmatrix} C^\top \\ 0^{3 \times 2} \end{bmatrix} \right)^\top

La matrice ΔC′∈R(K+3)×(K+3)\Delta_{C^\prime} \in \mathbb{R}^{(K+3) \times (K+3)} ne dépend que des points fixes C′C^\prime ; elle est donc constante.

Elle a la forme suivante :

ΔC′=[1K×1(C′)⊤R0011×K00C′]\Delta_{C^\prime} = \begin{bmatrix} 1^{K \times 1} & (C^\prime)^{\top} & R \\ 0 & 0 & 1^{1 \times K} \\ 0 & 0 & C^\prime \end{bmatrix}

L'élément ri,jr_{i,j}, à la ligne ii et à la colonne jj de RR, vaut :

ri,j=di,j2ln⁡di,j2,r_{i,j} = d_{i,j}^2 \ln d_{i,j}^2,

Ici, di,jd_{i,j} est la distance euclidienne entre les points de base ci′c^\prime_i et cj′c^\prime_j.

La grille des pixels de l'image rectifiée I′I' s'écrit P′={pi′}i=1,…,NP' = \{p'_i\}_{i=1, \dots, N} ; chaque pi′=[xi′,yi′]⊤p'_i = [x'_i, y'_i]^{\top} désigne les coordonnées d'un pixel, et NN est leur nombre total.

Pour chaque pixel pi′p'_i de I′I', on cherche la position correspondante pi=[xi,yi]⊤p_i = [x_i, y_i]^{\top} dans l'image d'entrée II :

  1. Calculer d'abord la distance entre pi′p'_i et les points de base :

    ri,k′=di,k2ln⁡di,k2,r'_{i,k} = d_{i,k}^2 \ln d_{i,k}^2,

    où di,kd_{i,k} est la distance euclidienne entre pi′p'_i et le kk-ième point de base ck′c^\prime_k.

  2. Former ensuite le vecteur augmenté p^i′\hat{p}'_i :

    p^i′=[1,xi′,yi′,ri,1′,…,ri,K′]⊤.\hat{p}'_i = \left[ 1, x'_i, y'_i, r'_{i,1}, \dots, r'_{i,K} \right]^{\top}.
  3. Obtenir enfin le point pip_i de l'image d'entrée par multiplication matricielle :

    pi=Tp^i′.p_i = T \hat{p}'_i.

En répétant ce calcul pour chaque pixel de l'image rectifiée I′I', on obtient la grille P={pi}i=1,…,NP = \{p_i\}_{i=1, \dots, N} des positions à échantillonner dans l'image II.

Le calcul de TT et la transformation vers pip_i sont différentiables : les gradients peuvent donc traverser le générateur de grille pendant l'entraînement.

Échantillonneur

L'échantillonneur (sampler) produit l'image rectifiée I′I' en interpolant bilinéairement les valeurs de l'image d'entrée.

La valeur de chaque pixel pi′p'_i de I′I' provient des pixels voisins de sa position correspondante pip_i dans II.

Cette opération est également différentiable : l'erreur de reconnaissance peut revenir jusqu'au module de rectification. Voici un exemple du résultat :

Encodeur-décodeur

Une fois l'image rectifiée, nous revenons à une procédure de reconnaissance plus familière.

L'encodeur s'appuie sur CRNN : un réseau dorsal transforme l'image en une séquence de caractéristiques, puis un BiLSTM en modélise les relations temporelles.

Le décodeur change en revanche. Alors que CRNN emploie la CTC pour transcrire ses prédictions par pas de temps, RARE utilise un GRU avec attention pour générer les caractères un à un.

Au pas tt, l'attention du décodeur calcule un vecteur de poids αt∈RL\alpha_t \in \mathbb{R}^L, où LL est la longueur de la séquence fournie par l'encodeur.

Ces poids sont calculés par :

αt=Attend(st−1,αt−1,h)\alpha_t = \text{Attend}(s_{t-1}, \alpha_{t-1}, h)

avec :

  • st−1s_{t-1}, l'état caché du GRU au pas précédent ;
  • αt−1\alpha_{t-1}, le vecteur des poids d'attention précédents ;
  • hh, la représentation de la séquence fournie par l'encodeur.

La fonction Attend combine donc le dernier état caché, l'attention précédente et la représentation d'entrée pour produire αt\alpha_t. Chaque poids est positif ou nul, et tous les poids totalisent 1 : ils indiquent l'importance de chaque élément de la séquence pour le pas de décodage actuel.

À partir de αt\alpha_t, le modèle calcule un vecteur de contexte, ou glimpse, noté gtg_t. Il s'agit de la somme pondérée des représentations hh :

gt=∑i=1Lαtihig_t = \sum_{i=1}^{L} \alpha_{ti} h_i

où :

  • αti\alpha_{ti} est le ii-ième poids du vecteur αt\alpha_t ;
  • hih_i est la représentation du ii-ième élément de la séquence d'entrée.

Le vecteur gtg_t résume ainsi la partie de l'entrée sur laquelle le modèle porte son attention.

Puisque les poids de αt\alpha_t sont non négatifs et de somme 1, gtg_t est une combinaison pondérée des caractéristiques : le décodeur peut se concentrer sur une région différente à chaque pas.

Après ce calcul, le GRU met à jour son état caché selon :

st=GRU(lt−1,gt,st−1)s_t = \text{GRU}(l_{t-1}, g_t, s_{t-1})

où :

  • lt−1l_{t-1} est l'étiquette du pas précédent ;
  • à l'entraînement, il s'agit de l'étiquette correcte ;
  • au test, c'est l'étiquette prédite au pas précédent l^t−1\hat{l}_{t-1} ;
  • gtg_t est le vecteur glimpse fourni par l'attention ;
  • st−1s_{t-1} est l'état caché précédent du GRU.

Le GRU combine donc le caractère précédent, le contexte visuel actuel et son état antérieur pour calculer sts_t.

À chaque pas, le décodeur utilise cet état pour prédire le caractère suivant. Sa sortie y^t\hat{y}_t est une distribution sur les caractères possibles, y compris un symbole spécial de fin de séquence (EOS). La génération s'arrête lorsque ce symbole est prédit.

Reconnaissance assistée par dictionnaire

La sortie peut encore contenir des erreurs. Les auteurs étudient donc aussi une reconnaissance aidée par un dictionnaire, puis comparent les résultats avec et sans cette aide.

Si un dictionnaire est associé à l'image test, le modèle choisit le mot ayant la plus forte probabilité conditionnelle a posteriori :

l∗=arg⁡max⁡llog⁡∏t=1∣l∣p(lt∣I;θ).l^* = \arg \max_l \log \prod_{t=1}^{|l|} p(l_t | I; \theta).

Dans un très grand dictionnaire, tel que Hunspell avec plus de 50 000 mots, examiner chaque mot coûte cher. Les auteurs emploient donc un arbre de préfixes pour une recherche approchée plus efficace :

Chaque nœud représente un caractère ; un chemin de la racine à une feuille représente un mot.

Au test, la recherche part de la racine et choisit, à chaque étape, le nœud enfant ayant la plus forte probabilité a posteriori selon le modèle, jusqu'à atteindre une feuille. Le chemin donne le mot prédit.

La profondeur de l'arbre ne dépasse pas la longueur du mot le plus long du dictionnaire, ce qui évite de parcourir séparément tous les mots. Pour les dictionnaires de plus de 1 000 mots, l'article utilise aussi une recherche en faisceau de largeur 7 afin de conserver plusieurs chemins candidats.

Entraînement du modèle

Les auteurs utilisent le jeu de données synthétiques publié par Jaderberg et ses collègues :

  • Text Recognition Data : environ 8 millions d'images d'entraînement accompagnées de leur transcription, produites par un moteur de synthèse au rendu réaliste.

Aucune autre donnée supplémentaire n'est employée.

Les lots comptent 64 images. À l'entraînement comme au test, les images sont redimensionnées à 100×32100 \times 32, ce qui est aussi la taille de sortie du STN. Le modèle traite environ 160 échantillons par seconde à l'entraînement et converge en moins de deux jours après trois époques.

Mesures d'évaluation

Le modèle est évalué sur quatre jeux courants de reconnaissance de texte de scène :

  1. ICDAR 2003 (IC03)

    • Le test comprend 251 images de scène annotées avec des boîtes de texte.
    • Pour rester comparable aux travaux précédents, on écarte normalement les extraits contenant des caractères non alphanumériques ou moins de trois caractères. Il reste alors 860 images de mots découpés.
    • Chaque image dispose d'un lexique de 50 mots. Un lexique complet réunit également les lexiques de toutes les images.
  2. ICDAR 2013 (IC13)

    • Une partie des données d'IC03 est reprise et corrigée. Après application du même filtrage que pour IC03, l'article évalue 857 images de mots découpés.
    • Aucun lexique n'est fourni pour IC13 : les résultats sont donc mesurés sans aide lexicale.
  3. IIIT 5K-Word (IIIT5k)

    • Le test contient 3 000 images de mots découpés, collectées sur Internet, avec des polices et des présentations variées.
    • Chaque image dispose de deux lexiques pour l'évaluation assistée, contenant respectivement 50 et 1 000 mots.
  4. Street View Text (SVT)

    • Le jeu provient de 249 images de scène prises dans Google Street View, dont sont extraits 647 mots.
    • Chaque extrait possède un lexique de 50 mots pour l'évaluation assistée.

Discussion

Comparaison avec les autres méthodes

Le tableau compare les résultats de RARE avec ceux des autres méthodes. Dans les colonnes réellement sans lexique, RARE dépasse CRNN sur IIIT5K, SVT, IC03 et IC13. Certains chiffres supérieurs de Jaderberg et al. [17] restent toutefois contraints à leur lexique de 90 000 mots.

Sur IIIT5K sans lexique, RARE atteint 81,9 % contre 78,2 % pour CRNN [32], soit 3,7 points de plus. Selon les auteurs, la présence de mots irréguliers dans IIIT5K est une des raisons possibles pour lesquelles la rectification aide.

Même lorsque RARE se situe sous le modèle de [17] dans certains jeux, il peut reconnaître des chaînes inédites, comme des numéros de téléphone, tandis que [17] est limité aux mots de son dictionnaire de 90 000 entrées.

Avec une aide lexicale, RARE reste légèrement sous CRNN dans les configurations d'IIIT5K, de SVT et d'IC03, tout en étant compétitif face à [17]. Il serait donc trompeur de reporter les gains sans lexique sur ces réglages. La ligne « RARE (SRN only) » montre aussi que l'ajout de la rectification améliore les quatre colonnes sans lexique.

Conclusion

Cet article s'attaque à la reconnaissance du texte irrégulier. Un réseau de transformation spatiale (STN) différentiable rectifie automatiquement les mots, puis la reconnaissance est entraînée de bout en bout ; les résultats sont bons sur plusieurs jeux de données.

Les auteurs constatent cependant des échecs sur les mots « particulièrement courbés ». Il se peut que ces formes soient trop rares dans les données d'entraînement, ce qui laisse une piste d'amélioration.