Retour à la bibliothèque
arXiv 2021ICCV 2021Détection de texteNotes de lecture

TextBPN

Retour aux convolutions sur graphe

Article original

Adaptive Boundary Proposal Network for Arbitrary Shape Text Detection

Auteurs de l’article

Shi-Xue Zhang · Xiaobin Zhu · Chun Yang · Hongfa Wang · Xu-Cheng Yin

Publication
ICCV 2021Conférence
Premier dépôt sur arXiv
arXiv:2107.12664
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{textdetectiontextbpn2021,
  title = {{Adaptive Boundary Proposal Network for Arbitrary Shape Text Detection}},
  author = {Shi-Xue Zhang and Xiaobin Zhu and Chun Yang and Hongfa Wang and Xu-Cheng Yin},
  year = {2021},
  eprint = {2107.12664},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2107.12664}
}
Sur cette page

Cet article mobilise plusieurs idées pour détecter le texte dans les images.

La première est le LSTM, qui saisit la séquence des points du contour. L'autre est le GCN, un réseau de convolution sur graphe qui affine les caractéristiques de ce contour. Chacune mériterait trois jours de discussion, mais nous supposons que vous les connaissez déjà.

Alors allons-y directement.

Définition du problème

Nous avons déjà parcouru plusieurs méthodes de détection de texte. Pour gérer le chevauchement des régions, beaucoup commencent par trouver un « noyau » du texte, puis l'étendent jusqu'à son contour.

Ces méthodes sont souvent lentes ; les auteurs les qualifient même de « complexes et inefficaces ».

Ils proposent donc un réseau adaptatif de propositions de frontières pour les textes de forme libre. Celui-ci apprend à produire directement leurs contours, sans traitement supplémentaire complexe.

Résolution du problème

Architecture du modèle

À première vue, l'architecture est chargée. Prenons-la morceau par morceau.

Backbone + Neck

L'extraction des cartes de caractéristiques est classique : ResNet-50 sert de réseau dorsal et le neck concatène les caractéristiques, dans une architecture proche de U-Net.

La sortie du neck a 32 canaux et la même taille spatiale que l'image d'entrée.

Génération des propositions de frontière

Cette partie (« Boundary Proposal Generation ») repose sur plusieurs convolutions dilatées : deux couches 3×33 \times 3 de dilatations différentes et une couche 1×11 \times 1.

À partir des caractéristiques partagées extraites par le réseau dorsal, elle produit trois cartes : classification, distances et directions.

  1. Carte de classification : comme dans d'autres détecteurs de texte, elle attribue à chaque pixel un score binaire, texte ou non-texte.

  2. Carte des directions :

    Le champ VV contient, pour chaque pixel de texte, un vecteur unitaire bidimensionnel (x⃗,y⃗)(\vec{x}, \vec{y}) dirigé vers son pixel de frontière le plus proche. Pour pp dans une instance TT, on trouve ce pixel BpB_p et calcule Vgt(p)V_{gt}(p). Dans l'équation (1) de l'article, la flèche pointe dans le sens contraire du texte et de la figure 5(a) ; en suivant ces deux derniers, on écrit :

    Vgt(p)={pBp→∥pBp→∥,p∈T(0,0),p∉TV_{gt}(p) = \begin{cases} \frac{\overrightarrow{p B_p}}{\|\overrightarrow{p B_p}\|}, & p \in T \\ (0, 0), & p \notin T \end{cases}

    ∥pBp→∥\|\overrightarrow{p B_p}\| est la distance entre pp et son pixel de frontière le plus proche BpB_p.

  3. Carte des distances :

    Le champ DD donne la distance normalisée de chaque pixel de texte pp à BpB_p :

    Dgt(p)={∥pBp→∥L,p∈T0,p∉TD_{gt}(p) = \begin{cases} \frac{\|\overrightarrow{p B_p}\|}{L}, & p \in T \\ 0, & p \notin T \end{cases}

    Ici, LL est la plus grande distance non normalisée entre un pixel de l'instance TT et sa frontière :

    L=max⁡q∈T∥qBq→∥L = \max_{q \in T}\|\overrightarrow{q B_q}\|

    L'équation (3) de l'article définit LL à partir du maximum de DgtD_{gt} déjà normalisé, ce qui serait circulaire. Nous explicitons ici la distance non normalisée nécessaire au calcul.

Un seuil fixe thdth_d sur la carte DD permet de construire des frontières candidates. Certaines sont erronées : on calcule donc leur confiance moyenne à partir de la carte de classification et on retire celles dont le score est inférieur au seuil thsth_s.

Ensemble, ces cartes et ces seuils proposent des frontières de régions de texte, y compris lorsque plusieurs instances sont voisines.

Déformation adaptative des frontières

Cette partie (« Adaptive Boundary Deformation ») s'inspire de travaux antérieurs :

Nous leur consacrerons peut-être des articles plus tard. Pour l'instant, retenons l'idée utile ici :

Le modèle part de points de contrôle sur la frontière de chaque instance et prédit le déplacement de chaque sommet à partir des caractéristiques CNN. Chaque proposition fournit NN points échantillonnés uniformément. Ils forment un polygone fermé dont la structure apporte à la fois un contexte topologique et séquentiel.

À chaque point cpi=[xi,yi]Tcp_i = [x_i, y_i]^T correspond un vecteur de caractéristiques fif_i.

Il concatène les 32 dimensions des caractéristiques partagées FsF_s et quatre dimensions de caractéristiques a priori FpF_p, issues notamment de la classification, de la distance et de la direction :

fi=concat{Fs(xi,yi),Fp(xi,yi)}f_i = \text{concat}\{F_s(x_i, y_i), F_p(x_i, y_i)\}

Une fois les points et leurs caractéristiques obtenus, il faut affiner la frontière proposée.

Un GCN et un RNN assurent cette déformation, comme le montre la figure :

L'encodeur combine GCN et RNN pour exploiter le contexte topologique et l'ordre des points :

X′=RNN(X)⊕GCN(X)⊕Conv1x1(X)X' = \text{RNN}(X) \oplus \text{GCN}(X) \oplus \text{Conv1x1}(X)

Le RNN est un BiLSTM à une couche, avec une dimension cachée de 128.


Le GCN comprend quatre couches de convolution sur graphe activées par ReLU. Une couche s'écrit :

Xg=ReLU((X⊕GX)W)X_g = \text{ReLU}((X \oplus GX)W)

Ici, G=D−1/2A~D−1/2G = D^{-1/2} \tilde{A} D^{-1/2}, A~=A+IN\tilde{A} = A + I_N ; AA est la matrice d'adjacence du graphe local, INI_N la matrice identité et DD une matrice diagonale.

Chaque point de contrôle est lié à quatre voisins, ce qui permet de partager des informations le long du contour.


Une branche supplémentaire de convolution 1×11 \times 1 conserve les caractéristiques d'entrée. Les sorties des trois branches sont concaténées et transmises au décodeur, qui prédit les déplacements des points.

Le modèle répète cette déformation plusieurs fois afin d'affiner progressivement la proposition initiale et de localiser plus précisément le contour du texte.

Jeux de données d'entraînement

  • SynthText

    Sert au préentraînement. Ses quelque 800 000 images synthétiques mêlent des scènes naturelles à des textes de polices, tailles, couleurs et orientations variées.

  • CTW1500

    Jeu de longs textes courbés construit par Yuliang et ses collègues : 1 000 images d'entraînement et 500 de test. Les instances sont décrites par des polygones à 14 points, capables de suivre leurs courbes.

  • Total-Text

    Ce jeu comporte des textes horizontaux, orientés ou courbés, avec 1 255 images d'entraînement et 300 de test.

  • MSRA-TD500

    Jeu multilingue de longues lignes de texte orientées librement : 300 images d'entraînement et 200 de test, annotées au niveau de la ligne. Le petit ensemble d'entraînement est complété par des images de HUST-TR400 dans les expériences.

  • ICDAR 2017 MLT

    Grand jeu multilingue, avec 7 200 images d'entraînement, 1 800 de validation et 9 000 de test, couvrant neuf langues.

Discussion

Études d'ablation

Les auteurs testent leur modèle de déformation adaptative sur Total-Text et CTW-1500. Ces ablations utilisent chaque jeu réel pendant 660 époques, sans préentraînement SynthText ; il faut les distinguer des lignes préentraînées des tableaux de référence ci-dessous.

  1. Effet de la déformation adaptative :

    Quatre types d'encodeurs sont comparés : réseau entièrement connecté (FC) avec Conv1x1, RNN, convolution circulaire et GCN.

    L'encodeur adaptatif obtient le meilleur F-measure sur les deux jeux : 0,94 point au-dessus du RNN sur Total-Text et 0,85 point au-dessus du GCN sur CTW-1500. Ses vitesses, 10,56 et 12,08 FPS, restent proches de celles des variantes RNN et GCN du tableau.

  2. Nombre de points de contrôle (NN) :

    Les auteurs essaient de 12 à 32 points, par pas de quatre.

    Trop peu ou trop de points réduisent le F-measure ; avec trop peu de points, la frontière ne peut plus épouser toute la région de texte. Les deux jeux donnent leurs meilleurs résultats autour de 20 points, valeur retenue ensuite.

  3. Nombre d'itérations :

    Sur CTW-1500, passer d'une à trois itérations fait monter le F-measure de 82,24 % à 83,97 %, tandis que la vitesse passe de 13,68 à 12,08 FPS. La troisième itération apporte encore 0,64 point par rapport à la deuxième. Les auteurs en retiennent trois pour équilibrer précision et vitesse.

  4. Rôle des caractéristiques a priori :

    L'ablation sur Total-Text compare la carte de classification seule aux combinaisons avec distance et direction. Avec la classification seule, le F-measure vaut 79,87 %. La distance ajoute 5,45 points, puis la direction encore 1,55 point.

Résultats sur les textes courbés

Résultats sur Total-Text

Résultats sur CTW-1500


Au test, le côté court de l'image est ramené à 640 pixels et le côté long limité à 1 024. Le seuil de distance thdth_d pour les propositions est fixé à 0.3.

Sur Total-Text, le seuil de classification thsth_s est 0.825.

Avec un préentraînement SynthText, TextBPN atteint 87,37 % en F-measure ; avec MLT17, 87,85 %. Ce dernier dépasse de 0,85 point Boundary, le meilleur résultat antérieur affiché à 87,0 %. Les données d'entraînement supplémentaires et les conditions de mesure des FPS diffèrent selon les méthodes.

Sur CTW-1500, le seuil de classification thsth_s est 0.8.

Avec MLT17, TextBPN obtient 86,45 % de précision et 85,0 % de F-measure. La précision de 87,81 % appartient à la ligne préentraînée sur SynthText, dont le F-measure est 84,51 %. Face à TextSnake (75,6 %) et DB (83,4 %) dans le tableau, le F-measure de la version MLT17 est supérieur de 9,4 et 1,6 points.

Résultats sur MSRA-TD500

Pour MSRA-TD500, le seuil thsth_s est fixé à 0.925.

La version préentraînée sur MLT17 atteint 85,57 % en F-measure, au-dessus de DB (84,9 %) et DRRG (85,08 %) dans le tableau. Celle préentraînée sur SynthText obtient 82,97 %. Les résultats soutiennent sa capacité à détecter de longues lignes de texte aux orientations et tailles diverses, en gardant à l'esprit les conditions de préentraînement de chaque ligne.

Visualisation

La ligne bleue représente la proposition initiale et la ligne verte la frontière finale après déformation. Les exemples (a) et (b) viennent de Total-Text ; (c) et (d) de CTW-1500.

Conclusion

Introduire GCN et RNN dans ce détecteur de texte est une approche intéressante.

Les résultats sur Total-Text et CTW-1500 montrent de bonnes performances, notamment sur les textes irréguliers ou courbés.

Accroître la vitesse d'inférence et la souplesse d'utilisation, tout en maintenant cette précision, rendrait la méthode plus pratique dans d'autres contextes.