Adaptive Boundary Proposal Network for Arbitrary Shape Text Detection
- Publication
- ICCV 2021Conférence
- Premier dépôt sur arXiv
- arXiv:2107.12664
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{textdetectiontextbpn2021,
title = {{Adaptive Boundary Proposal Network for Arbitrary Shape Text Detection}},
author = {Shi-Xue Zhang and Xiaobin Zhu and Chun Yang and Hongfa Wang and Xu-Cheng Yin},
year = {2021},
eprint = {2107.12664},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2107.12664}
}
Cet article mobilise plusieurs idées pour détecter le texte dans les images.
La première est le LSTM, qui saisit la séquence des points du contour. L'autre est le GCN, un réseau de convolution sur graphe qui affine les caractéristiques de ce contour. Chacune mériterait trois jours de discussion, mais nous supposons que vous les connaissez déjà.
Alors allons-y directement.
Définition du problème
Nous avons déjà parcouru plusieurs méthodes de détection de texte. Pour gérer le chevauchement des régions, beaucoup commencent par trouver un « noyau » du texte, puis l'étendent jusqu'à son contour.
Ces méthodes sont souvent lentes ; les auteurs les qualifient même de « complexes et inefficaces ».
Ils proposent donc un réseau adaptatif de propositions de frontières pour les textes de forme libre. Celui-ci apprend à produire directement leurs contours, sans traitement supplémentaire complexe.
Résolution du problème
Architecture du modèle
À première vue, l'architecture est chargée. Prenons-la morceau par morceau.
Backbone + Neck
L'extraction des cartes de caractéristiques est classique : ResNet-50 sert de réseau dorsal et le neck concatène les caractéristiques, dans une architecture proche de U-Net.
La sortie du neck a 32 canaux et la même taille spatiale que l'image d'entrée.
Génération des propositions de frontière
Cette partie (« Boundary Proposal Generation ») repose sur plusieurs convolutions dilatées : deux couches de dilatations différentes et une couche .
À partir des caractéristiques partagées extraites par le réseau dorsal, elle produit trois cartes : classification, distances et directions.
-
Carte de classification : comme dans d'autres détecteurs de texte, elle attribue à chaque pixel un score binaire, texte ou non-texte.
-
Carte des directions :
Le champ contient, pour chaque pixel de texte, un vecteur unitaire bidimensionnel dirigé vers son pixel de frontière le plus proche. Pour dans une instance , on trouve ce pixel et calcule . Dans l'équation (1) de l'article, la flèche pointe dans le sens contraire du texte et de la figure 5(a) ; en suivant ces deux derniers, on écrit :
est la distance entre et son pixel de frontière le plus proche .
-
Carte des distances :
Le champ donne la distance normalisée de chaque pixel de texte à :
Ici, est la plus grande distance non normalisée entre un pixel de l'instance et sa frontière :
L'équation (3) de l'article définit à partir du maximum de déjà normalisé, ce qui serait circulaire. Nous explicitons ici la distance non normalisée nécessaire au calcul.
Un seuil fixe sur la carte permet de construire des frontières candidates. Certaines sont erronées : on calcule donc leur confiance moyenne à partir de la carte de classification et on retire celles dont le score est inférieur au seuil .
Ensemble, ces cartes et ces seuils proposent des frontières de régions de texte, y compris lorsque plusieurs instances sont voisines.
Déformation adaptative des frontières
Cette partie (« Adaptive Boundary Deformation ») s'inspire de travaux antérieurs :
- [18.03] Efficient Interactive Annotation of Segmentation Datasets with Polygon-RNN++
- [19.03] Fast Interactive Object Annotation with Curve-GCN
- [20.01] Deep Snake for Real-Time Instance Segmentation
Nous leur consacrerons peut-être des articles plus tard. Pour l'instant, retenons l'idée utile ici :
Le modèle part de points de contrôle sur la frontière de chaque instance et prédit le déplacement de chaque sommet à partir des caractéristiques CNN. Chaque proposition fournit points échantillonnés uniformément. Ils forment un polygone fermé dont la structure apporte à la fois un contexte topologique et séquentiel.
À chaque point correspond un vecteur de caractéristiques .
Il concatène les 32 dimensions des caractéristiques partagées et quatre dimensions de caractéristiques a priori , issues notamment de la classification, de la distance et de la direction :
Une fois les points et leurs caractéristiques obtenus, il faut affiner la frontière proposée.
Un GCN et un RNN assurent cette déformation, comme le montre la figure :
L'encodeur combine GCN et RNN pour exploiter le contexte topologique et l'ordre des points :
Le RNN est un BiLSTM à une couche, avec une dimension cachée de 128.
Le GCN comprend quatre couches de convolution sur graphe activées par ReLU. Une couche s'écrit :
Ici, , ; est la matrice d'adjacence du graphe local, la matrice identité et une matrice diagonale.
Chaque point de contrôle est lié à quatre voisins, ce qui permet de partager des informations le long du contour.
Une branche supplémentaire de convolution conserve les caractéristiques d'entrée. Les sorties des trois branches sont concaténées et transmises au décodeur, qui prédit les déplacements des points.
Le modèle répète cette déformation plusieurs fois afin d'affiner progressivement la proposition initiale et de localiser plus précisément le contour du texte.
Jeux de données d'entraînement
-
SynthText
Sert au préentraînement. Ses quelque 800 000 images synthétiques mêlent des scènes naturelles à des textes de polices, tailles, couleurs et orientations variées.
-
CTW1500
Jeu de longs textes courbés construit par Yuliang et ses collègues : 1 000 images d'entraînement et 500 de test. Les instances sont décrites par des polygones à 14 points, capables de suivre leurs courbes.
-
Total-Text
Ce jeu comporte des textes horizontaux, orientés ou courbés, avec 1 255 images d'entraînement et 300 de test.
-
MSRA-TD500
Jeu multilingue de longues lignes de texte orientées librement : 300 images d'entraînement et 200 de test, annotées au niveau de la ligne. Le petit ensemble d'entraînement est complété par des images de HUST-TR400 dans les expériences.
-
ICDAR 2017 MLT
Grand jeu multilingue, avec 7 200 images d'entraînement, 1 800 de validation et 9 000 de test, couvrant neuf langues.
Discussion
Études d'ablation
Les auteurs testent leur modèle de déformation adaptative sur Total-Text et CTW-1500. Ces ablations utilisent chaque jeu réel pendant 660 époques, sans préentraînement SynthText ; il faut les distinguer des lignes préentraînées des tableaux de référence ci-dessous.
-
Effet de la déformation adaptative :
Quatre types d'encodeurs sont comparés : réseau entièrement connecté (FC) avec Conv1x1, RNN, convolution circulaire et GCN.
L'encodeur adaptatif obtient le meilleur F-measure sur les deux jeux : 0,94 point au-dessus du RNN sur Total-Text et 0,85 point au-dessus du GCN sur CTW-1500. Ses vitesses, 10,56 et 12,08 FPS, restent proches de celles des variantes RNN et GCN du tableau.
-
Nombre de points de contrôle () :
Les auteurs essaient de 12 à 32 points, par pas de quatre.
Trop peu ou trop de points réduisent le F-measure ; avec trop peu de points, la frontière ne peut plus épouser toute la région de texte. Les deux jeux donnent leurs meilleurs résultats autour de 20 points, valeur retenue ensuite.
-
Nombre d'itérations :
Sur CTW-1500, passer d'une à trois itérations fait monter le F-measure de 82,24 % à 83,97 %, tandis que la vitesse passe de 13,68 à 12,08 FPS. La troisième itération apporte encore 0,64 point par rapport à la deuxième. Les auteurs en retiennent trois pour équilibrer précision et vitesse.
-
Rôle des caractéristiques a priori :
L'ablation sur Total-Text compare la carte de classification seule aux combinaisons avec distance et direction. Avec la classification seule, le F-measure vaut 79,87 %. La distance ajoute 5,45 points, puis la direction encore 1,55 point.
Résultats sur les textes courbés
Résultats sur Total-Text
Résultats sur CTW-1500
Au test, le côté court de l'image est ramené à 640 pixels et le côté long limité à 1 024. Le seuil de distance pour les propositions est fixé à 0.3.
Sur Total-Text, le seuil de classification est 0.825.
Avec un préentraînement SynthText, TextBPN atteint 87,37 % en F-measure ; avec MLT17, 87,85 %. Ce dernier dépasse de 0,85 point Boundary, le meilleur résultat antérieur affiché à 87,0 %. Les données d'entraînement supplémentaires et les conditions de mesure des FPS diffèrent selon les méthodes.
Sur CTW-1500, le seuil de classification est 0.8.
Avec MLT17, TextBPN obtient 86,45 % de précision et 85,0 % de F-measure. La précision de 87,81 % appartient à la ligne préentraînée sur SynthText, dont le F-measure est 84,51 %. Face à TextSnake (75,6 %) et DB (83,4 %) dans le tableau, le F-measure de la version MLT17 est supérieur de 9,4 et 1,6 points.
Résultats sur MSRA-TD500
Pour MSRA-TD500, le seuil est fixé à 0.925.
La version préentraînée sur MLT17 atteint 85,57 % en F-measure, au-dessus de DB (84,9 %) et DRRG (85,08 %) dans le tableau. Celle préentraînée sur SynthText obtient 82,97 %. Les résultats soutiennent sa capacité à détecter de longues lignes de texte aux orientations et tailles diverses, en gardant à l'esprit les conditions de préentraînement de chaque ligne.
Visualisation
La ligne bleue représente la proposition initiale et la ligne verte la frontière finale après déformation. Les exemples (a) et (b) viennent de Total-Text ; (c) et (d) de CTW-1500.
Conclusion
Introduire GCN et RNN dans ce détecteur de texte est une approche intéressante.
Les résultats sur Total-Text et CTW-1500 montrent de bonnes performances, notamment sur les textes irréguliers ou courbés.
Accroître la vitesse d'inférence et la souplesse d'utilisation, tout en maintenant cette précision, rendrait la méthode plus pratique dans d'autres contextes.