Retour à la bibliothèque
arXiv 2020CVPR 2020Détection et reconnaissance de texteNotes de lecture

ABCNet

Bonjour, courbes de Bézier

Article original

ABCNet: Real-time Scene Text Spotting with Adaptive Bezier-Curve Network

Auteurs de l’article

Yuliang Liu · Hao Chen · Chunhua Shen · Tong He · Lianwen Jin · Liangwei Wang

Publication
CVPR 2020Conférence
Premier dépôt sur arXiv
arXiv:2002.10200
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{textspottingabcnet2020,
  title = {{ABCNet: Real-time Scene Text Spotting with Adaptive Bezier-Curve Network}},
  author = {Yuliang Liu and Hao Chen and Chunhua Shen and Tong He and Lianwen Jin and Liangwei Wang},
  year = {2020},
  eprint = {2002.10200},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2002.10200}
}
Sur cette page

L'OCR existe depuis des années, mais détecter et reconnaître le texte reste difficile.

Définition du problème

La détection et la reconnaissance de texte sont deux tâches centrales de l'OCR.

La détection consiste à trouver le texte dans une image. Beaucoup de méthodes viennent de la détection ou de la segmentation d'objets. Or le texte peut être incliné, déformé ou disposé en courbe, ce qui complique sa localisation.

Après localisation, la reconnaissance transforme la région trouvée en caractères lisibles. Les erreurs de détection nuisent donc également à la reconnaissance. De nombreuses méthodes supposent alors d'emblée que le texte d'entrée est irrégulier et cherchent à le lire directement, par exemple au moyen d'un réseau de transformation spatiale (STN) ou d'une attention bidimensionnelle.

La figure suivante rappelle quelques approches antérieures :

Selon les auteurs, ces systèmes à plusieurs étapes sont complexes, lents et difficiles à maintenir dans une application. Pour traiter les déformations du texte, ils partent de sa forme extérieure : ils emploient des courbes de Bézier pour l'ajuster et proposent ABCNet afin de détecter et de reconnaître le texte dans un même cadre.

Attendez, une courbe de Bézier ? De quoi s'agit-il ?

Courbes de Bézier

Une courbe de Bézier est une courbe mathématique qui décrit une forme lisse. Très courante en graphisme, typographie, animation et conception d'interfaces, elle est construite à partir de points de contrôle. Les premier et dernier points fixent ses extrémités ; les points intermédiaires règlent sa courbure. Ceux-ci influencent la courbe sans nécessairement se trouver dessus.

Elle reste lisse lorsqu'on la change d'échelle et permet de décrire des formes variées, de la ligne droite à des tracés plus complexes.

Voyons quelques degrés de courbes et leurs formes :

  • Courbe de Bézier de degré un, linéaire : une droite entre deux points de contrôle.

    • B(t)=(1−t)P0+tP1,0≤t≤1B(t) = (1 - t) P_0 + t P_1, \quad 0 \leq t \leq 1

  • Courbe de Bézier de degré deux : trois points de contrôle.

    • B(t)=(1−t)2P0+2(1−t)tP1+t2P2,0≤t≤1B(t) = (1 - t)^2 P_0 + 2(1 - t)t P_1 + t^2 P_2, \quad 0 \leq t \leq 1

  • Courbe de Bézier de degré trois, la plus employée : quatre points de contrôle, courants en typographie, animation et conception d'interfaces.

    • B(t)=(1−t)3P0+3(1−t)2tP1+3(1−t)t2P2+t3P3B(t) = (1 - t)^3 P_0 + 3(1 - t)^2 t P_1 + 3(1 - t) t^2 P_2 + t^3 P_3

  • Courbe de Bézier de degré quatre : cinq points de contrôle.

    • B(t)=(1−t)4P0+4(1−t)3tP1+6(1−t)2t2P2+4(1−t)t3P3+t4P4B(t) = (1 - t)^4 P_0 + 4(1 - t)^3 t P_1 + 6(1 - t)^2 t^2 P_2 + 4(1 - t) t^3 P_3 + t^4 P_4

  • Courbe de Bézier de degré cinq : six points de contrôle.

    • B(t)=(1−t)5P0+5(1−t)4tP1+10(1−t)3t2P2+10(1−t)2t3P3+5(1−t)t4P4+t5P5B(t) = (1 - t)^5 P_0 + 5(1 - t)^4 t P_1 + 10(1 - t)^3 t^2 P_2 + 10(1 - t)^2 t^3 P_3 + 5(1 - t) t^4 P_4 + t^5 P_5

Résolution du problème

Après ce détour par les courbes de Bézier, on a presque fini de lire l'article. (Pas du tout !)

Architecture du modèle

Les auteurs choisissent un détecteur en une seule étape, sans boîtes d'ancrage (anchor boxes). Ils représentent la forme du texte par des courbes de Bézier et proposent un cadre entraînable de bout en bout pour détecter et reconnaître des textes de forme quelconque.

Nous venons de voir ces courbes. Après analyse, les auteurs jugent qu'une courbe cubique suffit pour représenter la plupart des textes courbes. Ils utilisent donc huit points de contrôle pour décrire les deux bords du texte.

Le réseau apprend les coordonnées de ces points par régression de leurs distances relatives, ce qui simplifie la conception et aide à prédire la forme :

Δx=bix−xmin,Δy=biy−ymin\Delta x = b_i^x - x_{\text{min}}, \quad \Delta y = b_i^y - y_{\text{min}}

xminx_{\text{min}} et yminy_{\text{min}} sont les valeurs minimales de xx et yy parmi les quatre sommets.

La branche de régression de la tête de détection n'a besoin que d'une convolution supplémentaire, à 16 canaux, pour prédire Δx\Delta x et Δy\Delta y. Son coût de calcul additionnel est faible.

Création des annotations de courbes de Bézier

Les jeux de données existants ne fournissent pas directement d'annotations sous forme de courbes de Bézier.

Les auteurs proposent donc de les produire à partir des annotations disponibles.

Les points des polygones de Total-Text et CTW1500 servent à ajuster par moindres carrés les paramètres de chaque courbe cubique :

[B0,3(t0)⋯B3,3(t0)B0,3(t1)⋯B3,3(t1)⋮⋱⋮B0,3(tm)⋯B3,3(tm)][bx0by0bx1by1bx2by2bx3by3]=[px0py0px1py1⋮⋮pxmpym]\begin{bmatrix} B_{0,3}(t_0) & \cdots & B_{3,3}(t_0) \\ B_{0,3}(t_1) & \cdots & B_{3,3}(t_1) \\ \vdots & \ddots & \vdots \\ B_{0,3}(t_m) & \cdots & B_{3,3}(t_m) \end{bmatrix} \begin{bmatrix} b_{x0} & b_{y0} \\ b_{x1} & b_{y1}\\ b_{x2} & b_{y2}\\ b_{x3} & b_{y3}\\ \end{bmatrix} = \begin{bmatrix} p_{x0} & p_{y0} \\ p_{x1} & p_{y1} \\ \vdots & \vdots \\ p_{xm} & p_{ym} \end{bmatrix}

Les points annotés proviennent des bords supérieur et inférieur du texte : une cubique est ajustée à chacun. Le paramètre tt est calculé d'après la proportion de longueur cumulée le long de chaque ligne polygonale. Voici un exemple :

Synthèse des données d'entraînement

Pour entraîner un détecteur de texte de bout en bout, il faut beaucoup de données. SynthText, avec ses 800 000 images, décrit surtout des textes droits par des quadrilatères et couvre mal les formes courbes. Les auteurs créent donc environ 150 000 images synthétiques plus variées pour améliorer la détection de ces formes.

Le nouvel ensemble comprend :

  • 94 723 images, contenant surtout du texte droit ;
  • 54 327 images, contenant surtout du texte courbe.

Pour les produire :

  • les auteurs reprennent la méthode de synthèse VGG ;
  • ils choisissent 40 000 images de fond sans texte provenant de COCO-Text.

Ils préparent des masques de segmentation et des informations de profondeur pour ces fonds afin de mieux intégrer le texte à la scène. Ils enrichissent aussi la méthode VGG avec des polices décoratives et un corpus de textes plus varié, puis déforment et disposent les mots de différentes façons. Chaque instance synthétique reçoit automatiquement un polygone qui décrit sa forme.

Ces polygones sont ensuite convertis en annotations de courbes de Bézier cubiques. Le modèle peut ainsi apprendre à ajuster les contours des textes courbes. Cette synthèse donne des exemples plus variés de textes de forme quelconque.

Voici le résultat :

Alignement sur les courbes de Bézier

Les méthodes d'échantillonnage classiques comprennent :

BezierAlign prolonge RoIAlign, mais utilise une grille d'échantillonnage non rectangulaire pour aligner les caractéristiques. Chaque colonne de la grille traverse la bande de texte perpendiculairement aux bords définis par les courbes. Les points sont répartis régulièrement en largeur et en hauteur ; une interpolation bilinéaire calcule les valeurs échantillonnées.

À partir de la carte de caractéristiques et des points de contrôle, on peut calculer la position de chaque pixel de la carte de sortie rectangulaire.

Soit une sortie de taille hout×wouth_{\text{out}} \times w_{\text{out}}. Le calcul se déroule comme suit :

  • On note (giw,gih)(g_{iw}, g_{ih}) la position horizontale et verticale du pixel gig_i.

  • On calcule le paramètre tt :

    t=giwwoutt = \frac{g_{iw}}{w_{\text{out}}}
  • Avec tt et l'équation de Bézier, on obtient un point tpt_p sur le bord supérieur et un point bpb_p sur le bord inférieur.

  • La position du point d'échantillonnage opo_p est :

    op=bp⋅gihhout+tp⋅(1−gihhout)op = bp \cdot \frac{g_{ih}}{h_{\text{out}}} + tp \cdot \left(1 - \frac{g_{ih}}{h_{\text{out}}}\right)
  • Une interpolation bilinéaire en opo_p donne la valeur finale.

BezierAlign peut ainsi échantillonner les caractéristiques le long du texte courbe pour la branche de reconnaissance. La figure suivante compare la position de plusieurs grilles ; nous verrons leurs scores de reconnaissance dans l'étude d'ablation.

Tête de reconnaissance du texte

Les auteurs construisent une branche de reconnaissance légère sur les caractéristiques du réseau dorsal partagées avec la détection et sur BezierAlign :

  • Convolutions : six couches. Les quatre premières ont un pas de 1 ; les deux dernières ont un pas vertical de 2 et horizontal de 1.
  • Average Pooling : une moyenne selon la hauteur ramène la sortie à (n,256,1,w)(n, 256, 1, w).
  • Réorganisation des canaux : le tenseur est préparé pour le BLSTM.
  • BLSTM : sa sortie de taille (w,n,512)(w, n, 512) capture le contexte de la séquence dans les deux sens.
  • Couche entièrement connectée : elle produit (w,n,nclass)(w, n, n_{\text{class}}), où nclass=97n_{\text{class}} = 97 couvre les lettres majuscules et minuscules, les chiffres, les signes de ponctuation et autres symboles, ainsi que le marqueur de fin EOF.

À l'entraînement, la branche de reconnaissance extrait ses RoI directement des courbes de Bézier annotées. Les erreurs des frontières prédites au début de l'entraînement ne perturbent donc pas immédiatement son échantillonnage ; les deux branches partagent néanmoins le réseau dorsal et sont entraînées conjointement. L'alignement avec la transcription utilise une perte CTC.

À l'inférence, les courbes fournies par la branche de détection remplacent les annotations et alignent le texte sur sa région courbe.

Configuration de l'entraînement

  • Le réseau dorsal est ResNet-50, avec un FPN.
  • RoIAlign s'applique à cinq cartes de caractéristiques dont les résolutions sont 1/8,1/16,1/32,1/64,1/1281/8, 1/16, 1/32, 1/64, 1/128 de celle de l'image.
  • BezierAlign s'applique à trois cartes de résolution 1/4,1/8,1/161/4, 1/8, 1/16 de celle de l'image.
  • Le préentraînement utilise des jeux anglophones au niveau des mots :
    • 150 000 images synthétiques ;
    • 15 000 images sélectionnées dans COCO-Text ;
    • 7 000 images d'ICDAR-MLT.
  • Le modèle est ensuite affiné sur l'ensemble d'entraînement du jeu cible.

Les données sont augmentées de la façon suivante :

  • Mise à l'échelle aléatoire :
    • le petit côté est choisi entre 560 et 800 pixels ;
    • le grand côté est limité à 1333 pixels.
  • Recadrage aléatoire (Random Crop) :
    • la zone conservée couvre au moins la moitié de l'image et ne coupe pas le texte ;
    • si ces conditions ne peuvent être satisfaites, aucun recadrage n'est effectué.

Le matériel d'entraînement comprend :

  • quatre GPU Tesla V100 ;
  • des lots de 32 images.

Les principaux paramètres sont :

  • 150 000 itérations au maximum ;
  • un taux d'apprentissage initial de 0,01 ;
  • un taux abaissé à 0,001 à 70 000 itérations, puis à 0,0001 à 120 000.

L'entraînement complet prend environ trois jours.

Discussion

Les auteurs comparent les méthodes et mènent leurs ablations sur Total-Text.

Effet de BezierAlign

Pour mesurer l'effet de BezierAlign, ils font varier le nombre de points d'échantillonnage sur Total-Text :

Le nombre de points change sensiblement la précision et la vitesse.

Avec une grille de (7,32), la F-mesure du tableau est de 61,9 % et la vitesse de 22,8 FPS : c'est le compromis choisi par les auteurs. Dans l'autre comparaison de grilles, la F-mesure de reconnaissance de bout en bout de BezierAlign est de 61,9 %, devant l'échantillonnage horizontal (38,4 %) et quadrilatéral (44,7 %) :

Coût de la détection par courbes de Bézier

Dans cette ablation, le détecteur sans régression des courbes atteint 22,8 FPS, contre 22,5 FPS avec elle. Le coût supplémentaire reste donc faible dans ce test.

Résultats sur Total-Text

Les auteurs comparent ABCNet aux autres méthodes du tableau :

  • Inférence à une seule échelle : ABCNet atteint 64,2 % sans lexique et 75,7 % avec le lexique complet, à 17,9 FPS. La version ABCNet-F, plus rapide, obtient 61,9 % / 74,1 % à 22,8 FPS.
  • Inférence à plusieurs échelles : ABCNet-MS atteint les meilleurs scores du tableau, 69,5 % / 78,4 %, mais tombe à 6,9 FPS. Les méthodes comparées n'utilisent pas toutes le même réseau dorsal ni les mêmes données d'entraînement ; il faut garder ces conditions en tête.
  • Face à Mask TextSpotter’19 dans ce tableau, ABCNet-F tourne à 22,8 contre 2,0 FPS, soit environ 11,4 fois plus vite. En revanche, sa F-mesure sans lexique est de 61,9 % contre 65,3 %.

Conclusion

ABCNet adopte une détection dense en une seule étape, sans ancres, et représente les frontières du texte par des courbes de Bézier. La couche BezierAlign aligne les caractéristiques sur ces courbes afin d'améliorer la détection et la reconnaissance. Les auteurs proposent aussi une méthode de synthèse d'images textuelles variées qui aide le modèle à généraliser.

Cette conception ouvre une autre piste pour la détection et la reconnaissance de texte, qui mérite d'être explorée plus avant.