Retour à la bibliothèque
arXiv 2021IEEE TPAMI 2021Détection et reconnaissance de texteNotes de lecture

ABCNet v2

La bataille du bit unique

Article original

ABCNet v2: Adaptive Bezier-Curve Network for Real-time End-to-end Text Spotting

Auteurs de l’article

Yuliang Liu · Chunhua Shen · Lianwen Jin …

Afficher les 7 auteurs

Yuliang Liu · Chunhua Shen · Lianwen Jin · Tong He · Peng Chen · Chongyu Liu · Hao Chen

Premier dépôt sur arXiv
arXiv:2105.03620
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{textspottingabcnetv22021,
  title = {{ABCNet v2: Adaptive Bezier-Curve Network for Real-time End-to-end Text Spotting}},
  author = {Yuliang Liu and Chunhua Shen and Lianwen Jin and Tong He and Peng Chen and Chongyu Liu and Hao Chen},
  year = {2021},
  eprint = {2105.03620},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2105.03620}
}
Sur cette page

Après la soumission de la première version, les auteurs ont reçu des commentaires de relecture.

Ils ont apporté quelques modifications et ajouté plusieurs sections. Pour distinguer cette version de la première, ils l'ont appelée ABCNet v2.

La majeure partie du contenu, et même la méthode d'entraînement, restent identiques. Nous ne parlerons donc ici que des ajouts. Pour découvrir les principes d'ABCNet, vous pouvez relire notre article précédent :

Définition du problème

Inspirés par d'autres travaux, les auteurs ont décidé d'améliorer ABCNet.

Leurs principales références sont les suivantes :

  1. [19.11] Efficientdet: Scalable and efficient object detection
    • Cet article présente BiFPN, une amélioration de FPN que les auteurs appliquent à ABCNet.
  2. [18.07] An intriguing failing of convolutional neural networks and the coordconv solution
    • Cet article présente CoordConv et étudie l'importance des coordonnées pour les CNN.
  3. [20.03] Solov2: Dynamic and fast instance segmentation
    • Cet article utilise CoordConv pour la segmentation d'instances ; les auteurs en reprennent aussi le principe dans ABCNet.

ABCNet v2 amélioré apporte les éléments suivants :

  • Une représentation du texte par courbes de Bézier. (Déjà présente dans la première version.)
  • La méthode d'alignement des caractéristiques BezierAlign. (Déjà présente dans la première version.)
  • BiFPN pour exploiter des caractéristiques textuelles globales à plusieurs échelles et dans les deux sens. (Nouveau.)
  • Une stratégie d'entraînement adaptatif de bout en bout. (Nouvelle.)
  • Un jeu de données de reconnaissance en chinois, qui permet la reconnaissance de cette langue. (Nouveau.)
  • La quantification du modèle pour accélérer l'inférence. (Nouvelle.)

Résolution du problème

Parlons des ajouts.

Architecture du modèle

Module de convolution à coordonnées

C'est le CoordConv mentionné plus haut. D'après les travaux antérieurs, les convolutions classiques présentent des limites lorsqu'elles doivent faire correspondre les coordonnées (x,y)(x, y) à celles de l'espace des pixels.

Pour y remédier, les auteurs concatènent à la carte de caractéristiques du FPN deux canaux contenant les coordonnées absolues xx et yy de chaque position. Ils obtiennent ainsi une nouvelle caractéristique fcoordf_{coord} enrichie en coordonnées, puis la font passer par trois couches convolutives (noyau de taille 3, stride de 1 et padding de 1) avant de l'envoyer à la suite du réseau. Cela améliore la détection du texte dans les scènes.

Branche de reconnaissance fondée sur l'attention

La branche de reconnaissance comprend six couches convolutives, une couche LSTM bidirectionnelle et un module d'attention. Pendant la reconnaissance, elle utilise l'état caché précédent et une somme pondérée pour prédire les caractères un par un. La tâche en anglais compte 96 classes (sans le symbole de fin ; elles ne se limitent pas aux lettres anglaises) et la tâche bilingue chinois-anglais en compte 5 462. Les scores d'attention sont calculés ainsi :

et,s=K⊤tanh⁡(Wht−1+Uhs+b)e_{t,s} = K^\top \tanh(W h_{t-1} + U h_s + b)

Une fonction softmax appliquée aux positions de la séquence donne at,s=exp⁡(et,s)∑jexp⁡(et,j)a_{t,s}=\frac{\exp(e_{t,s})}{\sum_j\exp(e_{t,j})}. La somme pondérée est :

ct=∑s=1nat,shsc_t = \sum_{s=1}^n a_{t,s} h_s

Puis l'état caché est mis à jour :

ht=GRU((embedt−1,ct),ht−1)h_t = \text{GRU}((\text{embed}_{t-1}, c_t), h_{t-1})

Entraînement adaptatif de bout en bout

Dans l'article, cette méthode s'appelle Adaptive End-to-End Training, abrégé AET.

Dans la première version d'ABCNet, l'entraînement de la branche de reconnaissance n'utilisait que des caractéristiques alignées sur les courbes de Bézier annotées, alors que l'inférence découpait les caractéristiques à partir des détections du modèle.

Les auteurs ont constaté que des erreurs pouvaient apparaître lorsque les frontières détectées étaient moins précises que celles des courbes de Bézier annotées.

Pour résoudre ce problème, les auteurs proposent une stratégie simple et efficace, AET. Elle suit trois étapes :

  1. Filtrage des détections : les résultats sont d'abord filtrés selon un seuil de confiance, puis une suppression des non-maxima (NMS) élimine les détections redondantes.

  2. Attribution des annotations de reconnaissance : chaque détection reçoit l'annotation dont la somme des distances entre points de contrôle est minimale :

    rec=arg⁡min⁡rec∗∈cp∗∑i=1n∣cpxi,yi∗−cpxi,yi∣\text{rec} = \arg \min_{\text{rec}^* \in cp^*} \sum_{i=1}^n |cp^*_{x_i, y_i} - cp_{x_i, y_i}|

    Ici, cp∗cp^* désigne les points de contrôle annotés et nn leur nombre. Chaque détection est ainsi associée à l'annotation la plus proche.

  3. Mise à jour des annotations : les nouvelles cibles sont réunies avec les annotations originales pour entraîner ensuite la reconnaissance.

Quantification du modèle

Les auteurs utilisent la quantification pour étudier les performances et la vitesse d'inférence à différentes précisions. Les travaux de ce type sont encore assez rares dans la détection de texte.

Discussion

Étude d'ablation

Pour mesurer l'effet de chaque composant, les auteurs réalisent une étude d'ablation sur Total-Text et SCUT-CTW1500.

Le tableau permet de relever plusieurs résultats :

  1. Module de reconnaissance avec attention : par rapport à la référence CTC, l'ajout de l'attention porte le Hmean de bout en bout de 63,5 % à 66,2 % sur Total-Text (+2,7 points de pourcentage) et de 45,0 % à 52,9 % sur SCUT-CTW1500 (+7,9 points).
  2. Architecture BiFPN : ajoutée à la configuration avec attention, elle apporte encore 1,9 et 1,6 point respectivement, tandis que la vitesse indiquée passe de 11 à 10 FPS.
  3. Convolution à coordonnées (CoordConv) : comparée, elle aussi, à la configuration avec attention seule, elle apporte 2,8 et 2,9 points sur les deux jeux de données ; la vitesse indiquée reste de 11 FPS.
  4. Entraînement adaptatif de bout en bout (AET) : par rapport à cette même configuration avec attention seule, il apporte respectivement 1,2 et 1,7 point.
  5. Degré des courbes de Bézier : les auteurs régénèrent les annotations à l'aide de courbes de degré 4, puis entraînent le modèle à régresser leurs points de contrôle. À configuration avec attention identique, le score passe de 66,2 % à 67,0 % sur Total-Text et de 52,9 % à 54,4 % sur SCUT-CTW1500. En revanche, avec des courbes de degré 5 sur Total-Text, le Hmean de bout en bout descend à 65,5 % contre 66,2 % pour la référence. Les auteurs supposent qu'un degré trop élevé peut entraîner de fortes variations des points de contrôle et compliquer leur régression.

Comparaison des méthodes de détection de texte

Les expériences de détection portent sur cinq jeux de données : deux à formes arbitraires (Total-Text et SCUT-CTW1500), deux à orientations multiples (MSRA-TD500 et ICDAR 2015), et le jeu bilingue ReCTS.

Selon la colonne Hmean du tableau, ABCNet v2 obtient le meilleur score parmi les méthodes indiquées sur chacun des cinq jeux. Il atteint par exemple 87,0 % sur Total-Text, 84,7 % sur SCUT-CTW1500 et 90,4 % sur ReCTS.

Comparaison des méthodes de reconnaissance de texte

Pour la détection et la reconnaissance de bout en bout, ABCNet v2 obtient sur SCUT-CTW1500 57,5 % sans lexique et 77,2 % avec lexique complet ; en multi-échelle, les scores atteignent 58,4 % et 79,0 %. Ces quatre résultats sont les meilleurs du tableau. Sur ICDAR 2015, ses scores mono-échelle avec lexique fort et faible, 82,7 % et 78,5 %, restent sous les 87,3 % et 83,1 % de Feng et al. ; son score multi-échelle avec lexique générique, 75,0 %, est en revanche le meilleur du tableau. Sur ReCTS, son score 1-NED de 62,7 % (65,4 % en multi-échelle) reste inférieur aux 67,8 % de Mask TextSpotter’19.

Effets de la quantification

« A/W » indique la largeur en bits des activations et des poids, respectivement ; « † » signale un entraînement progressif.


Les auteurs examinent plusieurs configurations de quantification.

Ils préentraînent d'abord les modèles à faible précision sur des données synthétiques, puis les affinent sur TotalText et CTW1500 pour améliorer leurs performances.

Le préentraînement dure 260K itérations, avec un lot de 8 et un taux d'apprentissage initial de 0,01, divisé par dix aux itérations 160K et 220K.

Sur TotalText, l'affinage conserve un lot de 8 et un taux initial de 0,001 pendant 5K itérations. Sur CTW1500, les réglages sont identiques, mais l'affinage dure 120K itérations et le taux est divisé par dix à 80K. Toutes les couches convolutives du réseau sont quantifiées, sauf les couches d'entrée et de sortie.

Le tableau donne les résultats suivants :

  • Modèle à 4 bits : ses performances sont proches de celles du modèle en pleine précision.

    • Après préentraînement sur les données synthétiques, son Hmean de bout en bout est de 58,9 %, contre 57,6 % pour le modèle en pleine précision. Le texte de l'article original inverse ces deux valeurs ; le tableau donne l'ordre indiqué ici.
    • Après affinage sur TotalText et CTW1500, ses Hmean de bout en bout sont de 66,5 % contre 67,2 % et de 52,2 % contre 53,0 % respectivement, soit 0,7 et 0,8 point de pourcentage de moins.

    Dans cet essai fondé sur ResNet-18, où la plupart des couches convolutives sont quantifiées, le modèle à 4 bits conserve donc un score proche de la pleine précision. Les FPS du tableau proviennent d'un profilage sur une seule carte 2080 Ti.

  • Modèle à 1 bit (réseau binaire, BNN) :

    Sans entraînement progressif, le Hmean de bout en bout après préentraînement n'est que de 44,3 %, une baisse nette des performances.

    Pour y remédier, les auteurs proposent un entraînement progressif, signalé par †, qui réduit les bits par étapes (par exemple 4 bits → 2 bits → 1 bit) et améliore sensiblement le BNN.

    Avec cette stratégie, le Hmean de bout en bout du BNN après préentraînement sur les données synthétiques atteint 55,8 %, soit 1,8 point de pourcentage de moins que les 57,6 % du modèle en pleine précision au même stade.

Conclusion

Cet article teste plusieurs nouveaux composants : un module de reconnaissance avec attention, BiFPN, la convolution à coordonnées et une nouvelle stratégie d'entraînement adaptatif de bout en bout.

Les auteurs présentent de nombreuses techniques et stratégies d'entraînement. Nous pensons qu'il y a ici beaucoup à apprendre et que ces idées pourront servir dans la pratique.