Retour à la bibliothèque
arXiv 2017CVPR 2017Détection de texteNotes de lecture

EAST

Le soleil se lève à l'est

Article original

EAST: An Efficient and Accurate Scene Text Detector

Auteurs de l’article

Xinyu Zhou · Cong Yao · He Wen …

Afficher les 7 auteurs

Xinyu Zhou · Cong Yao · He Wen · Yuzhi Wang · Shuchang Zhou · Weiran He · Jiajun Liang

Publication
CVPR 2017Conférence
Premier dépôt sur arXiv
arXiv:1704.03155
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{textdetectioneast2017,
  title = {{EAST: An Efficient and Accurate Scene Text Detector}},
  author = {Xinyu Zhou and Cong Yao and He Wen and Yuzhi Wang and Shuchang Zhou and Weiran He and Jiajun Liang},
  year = {2017},
  eprint = {1704.03155},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1704.03155}
}
Sur cette page

Avec la popularité des réseaux entièrement convolutifs (FCN), la prédiction dense a aidé à traiter les fortes variations de taille du texte. La fusion de caractéristiques à plusieurs échelles a suivi. U-Net a notamment montré l'intérêt de concaténer des caractéristiques issues de différents niveaux pour mieux localiser les régions en segmentation d'images.

Une fois ces outils disponibles, les chercheurs allaient forcément chercher à les employer.

La détection de texte a, elle aussi, suivi le mouvement.

Définir le problème

La figure rassemble plusieurs méthodes de détection de texte proposées auparavant.

La plupart enchaînent plus de deux étapes : extraire des caractéristiques de régions textuelles, estimer leur orientation, réunir des régions, etc. D'autres reposent sur des caractéristiques conçues à la main, comme la largeur des traits ou les régions extrémales maximales stables.

Et vous n'êtes pas seul à trouver cela lourd : les auteurs aussi. Trop d'étapes, ce n'est pas pratique !

Ils visent donc une méthode à la fois simple et efficace.

Résoudre le problème

La taille des régions de texte varie fortement. Les grandes zones demandent les caractéristiques de haut niveau produites tard dans le réseau, tandis que la géométrie précise de petits mots exige des détails conservés dans les premières couches. Il faut donc fusionner plusieurs échelles.

Architecture du modèle

Le bloc jaune à gauche est l'extracteur de caractéristiques, ou backbone, que l'on peut remplacer. La figure représente PVANet ; les expériences utilisent également VGG16 et PVANET2x, dont le nombre de canaux est doublé.

Le bloc vert fusionne progressivement les caractéristiques, suivant l'idée de la forme en U d'U-Net, tout en gardant peu de canaux dans la branche de suréchantillonnage.

Nous ne reprendrons pas les détails d'U-Net ici ; si cela vous intéresse :

Reste la tête de détection.

Les prédictions sont faites sur la carte de caractéristiques de plus haute résolution de la branche de fusion, dont les côtés mesurent un quart de ceux de l'image d'entrée. La sortie comporte trois parties :

  1. RBOX : cinq canaux, dont quatre distances du pixel aux côtés haut, droit, bas et gauche d'un rectangle aligné sur les axes, plus un angle de rotation.
  2. QUAD : huit canaux pour les décalages de coordonnées entre le pixel et les quatre sommets d'un quadrilatère, avec Δx\Delta x et Δy\Delta y pour chacun.
  3. SCORE : un canal donnant la confiance que le pixel appartient à une région de texte.

Voici à quoi ressemblent ces sorties :

Génération des étiquettes

  1. Carte de scores pour un quadrilatère

    Lorsque l'annotation est un quadrilatère, la région positive de la carte de scores est une version rétrécie de celui-ci, comme dans la figure (a). Soit Q={pi∣i∈{1,2,3,4}}Q = \{p_i | i ∈ \{1, 2, 3, 4\} \}, avec des sommets pi={xi,yi}p_i = \{x_i, y_i\} ordonnés dans le sens horaire.

    Pour le rétrécir :

    1. On calcule d'abord la longueur de référence rir_i de chaque sommet pip_i :

      ri=min⁡(D(pi,p(imod  4)+1),D(pi,p((i+2)mod  4)+1))r_i = \min(D(p_i, p_{(i \mod 4)+1}), D(p_i, p_{((i+2) \mod 4)+1}))

      Ici, D(pi,pj)D(p_i, p_j) est la distance L2 entre deux sommets.

    2. On rétrécit d'abord les deux côtés les plus longs, puis les plus courts.

    3. Pour décider quelle paire de côtés opposés est « longue », on compare les moyennes de leurs longueurs.

    4. Sur chaque côté entre pip_i et p(imod   4)+1p_{(i \mod\ 4)+1}, on déplace les extrémités vers l'intérieur de 0.3ri0.3r_i et 0.3r(imod  4)+10.3r_{(i \mod 4)+1} respectivement.

  2. Carte géométrique

    La carte géométrique peut représenter un RBOX ou un QUAD. Les étapes de construction du RBOX figurent en (c–e).

    Pour les jeux annotés par quadrilatères, comme ICDAR 2015, les auteurs calculent d'abord le rectangle orienté de surface minimale qui couvre la région. Pour chaque pixel positif, ses distances aux quatre côtés alimentent les quatre canaux du RBOX.

    Pour l'étiquette QUAD, les huit canaux d'un pixel positif codent les décalages de coordonnées entre ce pixel et les quatre sommets.

Fonctions de perte

La perte totale s'écrit :

L=Ls+λgLgL = L_s + λ_g L_g

Ici, LsL_s correspond à la carte de scores, LgL_g à la géométrie et λgλ_g équilibre leurs contributions.

Les expériences fixent λg=1λ_g = 1.

  • Perte de la carte de scores

    Beaucoup de détecteurs compensent le déséquilibre des classes par un échantillonnage équilibré et une recherche d'exemples négatifs difficiles. Cela peut aider, mais ajoute des étapes non différentiables et des paramètres à régler. Les auteurs préfèrent une entropie croisée équilibrée par classe :

    Ls=balanced-xent(Y^,Y∗)L_s = \text{balanced-xent}( \hat{Y}, Y^* ) =−βY∗log⁡Y^−(1−β)(1−Y∗)log⁡(1−Y^)= -β Y^* \log \hat{Y} - (1 - β)(1 - Y^*) \log(1 - \hat{Y})

    Y^\hat{Y} est la carte prédite, Y∗Y^* l'étiquette de référence et ββ le coefficient qui équilibre les pixels positifs et négatifs :

    β=1−∑y∗∈Y∗y∗∣Y∗∣β = 1 - \frac{\sum_{y^* \in Y^*} y^*}{|Y^*|}

    Yao et ses collègues avaient déjà utilisé cette perte pour la détection de texte avec de bons résultats.

  • Perte RBOX

    La taille du texte varie beaucoup dans les scènes naturelles. Une perte L1L_1 ou L2L_2 sur les coordonnées donne souvent plus de poids aux grandes régions. Pour traiter les petits et grands mots de manière comparable, la perte géométrique doit être peu sensible à l'échelle.

    Pour la partie rectangulaire alignée sur les axes (AABB) du RBOX, les auteurs utilisent donc une perte fondée sur l'IoU :

    LAABB=−log⁡IoU(R^,R∗)=−log⁡∣R^∩R∗∣∣R^∪R∗∣L_{\text{AABB}} = -\log \text{IoU}( \hat{R}, R^* ) = -\log \frac{| \hat{R} \cap R^* |}{| \hat{R} \cup R^* |}

    R^\hat{R} est la géométrie AABB prédite et R∗R^* la référence.

    La perte de l'angle de rotation vaut :

    Lθ(θ^,θ∗)=1−cos⁡(θ^−θ∗)L_{\theta}( \hat{\theta}, \theta^* ) = 1 - \cos( \hat{\theta} - \theta^* )

    La perte géométrique totale réunit l'AABB et l'angle :

    Lg=LAABB+λθLθL_g = L_{\text{AABB}} + λ_{\theta} L_{\theta}

    Dans les expériences, λθλ_{\theta} vaut 10.

  • Perte QUAD

    Pour QUAD, les auteurs partent de la perte Smooth L1 et la normalisent selon la forme du quadrilatère d'un mot, souvent allongé dans une direction.

    L'ensemble ordonné des coordonnées du quadrilatère est :

    CQ={x1,y1,x2,y2,...,x4,y4}C_Q = \{x_1, y_1, x_2, y_2, ..., x_4, y_4\}

    La perte s'écrit :

    Lg=LQUAD(Q^,Q∗)L_g = L_{\text{QUAD}}( \hat{Q}, Q^* ) =min⁡Q′∈PQ∗∑ci∈CQ,ci′∈CQ′smooth L1(ci−ci′)8×NQ∗= \min_{Q' \in P_{Q^*}} \sum_{c_i \in C_Q, c'_i \in C_{Q'}} \frac{\text{smooth L1}( c_i - c'_i )}{8 \times N_{Q^*}}

    Le terme de normalisation NQ∗N_{Q^*} est la longueur de son côté le plus court :

    NQ∗=min⁡i=14D(pi,p(imod  4)+1)N_{Q^*} = \min_{i=1}^{4} D( p_i, p_{(i \mod 4)+1} )

    PQP_Q représente tous les ordres possibles des sommets, car leur ordre d'annotation varie selon les jeux de données publics.

Entraînement

Le réseau est entraîné de bout en bout avec ADAM. Des recadrages de 512 × 512 pixels, tirés uniformément dans les images, forment des lots de taille 24. Le taux d'apprentissage commence à 1×10−31 \times 10^{-3} et est divisé par dix tous les 27 300 lots, jusqu'à 1×10−51 \times 10^{-5}.

L'entraînement se poursuit jusqu'à ce que la performance cesse de progresser.

NMS tenant compte de la localité

Après le filtrage par seuil, il reste à fusionner les géométries retenues au moyen de la NMS.

Une NMS classique peut coûter O(n2)O(n^2) pour nn géométries candidates. Ce coût devient gênant avec les milliers de prédictions issues d'une carte dense.


Les auteurs supposent que les géométries prédites par des pixels voisins sont fortement liées. Ils proposent donc une fusion suivant l'ordre des lignes.

En parcourant les lignes, ils fusionnent successivement la géométrie courante avec la dernière géométrie déjà fusionnée, puis appliquent une NMS ordinaire aux éléments conservés. Le meilleur cas prend O(n)O(n) ; le pire reste comparable à la NMS classique. Quand l'hypothèse de localité tient, l'algorithme est suffisamment rapide en pratique.

Voici une implémentation :

Contrairement à une NMS qui ne ferait que choisir une géométrie, cette fusion calcule une moyenne pondérée : les candidats votent ainsi pour le résultat. Le terme « NMS » reste pertinent pour décrire l'opération complète, qui fusionne et supprime les géométries redondantes.

Dans WEIGHTEDMERGE(g, p), les coordonnées des sommets de deux polygones gg et pp sont moyennées selon leurs scores. Si aa est le polygone obtenu, son sommet aia_i est :

ai=V(g)gi+V(p)piV(g)+V(p)a_i = \frac{V(g)g_i + V(p)p_i}{V(g) + V(p)}

Où :

  • V(g)V(g) et V(p)V(p) sont les scores de gg et de pp ;
  • gig_i et pip_i sont leurs sommets d'indice ii ;
  • aia_i est le sommet correspondant du polygone fusionné aa.

Le score total du polygone fusionné est la somme des deux scores :

V(a)=V(g)+V(p)V(a) = V(g) + V(p)

Jeux de données de référence

Les auteurs comparent leur méthode aux précédentes sur trois jeux de données publics : ICDAR 2015, COCO-Text et MSRA-TD500.

  • ICDAR 2015

    Ce jeu courant en détection de texte compte 1 500 images : 1 000 pour l'entraînement et 500 pour le test. L'expérience ajoute aussi 229 images d'entraînement d'ICDAR 2013. Les régions textuelles sont annotées par des quadrilatères à quatre sommets.

  • COCO-Text

    C'était alors le plus grand jeu de détection de texte : 63 686 images, dont 43 686 d'entraînement et 20 000 de test. Les régions sont annotées par des boîtes alignées sur les axes (AABB), cas particulier du RBOX avec un angle θθ nul. Le traitement des données et l'évaluation suivent ceux d'ICDAR 2015.

  • MSRA-TD500

    Ce jeu multilingue comprend de longues lignes de texte orientées librement : 300 images d'entraînement et 200 de test, annotées au niveau de la ligne. Le petit ensemble d'entraînement est complété par des images de HUST-TR400.

Discussion

ICDAR 2015

Le F-score vaut 0,7820 avec une seule échelle et atteint 0,8072 avec plusieurs échelles, contre 0,6477 pour le meilleur résultat antérieur cité. À backbone VGG16 identique, la sortie QUAD dépasse la référence [41] de 0,0924 et RBOX d'environ 0,116.

COCO-Text

Les trois variantes de backbone dépassent la référence [41] en F-score. Avec VGG16, il est de 0,3945 contre 0,3331, soit 0,0614 de plus ; le rappel passe de 0,271 à 0,324. Les lignes A, B et C du tableau concernent l'annotation des données : les auteurs ne les utilisent pas comme comparaisons de détecteurs.

MSRA-TD500

PVANET2x obtient un F-score de 0,7608. C'est 0,0208 au-dessus des 0,74 de [48], avec une précision supérieure de 0,0428 ; face aux 0,7591 de [41], l'écart n'est que de 0,0017. VGG16 fait moins bien, 0,7023 contre 0,7608, car cette évaluation demande de prédire des lignes de texte et son champ récepteur est plus petit.

Exemples visuels

Conclusion

L'article présente un détecteur de texte simple et efficace. Un seul réseau prédit directement, à partir de l'image entière, les régions textuelles et leur géométrie. Le système évite ainsi une longue chaîne d'étapes intermédiaires.

Les auteurs détaillent relativement peu l'effet isolé de chaque choix d'entraînement et d'architecture. Il est donc difficile de savoir quel composant contribue le plus au résultat final. Reste que la méthode obtient, sur les trois jeux de référence étudiés, des résultats supérieurs aux comparaisons rapportées et montre l'intérêt de cette approche pour la détection de texte.