Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection
- Publication
- CVPR 2020Conférence
- Premier dépôt sur arXiv
- arXiv:2003.07493
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{textdetectiondrrg2020,
title = {{Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection}},
author = {Shi-Xue Zhang and Xiaobin Zhu and Jie-Bo Hou and Chang Liu and Chun Yang and Hongfa Wang and Xu-Cheng Yin},
year = {2020},
eprint = {2003.07493},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2003.07493}
}
Aux alentours de 2020, les réseaux de convolution sur graphe (Graph Convolutional Network, GCN) étaient très en vogue.
À cette époque, les Transformers n'étaient pas encore largement employés pour les images. Les GCN offraient un bon moyen de traiter des données irrégulières et de saisir les relations entre elles.
Dommage : à peine la convolution sur graphe commençait-elle à gagner du terrain en vision par ordinateur que les Transformers lui ont volé la vedette.
Définition du problème
Un nouvel outil était disponible, et personne ne s'en servait encore pour résoudre le problème de la détection de texte : voilà un problème tout trouvé !
Les auteurs ont donc choisi d'appliquer un GCN à la détection de texte. Leur travail fait partie des premières tentatives d'utiliser la convolution sur graphe pour cette tâche.
Le plus difficile dans cet article est ainsi de comprendre ce qu'est un réseau de convolution sur graphe. Si vous maîtrisez déjà cette notion, l'article ne devrait pas vous poser de difficulté.
Résolution du problème
Architecture du modèle
L'architecture complète assemble de nombreux éléments. On peut d'abord la décomposer en quelques parties :
- Extracteur de caractéristiques : VGG-16 sert de réseau dorsal, avec un FPN (Feature Pyramid Network).
- Définition des composants textuels : chaque instance de texte est découpée en une série ordonnée de petits fragments presque rectangulaires.
- Prédiction des composants textuels : des convolutions produisent les prédictions des composants.
- Calcul de la fonction de perte : on mesure l'écart entre les prédictions et les annotations de référence.
- Réseau de convolution sur graphe : les relations entre composants deviennent un graphe sur lequel le GCN effectue son raisonnement.
Extraction des caractéristiques
Il faut d'abord un extracteur de caractéristiques. Ici, les auteurs utilisent VGG-16 comme réseau dorsal et lui ajoutent un FPN (Feature Pyramid Network).
L'article appelle cet ensemble une fusion multiscalaire de type FPN. Sur le schéma, les caractéristiques des différents niveaux sont concaténées, au lieu d'être additionnées élément par élément comme dans un FPN classique : cette fusion présente donc aussi un trait rappelant U-Net.
Définition des composants textuels
Dans cet article, les auteurs découpent chaque instance de texte complète, par exemple une ligne ou la région d'un mot, en une série ordonnée de petits fragments presque rectangulaires.
Ces fragments permettent de décrire plus finement la forme, la taille et l'orientation du texte. On peut ensuite les relier pour reconstituer l'instance complète.
Chaque composant textuel est représenté par des attributs géométriques :
- : les coordonnées du centre du composant, c'est-à-dire sa position dans l'image.
- : respectivement la hauteur et la largeur du composant.
- : l'orientation du composant.
Un angle étant périodique, utiliser et évite certaines difficultés liées à sa représentation directe et permet une variation continue de la direction.
-
Définition de :
Dans l'article, la hauteur d'un composant comprend une partie supérieure et une partie inférieure .
-
Relation entre la largeur et la hauteur :
La largeur est obtenue à partir de la hauteur au moyen d'une règle par morceaux.
Les expériences fixent une largeur minimale et une largeur maximale . La règle est la suivante :
Autrement dit :
- Si le composant est peu haut ( est petit), sa largeur reste à , pour éviter un fragment trop étroit.
- Si sa hauteur se situe dans la plage intermédiaire, sa largeur vaut la moitié de sa hauteur (), ce qui conserve une proportion raisonnable.
- Si sa hauteur devient très grande, sa largeur est plafonnée à pour éviter un allongement excessif.
Les auteurs prennent et dans leurs expériences.
Pour définir clairement le sens du texte, incliné ou horizontal par exemple, et extraire facilement sa « région centrale » (Text Center Region, TCR), les auteurs reprennent la méthode de TextSnake.
Les étapes sont les suivantes :
-
Obtenir les suites de points des bords supérieur et inférieur :
On découpe la région de texte en une suite de quadrilatères suivant son grand côté, un peu comme lorsqu'on divise une longue ligne en petits segments. On obtient alors deux ensembles de points :
- : les points de la ligne supérieure du texte.
- : les points de la ligne inférieure.
Les points et correspondent aux deux bords d'une même coupe transversale.
-
Déterminer quelle ligne est en haut et laquelle est en bas :
Une fois et obtenus, il reste à savoir lequel représente le bord supérieur.
On définit pour cela un ensemble de vecteurs :
Chaque vecteur relie les points correspondants des deux lignes par soustraction. On calcule ensuite :
Ici, et désigne le sinus de l'angle de direction du vecteur. Selon la convention de l'article, si , est la ligne supérieure et l'inférieure ; sinon, leurs rôles sont inversés.
La direction des vecteurs sert ainsi à déterminer le haut et le bas de la région et, par conséquent, à estimer l'inclinaison du texte.
-
Obtenir la région centrale du texte (TCR) :
Après avoir déterminé le sens du texte, on « rétrécit » sa région (Text Region, TR) pour obtenir une région centrale (TCR) plus petite et plus précise.
En regardant l'illustration agrandie, on distingue trois opérations :
- Calculer la ligne médiane, à mi-chemin entre les lignes supérieure et inférieure.
- Raccourcir ses deux extrémités de pixels pour mieux séparer les instances voisines.
- Élargir la zone de part et d'autre de cette ligne de afin de former la bande centrale correspondant à la TCR.
La TCR aide le réseau à se concentrer sur le cœur du texte et à mieux distinguer des instances voisines, par exemple des mots ou des lignes rapprochés.
Prédiction des composants textuels
Une fois les composants définis, il faut les prédire à partir des cartes de caractéristiques fournies par le réseau dorsal et le FPN. Les deux convolutions suivantes produisent :
Il s'agit d'une convolution suivie d'une convolution .
Le tenseur final a pour dimensions : est la taille spatiale de la carte de caractéristiques et ses huit canaux se répartissent ainsi :
- Quatre canaux contiennent les logits de classification de TR et TCR ; les softmax donnent les prédictions correspondantes pour la région textuelle et sa région centrale.
- Quatre canaux prédisent par régression , , et .
Les softmax servent à la classification de TR et TCR ; il ne s'agit pas de quatre classes sémantiques mutuellement exclusives. On normalise aussi et pour que et que la direction prédite reste cohérente.
Enfin, un seuil et une suppression des non-maxima (NMS) locale éliminent les composants prédits qui se recouvrent de façon redondante.
Calcul de la fonction de perte
La perte totale de détection comprend deux termes :
- : la perte de classification, qui distingue les pixels appartenant à TR/TCR du fond.
- : la perte de régression des attributs géométriques, notamment la hauteur et l'orientation.
repose sur une entropie croisée.
L'article distingue deux régions liées au texte :
- TR (Text Region) : la région entière du texte, entre ses bords supérieur et inférieur.
- TCR (Text Center Region) : une région centrale extraite de TR par réduction et ajustement, afin de localiser plus précisément le cœur du texte.
La perte de classification est définie par :
Elle comporte trois sous-termes :
-
: Il mesure l'erreur de classification des pixels de la région textuelle TR.
-
: Calculé uniquement sur les pixels à l'intérieur de TR, il apprend à distinguer la région centrale TCR du reste du texte.
-
: Calculé seulement hors de TR, il pénalise les fausses prédictions de TCR dans le fond.
Pour stabiliser l'entraînement, les auteurs utilisent l'OHEM (Online Hard Example Mining). Cette méthode retient les exemples négatifs difficiles, c'est-à-dire les pixels qui n'appartiennent pas à la région textuelle, afin que les nombreux négatifs faciles ne dominent pas la perte. Le rapport négatifs/positifs est fixé à 3:1.
Dans les expériences, et pondèrent respectivement et .
La perte de régression apprend au modèle à estimer précisément la hauteur et l'orientation du texte.
Ces attributs n'étant annotés que dans la TCR, la perte de régression n'est calculée que dans cette région centrale.
Elle s'écrit :
On y trouve trois parties :
-
: perte de régression de la hauteur
Elle mesure l'écart entre la hauteur prédite et la hauteur de référence.
La hauteur est composée de et ; on a donc .
Son calcul est donné par :
Avec :
-
: l'ensemble des échantillons positifs de la TCR, c'est-à-dire des pixels annotés.
-
: les valeurs de référence des paramètres liés à la hauteur. L'article utilise dans l'équation sans expliciter complètement les trois indices.
-
: les valeurs prédites par le modèle.
-
-
et : pertes de régression de l'orientation
Elles mesurent l'écart entre l'orientation prédite, représentée par et , et l'orientation de référence :
La perte smooth L1 atténue l'effet des erreurs extrêmes et rend l'entraînement plus stable.
-
: facteur d'équilibrage
Il règle le poids de et dans . Les auteurs fixent .
Construction des graphes locaux
Pour appliquer un réseau de convolution sur graphe à la détection de texte, il faut représenter les relations entre composants textuels sous forme de graphe.
Une image peut contenir beaucoup de composants détectés. Construire un immense graphe dans lequel tous les nœuds seraient reliés les uns aux autres serait très coûteux.
En pratique, un composant n'est susceptible d'être associé qu'à quelques voisins proches. Les auteurs construisent donc, autour de chaque composant servant de « pivot », un graphe local comprenant un nombre limité de composants voisins. Cela évite d'avoir à traiter un graphe global trop grand.
Un graphe local est centré sur un composant textuel précis, le pivot, et ne considère que ses voisins. Sa petite taille accélère ensuite le raisonnement sur les relations.
Pour le construire, les auteurs s'inspirent des travaux cités ci-dessous. Ils choisissent un composant détecté comme pivot, puis cherchent ses voisins pour former . Ces voisins se répartissent en deux niveaux :
- Voisins à 1 saut : depuis le pivot, on retient au plus ses 8 composants les plus proches selon la mesure de similarité choisie.
- Voisins à 2 sauts : pour chacun de ces voisins à 1 saut, on cherche au plus 4 autres composants proches.
En comptant le pivot, les 8 voisins du premier niveau et jusqu'à 4 voisins pour chacun d'eux, cela donne au plus nœuds candidats avant déduplication. C'est bien moins que les centaines ou milliers de composants que pourrait contenir l'image entière.
Reste à définir quels composants sont les plus proches du pivot. Il faut pour cela une mesure de distance ou de similarité.
L'article emploie une similarité fondée sur la distance euclidienne relative :
- est la distance euclidienne L2 entre le pivot et le nœud dans les coordonnées de l'image.
- et sont respectivement la hauteur et la largeur de l'image entière.
Filtrage des échantillons redondants
Pendant l'entraînement, deux pivots appartenant à une même instance textuelle peuvent produire des graphes locaux presque identiques. Par exemple, si l'on choisit deux caractères voisins sur une ligne, la plupart des nœuds de leurs graphes se recouvriront. Le modèle risque alors de revoir sans cesse des échantillons faciles et d'apprendre moins efficacement.
Pour limiter ce phénomène, les auteurs posent la condition suivante :
et sont deux graphes locaux issus de pivots différents appartenant à une même instance . On calcule l'intersection () et l'union () de leurs ensembles de voisins à 1 saut pour mesurer leur taux de recouvrement.
Si est trop élevé, proche de 1 par exemple, le pivot correspondant n'est pas retenu : on évite ainsi de multiplier les graphes redondants et faciles.
Les auteurs fixent et n'utilisent un pivot que si le taux de recouvrement est inférieur à ce seuil. Cette stratégie réduit les répétitions et rend l'entraînement plus efficace.
Réseau de convolution sur graphe
À ce stade, chaque image donne lieu à plusieurs graphes locaux. Chacun comprend un pivot et ses voisins à 1 et 2 sauts. Ces graphes esquissent les relations entre les nœuds, mais leurs liens ne sont encore que des estimations grossières.
Pour mieux estimer la probabilité d'une liaison, surtout entre le pivot et ses voisins à 1 saut, les auteurs introduisent un réseau de convolution sur graphe (GCN).
Le GCN agrège progressivement les informations des nœuds voisins et permet ainsi un raisonnement relationnel plus poussé.
On représente généralement un graphe par :
- est la matrice des caractéristiques des nœuds ; chaque ligne contient le vecteur d'un nœud.
- est la matrice d'adjacence. Si les nœuds et sont reliés, ; sinon, cette valeur est nulle, ou prend un autre poids selon la définition du graphe.
Il faut ici construire et pour le graphe local , centré sur le pivot , avant de les transmettre au GCN.
Les caractéristiques d'un nœud ont deux composantes :
- Caractéristiques RROI
- Caractéristiques géométriques
La couche RRoI-Align (Rotated RoI) extrait des blocs de caractéristiques de chaque composant textuel à partir de la carte de l'image. On désigne les vecteurs ainsi obtenus par .
Ces caractéristiques décrivent surtout l'apparence : elles captent la texture et la forme du texte, mais pas suffisamment sa position, son échelle ni son orientation dans l'image.
Les auteurs reprennent donc un encodage positionnel de type Transformer pour projeter les attributs géométriques du composant dans un espace de grande dimension :
Un composant possède six attributs géométriques, par exemple . Chacun est encodé sur dimensions ; leur concaténation forme donc un vecteur de dimensions, noté .
Enfin, on concatène et pour former la caractéristique complète du nœud : .
Avant de fournir les caractéristiques au graphe, on soustrait celle du pivot à chaque nœud, afin de conserver une information relative au pivot.
Une fois les caractéristiques prêtes, il reste à construire la matrice d'adjacence .
Pour limiter la densité du graphe et le coût du calcul, on ne relie chaque nœud qu'à ses plus proches voisins. Si fait partie des plus proches voisins de , alors ; sinon, cette valeur est nulle. Les expériences prennent .
La matrice ainsi obtenue décrit la structure du graphe local.
À partir des matrices et , les auteurs empilent une couche de normalisation par lot et quatre couches de convolution sur graphe activées par ReLU. Une perte d'entropie croisée après softmax entraîne le modèle à prédire les liens entre le pivot et ses voisins à 1 saut.
Pendant l'entraînement, seules les erreurs de classification des voisins à 1 saut donnent lieu à une rétropropagation : c'est bien la présence ou l'absence de lien avec ces voisins immédiats qu'il faut décider. Les nœuds à 2 sauts apportent du contexte au GCN sans faire eux-mêmes l'objet d'une optimisation directe de leurs liens.
Au test, le modèle prédit les liens entre chaque pivot et ses voisins à 1 saut, puis reconstitue les instances textuelles. Reprenons le schéma précédent :
Les caractéristiques des nœuds passent par le GCN, puis un softmax fournit la probabilité de liaison entre le pivot et chacun de ses voisins à 1 saut. À l'inférence, chaque composant sert tour à tour de pivot pour construire un graphe local. Une recherche en largeur (BFS) regroupe les composants reliés. L'algorithme Min-Path ordonne ensuite leurs centres ; les milieux successifs de leurs bords supérieur et inférieur sont joints pour former la frontière finale du texte.
Discussion
Étude d'ablation
L'architecture est assez complexe. Passons directement aux expériences d'ablation.
Pour réduire l'effet des différences entre données, les auteurs préentraînent d'abord le modèle sur SynthText, puis l'affinent sur Total-Text et CTW1500. Pour MSRA-TD500, qui contient de l'anglais et du chinois, ils choisissent plutôt un préentraînement sur ICDAR2017-MLT avant l'affinage sur MSRA-TD500.
Les résultats figurent dans le tableau ci-dessus. Le modèle de référence regroupe les composants au moyen de l'intersection entre la région textuelle et sa région centrale, sans utiliser de liens appris par le GCN. L'ajout du raisonnement relationnel améliore le Hmean (score F) sur les trois jeux de données :
- Sur Total-Text, le Hmean augmente de 1,83 point de pourcentage.
- Sur CTW1500, il augmente de 0,78 point.
- Sur MSRA-TD500, il augmente de 4,27 points.
La hausse est la plus forte sur MSRA-TD500 : dans les conditions de cette expérience, le raisonnement relationnel aide donc sur ce jeu de données riche en longs textes. Selon les auteurs, le gain plus modeste sur CTW1500 pourrait aussi tenir à certains problèmes d'annotation :
- CTW1500 ne prévoit pas d'annotation « DO NOT CARE » : de très petits textes et certains textes non anglais ne sont pas annotés, ce qui perturbe l'évaluation, comme le montre la figure ci-dessous.
- Les annotations de lignes sont parfois confuses, ce qui complique l'alignement entre prédictions et référence.
Même si le gain sur CTW1500 est plus faible, les trois ablations indiquent qu'un réseau de raisonnement relationnel peut améliorer le Hmean dans ces conditions.
Comparaison avec d'autres méthodes
Les auteurs préentraînent le modèle sur ICDAR2017-MLT, puis l'affinent séparément sur CTW1500 et Total-Text.
Dans le tableau ci-dessus, DRRG atteint un Hmean de 85,73 % sur Total-Text et de 84,45 % sur CTW1500, au-dessus des autres méthodes indiquées. Par rapport aux résultats de TextSnake figurant dans ce tableau, son avance est de 8,85 points sur CTW1500 et de 7,33 points sur Total-Text.
Sur MSRA-TD500, DRRG atteint aussi 85,08 % de Hmean, devant les autres méthodes du tableau.
Résultats visualisés
Les expériences donnent également de bons résultats pour les textes courbes et irréguliers.
La rangée supérieure montre le regroupement des composants textuels ; celle du bas montre les frontières construites à partir de ces groupes. Ces exemples illustrent la détection de textes de formes variées.
Conclusion
L'apport de cet article est d'utiliser un réseau de convolution sur graphe pour structurer les relations entre composants textuels. Le GCN raisonne sur les nœuds et leurs liens afin de déterminer quels composants doivent être reliés. Le post-traitement peut ensuite les regrouper et les réorganiser pour former des instances textuelles complètes.
Nous retrouverons un réseau de convolution sur graphe dans l'architecture TextBPN, ce qui montre également son intérêt pour la détection de texte.