Efficient and Accurate Arbitrary-Shaped Text Detection with Pixel Aggregation Network
- Publication
- ICCV 2019Conférence
- Premier dépôt sur arXiv
- arXiv:1908.05900
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{textdetectionpan2019,
title = {{Efficient and Accurate Arbitrary-Shaped Text Detection with Pixel Aggregation Network}},
author = {Wenhai Wang and Enze Xie and Xiaoge Song and Yuhang Zang and Wenjia Wang and Tong Lu and Gang Yu and Chunhua Shen},
year = {2019},
eprint = {1908.05900},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1908.05900}
}
Les auteurs viennent à peine de publier PSENet qu'ils poursuivent sur leur lancée avec PAN.
Définir le problème
Cette fois, l'objectif est simple : le modèle précédent est trop lent.
Remplaçons ResNet50 et VGG16 par ResNet18 !
Allégeons aussi la pyramide de caractéristiques avec des convolutions séparables en profondeur !
Bref, tout ce qui peut réduire le coût est bon à prendre.
Résoudre le problème
Architecture du modèle
PAN ressemble globalement à PSENet. Les auteurs y ajoutent plusieurs changements pour gagner en vitesse.
Ils réduisent d'abord les paramètres de la pyramide de caractéristiques (FPN), puis compensent la perte de capacité de représentation par une nouvelle stratégie de fusion.
L'article multiplie les sigles ; retenons d'abord les deux principaux :
- FPEM : Feature Pyramid Enhancement Module, module d'amélioration de la pyramide de caractéristiques.
- FFM : Feature Fusion Module, module de fusion des caractéristiques.
Voyons-les dans l'ordre.
FPEM
Comme FPN, FPEM fusionne des caractéristiques de plusieurs échelles, mais ajoute un second trajet de la haute vers la basse résolution. Les points de fusion utilisent des convolutions séparables en profondeur, ce qui réduit le calcul et augmente la vitesse.
Les auteurs soulignent qu'on peut empiler plusieurs FPEM pour enrichir les caractéristiques et compenser la faiblesse d'un réseau principal léger.
FFM
Plusieurs FPEM empilés produisent beaucoup de cartes de caractéristiques.
Un FPEM fournit quatre échelles, chacune avec 128 canaux : cela fait 512 canaux au total. Si l'on concaténait simplement les sorties de FPEM, on obtiendrait 512 canaux, un volume pénible pour la suite.
FFM additionne d'abord les cartes de même échelle provenant des différents FPEM, puis suréchantillonne et concatène les quatre échelles. Quel que soit le nombre de FPEM, la sortie finale garde donc canaux.
Agrégation des pixels
Après le réseau principal et la branche de fusion, la tête prédit une région de texte, une région noyau et, pour chaque pixel textuel, un vecteur de similarité à quatre dimensions.
L'agrégation doit rattacher les pixels de la région de texte au bon noyau pour reconstituer chaque instance. On peut voir l'instance comme un groupe, son noyau comme un centre et ses autres pixels comme les éléments à regrouper.
Pendant l'entraînement, une perte d'agrégation rapproche les pixels de leur noyau, tandis qu'une perte de discrimination maintient les noyaux de textes distincts à distance.
-
(1) Perte d'agrégation
- Elle réduit la distance entre les pixels d'un texte et son noyau.
- Pour chaque instance , elle s'écrit :
est le nombre d'instances, la -ième instance, son noyau et l'un de ses pixels.
- La distance vaut :
est le vecteur de similarité du pixel ; celui du noyau est la moyenne des vecteurs de ses pixels :
La constante vaut 0,5 dans les expériences et écarte les exemples faciles.
-
(2) Perte de discrimination
- Elle maintient une distance suffisante entre les noyaux de textes distincts.
- Sa définition est :
La distance entre les noyaux et se définit par :
La constante vaut 3 pour pousser les noyaux différents à s'écarter d'au moins cette marge.
À l'inférence, les vecteurs de similarité prédits guident le rattachement des pixels textuels aux noyaux.
La procédure suit trois étapes :
- Repérer les composantes connexes du masque des noyaux : chacune représente un noyau.
- Ajouter les pixels textuels voisins : pour chaque noyau , un pixel voisin à quatre connexions est ajouté si la distance euclidienne entre leurs vecteurs de similarité est inférieure au seuil .
- Répéter jusqu'à ce qu'aucun pixel voisin admissible ne reste.
Les deux pertes guident ainsi la formation des noyaux et leur agrégation avec les bons pixels pour reconstruire les instances complètes.
Fonction de perte
La perte totale est :
Ici :
- mesure la segmentation des régions de texte.
- mesure celle des noyaux.
- et sont les deux pertes de regroupement et de séparation.
- et équilibrent ces termes ; ils valent respectivement 0,5 et 0,25 dans toutes les expériences.
Comme les pixels textuels sont bien moins nombreux que les pixels de fond, les auteurs emploient une perte Dice pour superviser les segmentations et .
La cible des noyaux provient du rétrécissement des polygones de référence selon un rapport , comme dans PSENet.
Pour , l'extraction en ligne d'exemples difficiles (OHEM) écarte les pixels de fond faciles. Pour , et , seuls les pixels textuels de la vérité terrain sont pris en compte.
pondère la perte des noyaux et les deux pertes sur les vecteurs ; la perte des régions de texte garde un poids de 1.
Jeux de données d'entraînement
-
SynthText
Ce grand jeu sert au préentraînement : environ 800 000 images synthétiques combinent des scènes naturelles et du texte aux polices, tailles, couleurs et orientations variées.
-
CTW1500
Créé par Yuliang et ses collègues pour les longs textes courbes, CTW1500 contient 1 000 images d'entraînement et 500 de test. Les instances y sont annotées par des polygones de 14 points.
-
Total-Text
Ce jeu de textes horizontaux, orientés et courbes contient 1 255 images d'entraînement et 300 de test.
-
ICDAR 2015
ICDAR 2015 réunit 1 500 images, dont 1 000 pour l'entraînement et 500 pour le test. Les régions de texte sont annotées par des quadrilatères.
-
MSRA-TD500
Ce jeu multilingue de lignes longues et librement orientées contient 300 images d'entraînement et 200 de test, annotées au niveau des lignes. Les auteurs ajoutent HUST-TR400 pour compenser la petite taille de l'ensemble d'entraînement.
Stratégie d'entraînement
PAN emploie ResNet ou VGG16 comme réseau principal, préentraîné sur ImageNet.
Tous les modèles sont optimisés par descente de gradient stochastique (SGD). Les modèles avec données externes passent d'abord par 50 000 itérations sur SynthText, à un taux fixe de . Les modèles sans données textuelles externes sont entraînés directement sur le jeu cible.
Les deux stratégies poursuivent pendant 36 000 itérations sur le jeu cible, avec un taux initial de . L'entraînement direct utilise une décroissance polynomiale d'exposant 0,9. La décroissance des poids vaut , avec un momentum de Nesterov de 0,99.
Les régions floues marquées « DO NOT CARE » sont ignorées. Le rapport négatifs/positifs d'OHEM vaut 3. Les images subissent des changements aléatoires d'échelle, des retournements horizontaux, des rotations et des recadrages.
Discussion
Études d'ablation
Les auteurs évaluent l'effet des modules de PAN sur ICDAR 2015 et CTW1500.
-
Empilement des FPEM
Le nombre de FPEM est contrôlé par . La mesure F augmente avec , puis se stabilise à partir de .
Malgré leur faible coût individuel, trop de FPEM ralentissent l'inférence d'environ 2 à 5 images/s par module ajouté. Les expériences suivantes fixent donc à 2.
-
Utilité de FPEM
À réglages expérimentaux comparables, les auteurs confrontent :
- ResNet18 + 2 FPEM + FFM ;
- ResNet50 + PSPNet.
Malgré son réseau principal plus léger, le premier obtient presque la même mesure F, tourne plus de cinq fois plus vite et ne compte que 12,25 millions de paramètres.
-
Utilité de FFM et de PA
Sans FFM, les cartes de la dernière pyramide sont concaténées pour la segmentation finale. La mesure F baisse alors de 0,6 à 0,8 point de pourcentage, ce qui montre l'intérêt de réutiliser aussi les caractéristiques moins profondes.
Sans PA — à l'entraînement et aucun filtrage des voisins par similarité à l'inférence — la mesure F recule de 1,0 point sur ICDAR 2015 et de 1,2 point sur CTW1500.
Remplacer ResNet18 par ResNet50 ou VGG16 apporte respectivement 1,1 et 1,6 point sur ICDAR 2015, et 0,6 et 0,5 point sur CTW1500, dans les mêmes réglages ; les réseaux plus lourds réduisent toutefois nettement la vitesse.
Résultats sur les textes courbes
-
Sur CTW1500 :
Résultats CTW1500
-
PAN-320, dont le petit côté d'entrée mesure 320 pixels, atteint 77,1 % de mesure F et 84,2 images/s sans préentraînement sur des données textuelles externes. Sa mesure F dépasse celle de la plupart des méthodes comparées, y compris plusieurs utilisant des données externes, et sa vitesse est environ quatre fois celle de la méthode la plus rapide citée.
-
Après préentraînement SynthText puis ajustement sur CTW1500, la mesure F de PAN-320 atteint 79,9 %. Celle de PAN-512 monte à 83,5 %, au moins 1,3 point au-dessus des autres méthodes du tableau, tout en atteignant 58,1 images/s.
-
Sur Total-Text :
Résultats Total-Text
- Sans préentraînement textuel externe, PAN-320 atteint 82,4 images/s et 77,1 % de mesure F. PAN-640 atteint 83,5 %, au moins 0,6 point au-dessus des méthodes comparées, y compris celles avec données externes.
- Après préentraînement SynthText puis ajustement sur Total-Text, PAN-320 monte à 79,9 % de mesure F. PAN-640 atteint 85,0 %, soit 2,1 points au-dessus de SPCNet [50], deuxième dans le tableau, à près de 40 images/s.
Résultats sur ICDAR 2015
Sans préentraînement sur des données textuelles externes, PAN obtient 80,3 % de mesure F dans le tableau et tourne à 26,1 images/s. Par rapport à EAST, la mesure F gagne 2,1 points et la vitesse est environ doublée.
Après préentraînement SynthText et ajustement sur ICDAR 2015, la mesure F atteint 82,9 %, proche des 82,6 % de TextSnake. PAN à 26,1 images/s est environ 24 fois plus rapide que TextSnake à 1,1 image/s. Sa mesure F reste inférieure à celle de PSENet et de SPCNet ; PSENet tourne à 1,6 image/s dans le tableau, soit environ 16 fois plus lent que PAN, tandis que SPCNet n'y fournit pas de vitesse.
Résultats sur MSRA-TD500
Sans données textuelles externes, PAN atteint 78,9 % de mesure F ; avec elles, 84,1 %, le meilleur score du tableau. PAN tourne à 30,2 images/s, mais plusieurs méthodes comparées ne donnent pas de vitesse.
Résultats visuels
Les panneaux (b) et (c) montrent respectivement la région de texte et le noyau prédits. Le panneau (d) représente les vecteurs de similarité après réduction de dimension, par des couleurs et des points : les pixels proches d'un même noyau s'y regroupent.
Conclusion
PAN détecte efficacement les textes courbes, orientés et les longues lignes droites. Avec ou sans préentraînement sur des données textuelles externes, il obtient des mesures F élevées tout en restant relativement rapide. Cela en fait une méthode solide pour différentes scènes de texte.