On Recognizing Texts of Arbitrary Shapes with 2D Self-Attention
- Publication
- CVPR Workshops 2020Atelier (workshop)
- Premier dépôt sur arXiv
- arXiv:1910.04396
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{textrecognitionsatrn2019,
title = {{On Recognizing Texts of Arbitrary Shapes with 2D Self-Attention}},
author = {Junyeop Lee and Sungrae Park and Jeonghun Baek and Seong Joon Oh and Seonghyeon Kim and Hwalsuk Lee},
year = {2019},
eprint = {1910.04396},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1910.04396}
}
Dans les années qui suivent sa publication, le Transformer gagne peu à peu différents domaines.
Cet article vient de Clova AI. Ses auteurs veulent aussi apporter les avantages du Transformer à la reconnaissance de texte dans les images (STR), en espérant résoudre quelques problèmes.
Définir le problème
Le texte de forme arbitraire donne encore du fil à retordre à de nombreux chercheurs.
Plusieurs solutions ont été proposées ces dernières années, mais leurs résultats restent insuffisants. Beaucoup supposent encore que le texte se dispose horizontalement, ce qui limite la généralisation du modèle.
À ce moment-là, le Transformer a déjà plus de deux ans et BERT s’impose dans le NLP. Les auteurs se demandent si l’attention du Transformer ne pourrait pas aider à résoudre ce problème.
Résoudre le problème
Architecture du modèle
Les auteurs proposent une architecture qui ressemble à un Transformer classique, avec quelques adaptations à la STR. Nous n’allons pas réexpliquer le Transformer ; si vous le connaissez mal, voyez :
Dans l’encodeur, l’image passe d’abord par un petit réseau convolutif (CNN) qui extrait motifs locaux et textures, tout en allégeant le calcul de l’auto-attention. Ce CNN comprend deux convolutions , chacune suivie d’un max-pooling de pas 2.
Le module d’auto-attention reprend celle du Transformer et utilise un codage adaptatif de position en 2D pour traiter des textes disposés de façon variée.
Dans le FFN, les auteurs proposent une nouvelle couche de transmission tenant compte du voisinage (Locality-aware Feedforward Layer). Elle ajoute une convolution depthwise au FFN appliqué point par point et conserve une convolution pour traiter les canaux.
Le décodeur extrait la séquence textuelle de la carte de caractéristiques 2D de l’encodeur.
Pendant le décodage, l’interaction entre image d’entrée et texte de sortie se fait dans le deuxième module d’attention multi-têtes. Pour le reste, le décodeur ressemble beaucoup à celui du Transformer : il emploie surtout l’attention multi-têtes et un FFN point par point.
Discussion
Comparaison avec les méthodes antérieures
Par rapport aux autres méthodes à carte de caractéristiques 2D du tableau, SATRN obtient les meilleurs résultats sur les références où des scores sont rapportés. Sur les trois jeux de texte irrégulier IC15, SVTP et CT80, il dépasse le meilleur résultat précédent de leurs colonnes respectives de 2,1, 6,9 et 4,5 points de pourcentage.
Cette architecture est avantageuse pour les textes de forme arbitraire. Sur le texte régulier de IIIT5K et SVT, ASTER, qui utilise un réseau de transformation spatiale (STN), reste toutefois devant SATRN.
Comparaison avec SAR
SATRN et SAR se distinguent nettement par leurs encodeurs, auto-attention contre réseau convolutif, et leurs décodeurs, auto-attention contre LSTM. SAR emploie un encodeur ResNet et un décodeur LSTM ; SATRN utilise l’auto-attention dans les deux parties.
Quand on remplace seulement l’encodeur ResNet de SAR par celui de SATRN, avec le décodeur LSTM ou celui de SATRN, la précision augmente respectivement de 1,0 et 0,9 point, tandis que le nombre de paramètres baisse de 12 millions et le calcul de 5,5B FLOPs dans les deux cas. En revanche, SATRN complet atteint 89,2 % contre 87,9 % pour SAR, mais ses FLOPs montent de 21,9B à 35,9B.
Reconnaissance de textes sur plusieurs lignes
Pour mieux évaluer les formes déformées, les auteurs testent séparément le texte tourné et le texte sur plusieurs lignes.
Pour le texte tourné, ils entraînent sur des rotations réparties uniformément de 0° à 360° et redimensionnent les images à 64×64. Pour plusieurs lignes, ils entraînent sur les jeux synthétiques SynthText et MJSynth, puis testent sur des images de texte multiligne découpées à la main dans IC13.
Dans l’expérience, SATRN dépasse FAN et SAR à tous les angles testés, avec des résultats stables. Pour le texte multiligne, son attention peut effectuer de grands sauts à l’inférence, passant d’une ligne à la suivante, ce qui montre de bons résultats.
La figure suivante montre l’attention du décodeur SATRN lorsqu’il extrait les caractéristiques 2D :
Étude d’ablation
- Codage adaptatif de position en 2D (A2DPE) : par rapport à l’absence de codage, au codage 1D et à la concaténation de codages 2D, A2DPE a la meilleure précision de cette ablation, 86,5 %. Il ajuste selon l’image les poids des positions en hauteur et en largeur.
- Effet de la hauteur des cartes : quand la carte de caractéristiques rétrécit, le coût de calcul et la précision baissent. La précision chute particulièrement quand le taux de sous-échantillonnage en hauteur dépasse 1/8, ce qui souligne l’intérêt de garder une carte 2D pendant le calcul.
Conclusion
SATRN confirme l’intérêt du Transformer pour la STR. Il atteint de nouveaux meilleurs résultats sur plusieurs références, avec un gain moyen de 5,7 points de pourcentage.
L’attention augmente néanmoins les besoins en mémoire et en calcul, surtout dans le décodeur, qui ajoute beaucoup de FLOPs et de paramètres. Mais ce n’est visiblement pas un problème !
De futurs travaux pourraient chercher à réduire le calcul nécessaire pour déployer le modèle dans davantage de situations réelles.