DTrOCR: Decoder-only Transformer for Optical Character Recognition
- Publication
- WACV 2024Conférence
- Premier dépôt sur arXiv
- arXiv:2308.15996
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{textrecognitiondtrocr2023,
title = {{DTrOCR: Decoder-only Transformer for Optical Character Recognition}},
author = {Masato Fujitake},
year = {2023},
eprint = {2308.15996},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2308.15996}
}
Cet article vient d'une entreprise japonaise spécialisée dans l'OCR, un groupe d'auteurs que nous rencontrons moins souvent.
Le nom du modèle se prononce « D-TrOCR », pour « Decoder-only ».
La première fois, nous avions plutôt envie de lire « Doctor ». (?)
Définition du problème
Nous venons de parcourir TrOCR ; vous vous en souvenez probablement un peu.
TrOCR combine des modèles encodeur et décodeur préentraînés dans une chaîne de reconnaissance de texte.
Les auteurs de ce nouvel article mettent en question la nécessité de l'encodeur visuel pour l'OCR :
- Et si le décodeur suffisait ?
Cette idée vous rappelle quelque chose ?
Exact : à la sortie de GPT, OpenAI proposait aussi de ne garder qu'un décodeur !
Les chercheurs se saluent d'un domaine à l'autre. Reprendre une bonne idée ailleurs peut donner un article intéressant.
Résolution du problème
Architecture du modèle
En bref, on retire l'encodeur visuel et l'on transmet l'image au décodeur par ses tokens de patches.
Un module « Patch Embedding » découpe l'image en petits blocs et les projette en vecteurs. Ces vecteurs reçoivent un encodage de position avant d'entrer dans le décodeur, comme dans ViT.
Un token spécial [SEP] sépare ensuite la séquence de blocs d'image de celle du texte. Le décodeur génère les tokens textuels un à un jusqu'à [EOS].
Le modèle utilise une tokenisation BPE ; à l'inférence, une recherche par faisceaux (« beam search ») sélectionne la sortie.
Le décodeur reprend GPT-2 préentraîné au lieu de partir de zéro, ce qui économise du temps d'entraînement.
Préentraînement sur données synthétiques
Un modèle de langage entraîné sur du texte seul ne sait pas encore relier les caractéristiques d'une image au texte qu'elle contient.
Les auteurs poursuivent donc son préentraînement sur des images synthétiques de texte de scène, imprimé et manuscrit.
TrOCR préparait ses données d'entraînement à partir de PDF et d'annotations obtenues avec un OCR commercial. Ici, les auteurs génèrent plutôt des images depuis les corpus PILE, CC100 et Chinese NLP Corpus pour rendre cette préparation plus reproductible.
La génération suit ces règles :
- Trois bibliothèques libres produisent les images. Le corpus est réparti au hasard entre texte de scène, imprimé et manuscrit dans les proportions 60 %, 20 % et 20 %.
- SynthTIGER produit 4 milliards d'images de texte de scène horizontal et 2 milliards de texte vertical, avec les polices par défaut en anglais et 64 polices courantes en chinois.
- La configuration « Multiline text image » de SynthTIGER produit 100 millions d'images de texte anglais à partir des corpus MJSynth et SynthText, avec cinq mots par exemple.
- TextRender produit 2 milliards d'images imprimées selon ses réglages par défaut.
- TRDG produit 2 milliards d'images manuscrites, avec 5 427 polices anglaises et quatre polices chinoises.
Ajustement sur données réelles
Pour que le modèle s'adapte au monde réel, il faut tout de même des données réelles pour l'ajuster.
Les auteurs utilisent COCO-Text, RCTW, Uber-Text, ArT, LSVT, MLT19 et ReCTS.
Détails d'implémentation
-
Configuration du modèle
-
Décodeur :
- GPT-2 en anglais et GPT-2 en chinois.
- Douze couches Transformer, dimension cachée 768 et douze têtes d'attention.
- Vocabulaire à encodage par paires d'octets (BPE).
-
Embedding des patches d'image :
- Blocs de 8 × 4, comme dans le travail antérieur.
- Encodage de position relatif.
- Longueur maximale de 512 tokens.
-
-
Entraînement
- Préentraînement :
- Modèle anglais sur les données anglaises ; modèle chinois sur les données anglaises et chinoises.
- Une époque, lots de 32, optimiseur AdamW et taux d'apprentissage .
- Ajustement :
- Initialisation avec les poids préentraînés.
- Une époque sur la plupart des jeux, taux ; quatre époques pour SROIE.
- Même optimiseur et même taille de lot que pour le préentraînement.
- Préentraînement :
-
Augmentation des données
- RandAugment, sans l'opération Sharpness.
- Invert, Gaussian Blur et Poisson Noise sont ajoutés.
- Trois couches d'augmentation, d'amplitude 5.
- Toutes les images sont ramenées à 128 × 32 pixels.
- Orientation d'origine conservée dans 95 % des cas ; rotation de 90° dans le sens horaire dans 2,5 %, et antihoraire dans 2,5 %.
- Normalisation dans .
Discussion
Comparaison en STR
Le tableau sépare les méthodes selon leurs données d'entraînement synthétiques ou réelles. Dans chaque groupe et pour les jeux où un résultat est publié, DTrOCR a une meilleure précision par mot que les méthodes comparées. L’effet de l’absence d’encodeur demande une comparaison à données et réglages identiques.
TrOCR, ABINet, PARSeq et MaskOCR utilisent un encodeur visuel et de l'information linguistique. DTrOCR n'a pas d'encodeur visuel séparé, mais obtient une précision élevée dans ces comparaisons.
Dans les exemples ci-dessous, DTrOCR lit des textes occultés, irréguliers ou répartis sur deux lignes que les deux autres modèles illustrés reconnaissent mal.
Comparaison sur SROIE
Le tableau porte sur la tâche 2 de SROIE : rappel, précision et F1 au niveau des mots. Sans encodeur visuel CNN ou ViT séparé, DTrOCR dépasse les méthodes affichées sur les trois métriques.
Reconnaissance manuscrite
Le jeu utilisé est IAM Handwriting Database. Dans cette branche moins étudiée, la meilleure méthode antérieure du tableau utilisait les annotations internes de Diaz, un modèle de langage externe et un TrOCR fondé sur les Transformers.
DTrOCR est entraîné sur des données synthétiques et l'ensemble d'entraînement IAM, sans modèle de langage externe. Il obtient dans le tableau un taux d'erreurs de caractères plus faible : CER 2.38, où une valeur plus basse est meilleure.
Reconnaissance du chinois
Le benchmark comporte quatre sous-ensembles : scènes, pages Web, documents et manuscrits.
DTrOCR obtient la meilleure précision par mot parmi les méthodes affichées dans chacun des quatre sous-ensembles. L'écart est plus grand pour les scènes, pages Web et manuscrits ; sur les documents, il n'est que de 0,5 point par rapport au suivant.
TrOCR et MaskOCR utilisent un préentraînement à langage masqué (MLM), alors que DTrOCR préentraîne une génération autorégressive du token suivant.
Ces résultats montrent l'efficacité du décodeur génératif sur ces quatre sous-ensembles chinois. Les architectures et conditions d'entraînement diffèrent toutefois : l'écart ne peut pas être attribué entièrement à la méthode de préentraînement.
Conclusion
Les auteurs présentent un reconnaisseur de texte à la structure très simple : un décodeur seul suffit à mener les tâches OCR étudiées. Les expériences en montrent l'intérêt.
DTrOCR dépasse plusieurs méthodes récentes dans les comparaisons présentées et se généralise correctement dans les essais de l'article. La suite sera peut-être d'emprunter la voie des grands modèles de langage pour le rendre plus rapide et plus efficace.