Retour à la bibliothèque
arXiv 2021AAAI 2023Reconnaissance de texteNotes de lecture

TrOCR

Le préentraînement avant tout

Article original

TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models

Auteurs de l’article

Minghao Li · Tengchao Lv · Jingye Chen …

Afficher les 9 auteurs

Minghao Li · Tengchao Lv · Jingye Chen · Lei Cui · Yijuan Lu · Dinei Florencio · Cha Zhang · Zhoujun Li · Furu Wei

Publication
AAAI 2023Conférence
Premier dépôt sur arXiv
arXiv:2109.10282
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{textrecognitiontrocr2021,
  title = {{TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models}},
  author = {Minghao Li and Tengchao Lv and Jingye Chen and Lei Cui and Yijuan Lu and Dinei Florencio and Cha Zhang and Zhoujun Li and Furu Wei},
  year = {2021},
  eprint = {2109.10282},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2109.10282}
}
Sur cette page

Cet article est simple et clair. Si vous découvrez le domaine, il peut être un bon point de départ.

Définition du problème

La plupart des méthodes existantes gardent un CNN comme backbone et ajoutent l'auto-attention d'un Transformer pour mieux comprendre les images de texte. Pour améliorer la précision, certaines utilisent aussi un décodage CTC ou un modèle de langage externe.

Ces solutions ont obtenu des résultats, mais beaucoup de modèles entraînent encore leurs paramètres à partir de zéro. Ils exploitent peu les modèles de vision par ordinateur (CV) et de traitement du langage (NLP) préentraînés à grande échelle.

Les auteurs montrent donc, par l'exemple, comment utiliser des modèles préentraînés pour l'OCR.

Résolution du problème

Architecture du modèle

TrOCR comporte deux Transformers, l'un pour l'image et l'autre pour le texte.

À la différence des modèles classiques de reconnaissance de texte, les auteurs n'emploient pas de backbone CNN. Ils suivent ViT : l'image est redimensionnée à 384×384384 \times 384, découpée en blocs de 16×1616 \times 16, puis transmise à l'encodeur visuel. Encodeur et décodeur reposent tous deux sur un Transformer standard. Le texte reconnu est produit en unités wordpiece.

Pendant l'entraînement, l'encodeur visuel est initialisé à partir d'un modèle préentraîné de type ViT, DeiT ou BEiT dans les expériences. Le décodeur reçoit les poids préentraînés de RoBERTa ou MiniLM. Les paramètres d'attention croisée entre encodeur et décodeur, absents de ces modèles d'origine, doivent cependant être initialisés aléatoirement.

Stratégie d'entraînement

  • Première étape

    Les auteurs échantillonnent 2 millions de pages dans des PDF publics, les convertissent en images et extraient les lignes de texte pour produire 684 millions d'images de lignes. Comme les PDF ont été créés numériquement, les textes sont nets.

  • Deuxième étape

    Le générateur libre TRDG et 5 427 polices manuscrites servent à synthétiser des images de lignes manuscrites. Le texte vient de pages Wikipédia collectées au hasard. Le jeu de données manuscrites compte 17,9 millions de lignes, dont celles d'IIIT-HWS.

    Les auteurs recueillent également environ 53 000 images de reçus. Un moteur OCR commercial reconnaît leur texte ; les zones de texte sont ensuite découpées et normalisées selon leur position.

    Enfin, TRDG produit environ un million d'images de lignes imprimées avec des polices de reçus et des polices intégrées. Le jeu de textes imprimés compte ainsi 3,3 millions de lignes.

    Pour le texte de scène, la deuxième étape utilise plutôt MJSynth et SynthText, soit environ 16 millions d'images de texte.

Réglage des paramètres

La branche visuelle de TrOCR utilise DeiT ou BEiT, et sa branche textuelle utilise RoBERTa ou MiniLM.

Le code et les poids préentraînés de DeiT viennent de timm. BEiT et MiniLM viennent du dépôt officiel UniLM, tandis que RoBERTa vient des ressources GitHub de Fairseq.

Le préentraînement utilise 32 GPU V100 et l'affinage en utilise 8. La taille de lot indiquée pour tous les modèles est de 2 048, avec un taux d'apprentissage de 5×10−55 \times 10^{-5}.

Quelques dimensions supplémentaires :

  • Résolution et taille des blocs : les encodeurs DeiT et BEiT prennent des images de 384×384384 \times 384 découpées en blocs de 16×1616 \times 16.
  • Structure des encodeurs :
    • DeiTSMALL\text{DeiT}_{\text{SMALL}} : 12 couches, dimension cachée de 384, 6 têtes d'attention.
    • DeiTBASE\text{DeiT}_{\text{BASE}} et BEiTBASE\text{BEiT}_{\text{BASE}} : 12 couches, dimension cachée de 768, 12 têtes d'attention.
    • BEiTLARGE\text{BEiT}_{\text{LARGE}} : 24 couches, dimension cachée de 1024, 16 têtes d'attention.
  • Structure des décodeurs :
    • Petit décodeur : 6 couches, dimension cachée de 256, 8 têtes d'attention.
    • Décodeur de base : dimension cachée de 512.
    • Grand décodeur : 12 couches, dimension cachée de 1024, 16 têtes d'attention.

Discussion

Combinaisons d'encodeur et de décodeur

Puisqu'il y a plusieurs encodeurs et décodeurs possibles, quelle combinaison choisir ?

Les auteurs les comparent sur SROIE. Les résultats figurent ci-dessous :

Les encodeurs testés sont DeiT, BEiT et ResNet-50 ; les décodeurs utilisent RoBERTa.

Dans cette comparaison d'architectures entraînées uniquement sur SROIE, BEiTBASE_{\text{BASE}} avec RoBERTaLARGE_{\text{LARGE}} obtient le meilleur score F1, 79,36 %. Les gains dus à l'initialisation préentraînée et aux deux étapes de préentraînement sont étudiés dans un autre tableau d'ablation.

Les auteurs retiennent alors trois configurations pour la suite :

  • TrOCRSMALL_{\text{SMALL}} : encodeur DeiTSMALL_{\text{SMALL}} et décodeur MiniLM, pour 62 millions de paramètres.
  • TrOCRBASE_{\text{BASE}} : encodeur BEiTBASE_{\text{BASE}} et décodeur RoBERTaLARGE_{\text{LARGE}}, pour 334 millions de paramètres.
  • TrOCRLARGE_{\text{LARGE}} : encodeur BEiTLARGE_{\text{LARGE}} et décodeur RoBERTaLARGE_{\text{LARGE}}, pour 558 millions de paramètres.

Performances sur SROIE

Le tableau compare TrOCR aux meilleurs modèles évalués sur SROIE. Il s'agit ici de reconnaître des images de lignes de texte découpées selon les vraies boîtes englobantes ; la détection de texte n'est pas incluse.

Pour modéliser la langue, MSO Lab et CLOVA OCR utilisent des couches LSTM, H&H Lab une couche GRU, alors que TrOCR emploie un décodeur Transformer entièrement fondé sur l'attention.

Sur cette reconnaissance de lignes de texte, TrOCRLARGE_{\text{LARGE}} atteint un F1 de 96,58 %, contre 96,43 % pour H&H Lab dans le tableau. Il n'a pas besoin d'un post-traitement complexe supplémentaire pour la reconnaissance.

Performances sur IAM

Le tableau compare TrOCR aux autres méthodes sur la base d'écriture manuscrite IAM.

Pour le modèle CTC de Diaz et ses collègues, un modèle de langage externe réduit le taux d'erreur sur les caractères (CER) de 3,53 % à 2,75 %. Sans modèle de langage externe, TrOCRLARGE_{\text{LARGE}} atteint 2,89 % : c'est mieux que les 3,20 % du modèle CTC de Bluche et Messina, mais moins bien que Diaz avec données internes supplémentaires et modèle de langage. Les données d'entraînement diffèrent aussi entre méthodes.

Performances en reconnaissance de texte de scène

Les auteurs comparent TrOCR affiné uniquement sur des données synthétiques, puis sur ces données et les jeux d'entraînement de référence (IC13, IC15, IIIT5K et SVT), à des méthodes courantes et récentes.

Sur les huit colonnes de test du tableau, TrOCR affiné avec les données synthétiques et les jeux de référence arrive en tête sur cinq : SVT, les deux colonnes IC13, SVTP et CUTE. Il n'est pas premier sur IIIT5K ni sur les deux colonnes IC15.

Conclusion

La différence essentielle entre TrOCR et de nombreux travaux antérieurs est l'usage de modèles préentraînés.

Les auteurs exploitent leurs avantages, évitent de dépendre du CNN classique et réduisent la complexité du modèle tout en améliorant son efficacité de calcul. Les expériences montrent qu'une architecture encodeur-décodeur assez simple peut obtenir des résultats de haut niveau sur diverses tâches d'OCR. Elles illustrent le potentiel des Transformers préentraînés pour ces usages.