Introduction
La MRZ (Machine Readable Zone, ou zone de lecture automatique) est une zone des documents de voyage, notamment passeports, visas et cartes d’identité, conçue pour être lue rapidement par une machine. Sa structure suit le document 9303 de l’OACI (ICAO), afin de faciliter les contrôles aux frontières et de fiabiliser le traitement des informations.
Beaucoup de gens ne connaissent peut-être pas MRZ, mais presque tout le monde a un passeport avec un bloc MRZ, qui ressemble à cela, avec la boîte rouge indiquant la zone MRZ:
Source de l'image : Jeu de données synthétiques MIDV-2020
En plus des passeports, certains pays ont également des blocs MRZ sur les cartes d'identité, les permis de conduire, les visas et d'autres documents.
Nous pouvons constater que les blocs MRZ ont plusieurs caractéristiques évidentes:
- Structure fixe: la structure dépend du type de MRZ, mais la signification de chaque champ est fixe.
- Zone de texte bien délimitée: le fond de la MRZ est uni, les caractères sont noirs et leur espacement est défini.
- Alphabet limité: l’alphabet MRZ comprend les chiffres, les lettres majuscules et le caractère de remplissage « < », soit 37 caractères possibles.
Aperçu de la structure
Nous nous appuyons sur le projet d’analyse de MRZ publié sur GitHub, Arg0s1080/mrz , pour expliquer la structure MRZ :
À partir du diagramme ci-dessus, nous pouvons comprendre clairement la signification de chaque bloc MRZ:
- Type: Type de document, tel que passeport, carte d'identité, visa, etc.
- Code pays: Code du pays d'émission.
- Nom: Nom de famille.
- Prénoms: Prénoms.
- Numéro du document: Numéro de document.
- Nationalité: Nationalité.
- Date de naissance: Date de naissance.
- Date d'expiration: date d’expiration.
- Facultatif: Champs personnalisés.
Reconnaissance de texte
Ce projet porte sur la reconnaissance du texte MRZ, un sujet spécialisé qui compte relativement peu de publications. En le décomposant, on retrouve cependant une tâche d’OCR : ajuster quelques modèles OCR existants pourrait suffire.
Mais cela gaspillerait beaucoup de ressources !
Les modèles OCR sont généralement conçus pour reconnaître une grande variété de types de texte, y compris les nombres, les lettres majuscules, la ponctuation, etc. La tête de prédiction pourrait couvrir des milliers de caractères, rendant le modèle complexe et nécessitant plus de ressources informatiques.
Si nous appliquions un tel modèle directement à la reconnaissance MRZ, ce ne serait pas très professionnel, n'est-ce pas?
Par conséquent, nous devons repenser le modèle spécifiquement pour les caractéristiques MRZ. Ce modèle spécialisé peut effectuer la tâche plus efficacement sans avoir à gérer des types de texte inutiles, économiser des ressources informatiques et améliorer la vitesse de reconnaissance et la précision.
Reconnaissance en deux étapes
Puisque nous concevons un modèle spécialisé, nous pouvons diviser la reconnaissance MRZ en deux étapes :
- Localisation de la région: Utiliser un modèle léger pour se concentrer sur la localisation de la région MRZ dans l'image.
- Reconnaissance de texte: Utiliser un modèle léger pour se concentrer sur la reconnaissance du texte dans la région MRZ.
Nous avons consacré environ un demi-mois à la localisation de la MRZ, puis un mois à la reconnaissance de son texte. Sur notre jeu de test interne d’environ 300 documents, l’exactitude sur l’image entière atteint 97.02% et l’ANLS 99.97%.
Le seul inconvénient de cette approche est...
Une approche peu stimulante
À nos yeux, mener à bien cette tâche sans difficulté particulière revenait simplement à faire notre travail.
Nous avons répondu au besoin du client en suivant les étapes prévues. Une fois la solution livrée, nous l’avons mise de côté pour réfléchir à d’autres approches.
Si nous n'utilisons pas une approche de reconnaissance en deux étapes, alors il doit s'agir d'une reconnaissance en une seule étape!
Nous devons reconnaître directement le texte dans la région MRZ de l'image brute.
Reconnaissance à une seule étape
Nous avons ensuite consacré trois mois supplémentaires à un modèle MRZ en une seule étape. Les résultats étaient décevants : environ 40% d’exactitude sur l’image entière et 97% d’ANLS.
Honnêtement, nous avons passé plus de temps que prévu, et c'était un peu une perte. Ce problème s'est avéré être plus difficile que nous l'imaginions. Plusieurs fois, nous nous sommes dit, pourquoi ne pas simplement rester avec la solution en deux étapes? C'est ennuyeux, mais au moins c'est exact! Pourquoi rendre les choses plus difficiles pour nous-mêmes?
Il y a eu plusieurs difficultés avec le modèle en une seule étape:
- La taille et l'échelle de la recherche en image intégrale sont incohérentes.
- La région MRZ a des rotations imprévisibles.
- La nécessité d’analyser des détails fins augmente fortement le coût de calcul.
Malgré ces difficultés, le modèle devait rester léger pour fonctionner sur appareil mobile. La combinaison de ces contraintes compliquait la convergence et limitait les résultats.
Malgré les difficultés, nous avons poursuivi le développement jusqu’au bout. Le temps et les ressources étant déjà investis, nous avons choisi de publier cette solution en open source pour la partager.
Nous considérons la solution en une seule étape comme un jalon. Notre objectif reste un modèle plus robuste et plus précis, capable de couvrir davantage de situations.
Espace d’essai
Le modèle est accessible sur ce site pour vous permettre de l’essayer directement.
Conclusion
Ce projet nous a permis de :
- vérifier l’intérêt des données synthétiques ;
- réaliser une solution en deux étapes pour localiser la MRZ et reconnaître son texte ;
- intégrer la localisation et la reconnaissance MRZ dans un modèle en une seule étape ;
- réunir les différents formats de documents MRZ derrière une interface d’analyse commune.
Si vous êtes intéressé par ce sujet, n'hésitez pas à le tester vous-même, et nous attendons avec impatience vos commentaires.
Nous accueillons également favorablement les suggestions et sommes heureux d'entamer des discussions avec vous.