Conception du modèle

Le monde est simple, mais nous le compliquons nous-mêmes.

Oui, c'est nous qui causons nos propres maux de tête – à la fois ennuyés et intrigués en même temps.

Modèle de reconnaissance en deux étapes

Un modèle en deux étapes décompose la reconnaissance MRZ en deux phases : localisation et reconnaissance.

Suivant cette approche, nous pouvons commencer à concevoir des modèles connexes. Tout d'abord, regardons le modèle de localisation.

Modèle de localisation

La localisation de la zone MRZ peut généralement être divisée en deux directions:

  1. Localiser les coins de la zone MRZ:

    Source de l'image : Jeu de données synthétiques MIDV-2020

    Ceci est similaire aux projets de localisation de documents que nous avons déjà réalisés, sauf que nous localisons ici la zone MRZ au lieu d'un document.

    Pour localiser un document, les coins correspondent à des points visibles sur l’image : le modèle n’a pas à les imaginer. Pour une zone MRZ, en revanche, il doit déduire la position de ces coins.

    Il s'avère que l'utilisation de cette méthode conduit à un modèle instable; juste un léger mouvement du passeport peut causer les points d'angle prévus à errer autour de la zone MRZ.


  2. Segmentation de la zone MRZ:

    Source de l'image : Jeu de données synthétiques MIDV-2020

    Cette approche est plus stable parce que nous pouvons utiliser directement un modèle de segmentation pour prédire les limites des zones MRZ. Le texte dans la zone MRZ est réalistement présent dans l'image, de sorte que le modèle n'a pas à faire d'hypothèses inutiles. De cette façon, nous pouvons segmenter directement la zone MRZ et éviter les préoccupations au sujet des points d'angle.


Nous avons adopté l'approche de segmentation.

Dans les scénarios réels, le passeport détenu par l'utilisateur est inévitablement incliné, donc nous devons corriger la zone MRZ pour la transformer en un rectangle approprié.

Pour la fonction de perte, nous nous sommes appuyés sur un article de synthèse :

Le présent document fournit une comparaison et une introduction unifiées des diverses fonctions de perte de segmentation proposées ces dernières années, et présente une solution aux problèmes existants, à savoir : Log-Cosh Dice Loss.

Les lecteurs intéressés peuvent se référer à ce document; nous n'entrerons pas dans d'autres détails ici.

Dans nos expériences, l’utilisation de Log-Cosh Dice Loss seul n’a pas donné de résultats satisfaisants. Nous l’avons donc combiné à une perte de classification des pixels, CrossEntropyLoss et à une perte de régression des pixels, SmoothL1Loss pour l’entraînement.

Modèle de reconnaissance

Le modèle de reconnaissance est plus simple parce que nous avons déjà segmenté la zone MRZ, et nous avons juste besoin d'entrer cette zone dans un modèle de reconnaissance de texte pour obtenir le résultat final.

À ce stade, il y a plusieurs orientations de conception que nous pouvons considérer:

  1. Séparer les lignes de texte et les reconnaître individuellement :

    Certaines zones MRZ comportent deux lignes, comme les formats TD2 et TD3, et d’autres trois, comme le format TD1. On peut séparer ces lignes et les reconnaître une par une.

    Le modèle de reconnaissance doit convertir une chaîne de texte d'image en sortie texte. Il existe de nombreuses méthodes possibles, telles que le CRNN+CTC populaire plus tôt ou le CLIP4STR plus récent, entre autres.

    Cette méthode présente de nombreux inconvénients, comme la nécessité d'une logique supplémentaire pour traiter deux ou trois lignes dans la zone MRZ, ou des difficultés à distinguer les caractères en raison de l'espacement étroit entre les lignes MRZ dans certains documents.

    Remarque : Pour approfondir ces méthodes, consultez nos lectures des articles suivants :



  1. Reconnaissez l'ensemble de l'image recadrée MRZ à la fois:

    Les zones MRZ ayant des rapports largeur/hauteur relativement proches, on peut recadrer toute la zone puis reconnaître l’image en une seule fois. Les modèles fondés sur les Transformers se prêtent particulièrement bien à cette approche.

    Par exemple, si vous utilisez uniquement l'architecture de l'encodeur Transformer, le modèle peut ressembler à ceci:

    En raison du mécanisme d'auto-attention, plusieurs Tokens peuvent pointer vers le même caractère dans l'image, ce qui peut confondre le modèle si une approche typique de décodage est utilisée:

    C’est clairement l’image de ce caractère : pourquoi faudrait-il la décoder comme un autre caractère ?

    Sur la base de nos expériences, l'utilisation de CTC pour le décodage de texte donne de meilleurs résultats dans ce cas, car chaque token provient d'une zone d'image d'un caractère particulier, et nous avons juste besoin de fusionner les sorties à l'étape finale pour obtenir le résultat final du texte.


    Bien sûr, si vous n'aimez pas CTC et pensez que c'est un tracas, vous pourriez envisager d'adopter une architecture de codeur-décodeur. La conception du modèle pourrait ressembler à ceci:

    Cette approche permet de décoder directement la chaîne sans couche CTC supplémentaire : les tokens fournis au décodeur sont des requêtes, chacune chargée de retrouver le caractère correspondant dans le bon ordre.

    Remarque : Ce décodeur peut produire ses sorties en parallèle, sans fonctionnement autorégressif.

    Après réflexion, la raison pour laquelle nous utilisons l'autorégression est que nous devons « baser la prochaine prédiction sur la prédiction précédente ». Cependant, dans ce cas, de telles opérations sont clairement inutiles.

    Chaque caractère MRZ est indépendant, et la prédiction pour la première position n'affecte pas la prédiction pour la seconde position. Toutes les informations nécessaires sont déjà présentes dans la sortie Encoder, et le travail du Decoder est simplement de demander et de récupérer la séquence correcte.

    Bien sûr, il ne suffit pas d'en parler; nous avons également testé les méthodes de sortie parallèle et d'entraînement autorégressif, et le résultat montre que la sortie parallèle converge plus rapidement, améliore les performances et généralise mieux.


Propagation d'erreur

Cela nous ramène à la question des points d'angle.

Tous les modèles en deux étapes sont confrontés à un défi commun : propagation des erreurs.

Aucun modèle n'est précis à 100%. Puisque nous ne pouvons jamais modéliser complètement la population statistique, chaque règle a des exceptions, et chaque modèle a des erreurs. Quelle que soit la méthode choisie, le défi final est le même :

  • Inexactitude de l'estimation du coin

Une estimation imprécise du coin conduit à une région MRZ inexacte après correction. Une région MRZ inexacte conduit ensuite à une reconnaissance textuelle inexacte. Ceci devient un exemple classique de propagation d'erreurs.

Modèle de reconnaissance en une seule étape

Le principal défi d'un modèle à une seule étape consiste à traiter des caractéristiques à plusieurs échelles.

La région MRZ peut varier avec l'angle de capture de l'utilisateur, ce qui signifie qu'avant de détecter le texte, nous devons gérer l'image à différentes échelles.

Architecture du modèle

Backbone

Récemment, Google a publié un nouveau document: MobileNet-V4optimisé pour les appareils mobiles. Nous l’utilisons comme backbone, avec les poids préentraînés de timm, avec une taille d'image d'entrée de 512 x 512 en RGB. https://arxiv.org/abs/2404.10518

Neck

Pour mieux fusionner les caractéristiques à plusieurs échelles, nous utilisons BiFPN. La circulation bidirectionnelle de l’information contextuelle enrichit les représentations et produit des cartes de caractéristiques capables de décrire des objets à différentes échelles, ce qui améliore la précision des prédictions.

Dans notre étude d’ablation, nous avons tenté de retirer ce composant et d’utiliser directement les cartes de caractéristiques du backbone, mais l’entraînement a échoué.

Découpage en patchs

Maintenant pour quelques expériences non conventionnelles.


Les cartes de caractéristiques de chaque étage doivent être converties en un format utilisable par les Transformers. Nous employons des convolutions classiques pour les transformer en patchs.

Voici quelques-uns de nos paramètres :

  1. Taille des patchs : 4 x 4.

    Les petits caractères MRZ mesurant environ 4 à 8 pixels, nous avons choisi des patchs de 4 x 4.

  2. Chaque carte de caractéristiques possède sa propre projection des patchs (Patch Embedding) et sa propre représentation de position (Position Embedding).

    Chaque carte correspond à une échelle différente : partager la même représentation empêcherait les échanges d’information entre échelles de fonctionner correctement. Nous avons envisagé une représentation commune, puis abandonné cette piste en raison de sa complexité.

    Nous avons également essayé de partager les poids du Patch Embedding, toutes les cartes utilisant la même couche Conv2d, mais les résultats étaient médiocres.

Attention croisée (Cross-Attention)

Enfin, nous avons utilisé Cross-Attention pour la reconnaissance du texte.

Nous avons initialisé 93 jetons au hasard.

  • Pourquoi 93 jetons ?

Nous avons basé cela sur le plus long format MRZ, TD1, qui a 90 caractères. TD1 a trois lignes, donc nous avons besoin de 2 caractères "séparateurs". De plus, nous avons besoin d'un caractère "fin", ce qui représente un total de 93 jetons.

Le caractère séparateur est &, et le caractère de fin est [EOS]. S'il y a des positions supplémentaires, nous les marquons avec [EOS]; le modèle reste libre de prédire les positions suivantes, qui ne sont pas supervisées.


Pour le décodeur Transformer, voici les paramètres de base :

  • Dimension: 256
  • Couches : 6
  • Têtes d'attention: 4
  • Dropout : 0
  • Normalisation : Post-LN

Cette architecture fournit au décodeur un espace de caractéristiques à plusieurs échelles afin qu’il choisisse l’échelle adaptée à la reconnaissance du texte. La localisation du texte dans l’image est prise en charge par le modèle lui-même.

Notes complémentaires

Voici quelques observations consignées pendant les expériences :

  1. Les modèles aux dimensions 64 et 128 peuvent converger, mais la réduction de la dimension double le temps de convergence.

    Sur un RTX4090, l'entraînement d'un modèle de 256 dimensions prend environ 50 heures. Pour 128 dimensions, il faut environ 100 heures; pour 64 dimensions, environ 200 heures.

    Pourquoi ne pas essayer 512 dimensions ? Parce qu'il rend le modèle trop grand, dépassant 100 Mo, ce qui n'est pas ce que nous voulons.


  1. L'ajout de branches supplémentaires, comme Polygon ou des points de centre de texte, peut accélérer la convergence.

    Mais il est impraticable! Collecter des données est assez difficile; ajouter l'annotation de zone MRZ rend encore plus difficile. En fin de compte, les avantages ne justifient pas l'effort.


  1. Suppression du Neck.

    Il peut encore converger, mais le temps triple, alors réfléchissez bien.


  1. Suppression de l'encodage de position.

    Pas de convergence.


  1. Faire passer la décroissance des poids (weight decay) de 10−510^{-5} à 10−210^{-2}.

    Une convergence plus rapide mais une généralisation réduite.

    Les petits modèles présentent déjà une certaine régularisation et n’ont donc pas besoin d’une forte décroissance des poids.


  1. Utiliser Pre-LN.

    Une convergence plus rapide mais une généralisation réduite.

    Pre-LN réduit dans une certaine mesure la profondeur effective du modèle, ce qui convient mal aux petits modèles.


  1. Renforcement de l’augmentation des données.

    Pour accélérer les expériences, nous avons limité la rotation des images MRZ à ±45 degrés.

    Nous avons essayé d'utiliser la rotation complète et plus d'augmentations, mais le modèle ne pouvait pas gérer une charge aussi lourde et n'a pas réussi à converger.

Conclusion

Nous croyons que la conception actuelle d'un modèle en une seule étape manque encore certains éléments clés. Nous prévoyons poursuivre la lecture d'autres documents et mener d'autres expériences.

Augmenter la taille du modèle serait probablement la solution la plus efficace. Notre prochain défi est de satisfaire ces exigences tout en conservant un nombre limité de paramètres.

Comme indiqué plus haut, une solution en deux étapes permet déjà de résoudre ce problème de manière fiable dans presque tous les cas. Pour une application exigeante, nous recommandons donc un modèle en deux étapes, qui évite de nombreuses difficultés inutiles.