Évaluation

Nous utilisons deux mesures pour évaluer le modèle :

Similarité moyenne normalisée de Levenshtein (ANLS)

Cette mesure évalue la similarité entre le texte prédit et le texte de référence.

Il est basé sur la distance d'édition de Levenshtein, qui calcule le nombre minimum d'opérations d'édition (insertion, suppression, remplacement) nécessaires pour transformer le résultat prédit en valeur réelle. La distance est ensuite normalisée à une valeur comprise entre 0 et 1, où une valeur plus élevée indique que la prédiction est plus proche de la valeur réelle.

Par exemple:

  • Texte de référence : hello
  • Texte prédit : helo

Distance de Levenshtein = 1 (il manque un l), d’où le calcul suivant :

ANLS=1−Levenshtein Distancemax⁡(len(ytrue),len(ypred))\text{ANLS} = 1 - \frac{\text{Levenshtein Distance}}{\max(\text{len}(y_{\text{true}}), \text{len}(y_{\text{pred}}))}
  • La similarité normalisée vaut 0.8, ce qui indique une forte ressemblance entre la prédiction et la référence.

Cette mesure est utile en OCR lorsque des erreurs partielles sont acceptables.

Exactitude (Accuracy)

C'est la mesure communément vue pour déterminer la précision globale de reconnaissance du modèle sur une image. Si tout le texte de la prédiction du modèle est correct, l'image est considérée comme « correctement reconnue »; autrement, elle est considérée comme « incorrecte ».

L’exactitude est exprimée en pourcentage : on divise le nombre d’images entièrement reconnues sans erreur par le nombre total d’images de test.

Exemple:

  • Nombre d’images de test : 100
  • Nombre d’images correctement reconnues : 85
  • Exactitude = (85 / 100) × 100% = 85%

Cette métrique est adaptée aux applications nécessitant une précision élevée, comme le traitement des formulaires ou la reconnaissance d'identité, car tout caractère incorrect pourrait affecter la facilité d'utilisation du résultat.

Ensemble de données d'évaluation

L'évaluation du modèle dans le cadre de ce projet est confrontée à des défis importants.

Premièrement, il n'y a pas d'ensemble de données standard disponibles parce qu'il s'agit de données personnelles privées, et personne ne peut fournir ouvertement un tel ensemble de données. Par conséquent, nous avons dû collecter nous-mêmes des données et les annoter, mais l'ensemble de données que nous avons recueillies manque de crédibilité et ne peut pas être considéré comme une norme faisant autorité:

Feriez-vous confiance à une personne qui annonce 100% d’exactitude sur des données qu’elle a elle-même réunies ?

En outre, un ensemble de données bien connu dans ce domaine est MIDV (Mobile Identity Document Video dataset), qui contient notamment des passeports et des titres de séjour lisibles par machine. Il présente toutefois certaines limites :

  1. Données insuffisantes: le jeu MIDV est de taille limitée et repose largement sur des documents synthétiques, qui ne représentent pas toute la diversité des conditions réelles.
  2. Non focalisé sur la reconnaissance MRZ: MIDV comprend divers documents principalement pour la localisation des documents, mais il ne fournit pas d'annotations de localisation et de reconnaissance de texte pour MRZ.

Bien que des annotations du texte MRZ soient présentes dans la version MIDV-2020, les informations de localisation manquent pour constituer le jeu d’évaluation complet recherché ici.

Nous disposons d’un petit jeu de test privé d’environ 300 images de passeports et de titres de séjour, principalement fournies par des proches. Il sert à nos évaluations internes. Pour des raisons de confidentialité, nous ne pouvons pas publier l’ensemble de ces données.

Si vous êtes intéressé, vous pouvez collecter vos propres données et les tester à l'aide de notre modèle.