{"notes":[{"id":"model-evaluation/low-cer-not-enough","category":"model-evaluation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Low CER","subtitle":"Bonnes lettres, mauvaise personne","author":"Z. Yuan","paperDate":"2026-07-27","publishedOn":"2026-10-20","paperTitle":"When Low CER is Not Enough: An Analysis of Hallucinations in Vision-Language OCR Systems on Historical Uruguayan Documents","paperUrl":"https://arxiv.org/abs/2607.24077","bibliography":{"title":"When Low CER is Not Enough: An Analysis of Hallucinations in Vision-Language OCR Systems on Historical Uruguayan Documents","authors":["Marina Gardella","Camilo Mariño","Diego Belzarena","Ignacio Ramírez","Gregory Randall","Jean-Michel Morel"],"url":"https://arxiv.org/abs/2607.24077","pdfUrl":"https://arxiv.org/pdf/2607.24077v3","codeUrl":null,"preprint":{"id":"2607.24077","submittedOn":"2026-07-27","url":"https://arxiv.org/abs/2607.24077"},"publication":null,"citation":"@misc{modelevaluationlowcernotenough2026,\n  title = {{When Low CER is Not Enough: An Analysis of Hallucinations in Vision-Language OCR Systems on Historical Uruguayan Documents}},\n  author = {Marina Gardella and Camilo Mariño and Diego Belzarena and Ignacio Ramírez and Gregory Randall and Jean-Michel Morel},\n  year = {2026},\n  eprint = {2607.24077},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2607.24077}\n}\n","citationPath":"/content/papers/citations/model-evaluation/low-cer-not-enough.4bc2c3f3a7aa.bib"},"thumbnail":{"src":"/content/papers/assets/69d3b045d2c8e7ad52c47a644f8a12435a94a4fb2733c7d1af66965f5c005a49.png","width":1022,"height":261},"locale":"fr","path":"/content/papers/fr/model-evaluation/low-cer-not-enough.0b2352d0f2d9.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"le-jeu-de-données-berrutti","text":"Le jeu de données Berrutti","depth":3},{"id":"systèmes-évalués","text":"Systèmes évalués","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"selon-les-indicateurs-standard-les-vlm-gagnent","text":"Selon les indicateurs standard, les VLM gagnent","depth":3},{"id":"page-par-page-quatre-types-déchec","text":"Page par page : quatre types d'échec","depth":3},{"id":"pourquoi-les-indicateurs-standard-ne-le-voient-pas","text":"Pourquoi les indicateurs standard ne le voient pas","depth":3},{"id":"les-recommandations-des-auteurs","text":"Les recommandations des auteurs","depth":3},{"id":"à-garder-en-tête-en-lisant-cet-article","text":"À garder en tête en lisant cet article","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[]}],"text":"Une transcription d'archive avec un taux d'erreur par caractère de 2 % seulement. Cela semble excellent.\n\nMais si ces quelques caractères erronés transforment justement un nom de personne en un autre ?\n\nPour les historiens, les archivistes et les enquêteurs des droits humains, une transcription fait partie des preuves. Un nom mal recopié peut effacer une personne des registres, ou en faire apparaître une autre là où elle n'a rien à faire. Ce genre d'erreur ne pèse presque rien dans le taux d'erreur par caractère.\n\nCet article vient de la faculté d'ingénierie de l'Universidad de la República, en Uruguay, ainsi que de l'université Paris-Saclay, du Centre Borelli de l'ENS Paris-Saclay et d'autres institutions. À partir d'archives de la dictature militaire uruguayenne, il examine en détail où se trompent les transcriptions produites par des VLM. Déposé sur arXiv le 27 juillet 2026, il a été accepté à ADAPDA 2026 ; cette note suit la v3 du 17 septembre.\n\n## Définir le problème\n\nLes indicateurs standard de l'OCR sont le **taux d'erreur par caractère** (CER) et le **taux d'erreur par mot** (WER) : le nombre de caractères ou de mots à ajouter, supprimer ou modifier pour transformer la sortie en bonne réponse, divisé par la longueur totale.\n\nCes deux indicateurs traitent toutes les erreurs de la même façon. Les erreurs de l'OCR traditionnel sont surtout des lettres mal vues ; pour elles, ce mode de calcul convient bien.\n\nLes VLM, c'est autre chose. Ils génèrent un texte fluide et plausible, même quand l'image n'apporte pas assez d'indices. Les auteurs énumèrent quelques cas typiques : compléter d'après le contexte, rendre l'orthographe plus « correcte », remplacer un mot par un autre de sens voisin mais différent, ajouter du contenu absent de l'original. Les noms de personnes et les dates, difficiles à déduire du contexte, sont les plus exposés à ce type d'erreur, qui pèse pourtant très peu sur le CER et le WER.\n\n## Résoudre le problème\n\n### Le jeu de données Berrutti\n\nLes archives Berrutti sont un ensemble de microfilms de plus de 3 millions de pages, produites pour la plupart sous la dictature militaire uruguayenne (1973 à 1985). Il s'agit surtout de rapports dactylographiés d'administrations, souvent annotés à la main. C'est une source importante pour les enquêtes locales sur les droits humains et pour la justice transitionnelle.\n\nLes images sont numérisées directement depuis les microfilms, en noir et blanc binarisé, avec de vraies dégradations : bruit important, éléments visuels superposés, défauts de numérisation.\n\nL'institution nationale uruguayenne des droits humains a autorisé la publication de 175 de ces images pour la recherche. Les documents ont été examinés manuellement, et la sélection a exclu les données personnelles sensibles. Vu la nature de ces archives, les auteurs n'évaluent que des modèles exécutables en local, sans envoyer les images à des services externes.\n\n### Systèmes évalués\n\n- **OCR traditionnels** : PP-OCRv5, EasyOCR, DocTR, Tesseract.\n- **VLM spécialisés en OCR** : Surya-OCR, HunyuanOCR, MinerU2.5-Pro, Chandra-OCR 2, GLM-OCR, Qianfan-OCR, dots.mocr, dots.ocr, PaddleOCR-VL 1.5, DeepSeek-OCR 2.\n- **VLM généralistes** : Qwen 3.6 (35B, en mode standard et en mode raisonnement), Gemma 4 (31B), MiniCPM-V 4.5.\n\nTous les modèles qui acceptent un prompt personnalisé reçoivent la même consigne, très explicite : produire le texte brut dans l'ordre de lecture ; conserver l'orthographe, les accents, la casse, la ponctuation, les abréviations et les dates d'origine ; **ne pas corriger, ne pas développer les abréviations, ne pas inventer le texte manquant** ; écrire `[ilegible]` (« illisible » en espagnol) uniquement quand un passage est vraiment illisible.\n\n## Discussion\n\n### Selon les indicateurs standard, les VLM gagnent\n\n[![Taux d'erreur par caractère et par mot des 18 systèmes sur le jeu Berrutti, en moyenne et en médiane ; Qwen 3.6 en mode raisonnement a le CER médian le plus bas, 1,72 %, et les OCR traditionnels Tesseract et EasyOCR les taux d'erreur les plus élevés](/content/papers/assets/ead582db9180192c38b48f732e13de82c3082a8d1b67f47e4b8a9cd3876d75dc.png)](/content/papers/assets/ead582db9180192c38b48f732e13de82c3082a8d1b67f47e4b8a9cd3876d75dc.png)\n\n*Table 1 de l'article, extraite de la [**page 7 du PDF v3**](https://arxiv.org/pdf/2607.24077v3#page=7). En gras, le meilleur résultat de chaque colonne ; l'astérisque signale le mode raisonnement.*\n\nCommençons par les deux colonnes de médianes. Qwen 3.6 en mode raisonnement obtient un CER médian de 1,72 % et un WER médian de 5,01 %, les plus bas du tableau. Parmi les OCR traditionnels, le meilleur, DocTR, a un CER médian de 5,74 % ; Tesseract, de 11,86 %.\n\nRegardons ensuite l'écart entre moyenne et médiane. Le CER moyen de Qwen 3.6 en mode raisonnement est de 11,17 %, plus de six fois sa médiane. Selon les auteurs, ces modèles transcrivent très bien la plupart des documents, mais échouent parfois sur un document entier ; quelques pages suffisent alors à tirer la moyenne vers le haut.\n\nÀ ne regarder que ce tableau, la conclusion est simple : les VLM font nettement mieux que l'OCR traditionnel.\n\n### Page par page : quatre types d'échec\n\nLes auteurs examinent ensuite les sorties page par page et dégagent quatre types d'échec récurrents.\n\n**1. Transcription incomplète.** Le modèle ne transcrit parfois qu'une partie du document, en omettant des passages entiers au début, à la fin ou au milieu ; parfois, la transcription s'interrompt en cours de route sans que la génération s'arrête, et la sortie dégénère en répétition sans fin.\n\n**2. Normalisation orthographique.** Certaines fautes d'orthographe de l'original sont corrigées en silence par le modèle, et de manière incohérente : un même modèle corrige une faute et en laisse passer une autre. DocTR, un OCR traditionnel, recopie au contraire l'orthographe fautive. Les auteurs rappellent aussi qu'un OCR traditionnel qui recopie les fautes peut tout de même mal lire d'autres lettres, et modifier ainsi l'original lui aussi. Par ailleurs, Surya corrige rarement l'orthographe, mais quand l'image est ambiguë, il a tendance à lire des mots anglais plutôt qu'espagnols.\n\n**3. Contenu parasite.** C'est le plus dangereux.\n\n[![Une zone rendue totalement illisible par la dégradation, dont l'original est « y se ▒▒▒ hasta la muerte » ; MinerU, Qwen 3.6, Chandra, GLM-OCR, DeepSeek, Hunyuan, Qianfan et d'autres comblent le blanc avec des mots différents : de la de la, llega, mueren, ha manifestada, sigue, mata, etc.](/content/papers/assets/69d3b045d2c8e7ad52c47a644f8a12435a94a4fb2733c7d1af66965f5c005a49.png)](/content/papers/assets/69d3b045d2c8e7ad52c47a644f8a12435a94a4fb2733c7d1af66965f5c005a49.png)\n\n*Fig. 7 de l'article, extraite de la [**page 11 du PDF v3**](https://arxiv.org/pdf/2607.24077v3#page=11). En haut, la zone d'image ; en bas, les sorties des modèles ; en rouge, le contenu absent de l'original.*\n\nSur la ligne du haut, le mot du milieu est devenu totalement illisible ; seul reste ce qui l'entoure : « y se …… hasta la muerte ». Les sorties varient d'un modèle à l'autre : llega pour l'un, mueren pour un autre, sigue ou mata pour d'autres encore.\n\nCette figure montre deux choses. D'abord, alors que le prompt exige explicitement `[ilegible]` en cas d'illisibilité, les modèles choisissent quand même de produire un mot. Ensuite, sur une même zone, des modèles différents produisent des mots différents : ces mots viennent manifestement de l'a priori linguistique, et non de l'image.\n\nLes auteurs relèvent un problème semblable dans des listes de noms : même quand l'écriture est nette, un VLM peut ajouter des noms absents de l'original. Pour une application d'extraction d'information ou de construction de graphe de connaissances, cela revient à créer de toutes pièces des fiches de personnes.\n\n**4. Substitutions et insertions sémantiques.** Le modèle remplace un mot par un autre, de sens différent mais grammaticalement plausible, en **conservant souvent le type d'entité** : un nom de personne devient un autre nom de personne, un nom de pays un autre nom de pays.\n\nLes auteurs soulignent que ces erreurs surviennent pour la plupart là où l'image est nette et lisible. Elles ne doivent rien à la dégradation : c'est le modèle qui s'écarte de l'original en générant. Le mot de remplacement est généralement proche de l'original, graphiquement comme linguistiquement ; le CER et le WER n'augmentent donc que très peu, alors que le sens de la phrase a déjà changé.\n\n### Pourquoi les indicateurs standard ne le voient pas\n\nLe CER et le WER comptent seulement « combien de caractères changer », sans se soucier desquels. Remplacer une virgule par un point et remplacer un nom de personne par un autre peuvent coûter la même chose à l'indicateur.\n\nLes erreurs de l'OCR traditionnel ont en général l'air d'erreurs : lettres de travers, mots incompréhensibles ; le lecteur s'arrête et va vérifier l'original. Celles des VLM ont souvent l'air parfaitement correctes, et se lisent même plus facilement que l'original.\n\n### Les recommandations des auteurs\n\nLa conclusion propose plusieurs pistes :\n\n1. **Une évaluation ciblée** : annoter spécifiquement les unités d'information clés comme les noms de personnes, les dates et les identifiants, et les noter à part, pour distinguer les « petites différences d'orthographe » des « erreurs sémantiques graves ».\n2. **L'estimation de l'incertitude** : la génération d'un VLM repose par nature sur des probabilités ; on pourrait étudier si le contenu ajouté ou substitué correspond à une incertitude mesurable, puis s'en servir pour filtrer ou signaler ces passages.\n3. **La combinaison de plusieurs systèmes** : d'après les exemples, l'OCR traditionnel et les VLM semblent se tromper à des endroits et dans des situations différents ; combiner les sorties de plusieurs systèmes pourrait améliorer les choses. Les auteurs précisent que ce point demande encore à être confirmé par d'autres expériences.\n\n### À garder en tête en lisant cet article\n\n1. **Peu de données.** 175 images, issues d'un seul fonds d'archives et d'une seule langue, et de surcroît des microfilms binarisés, très éloignés des numérisations courantes.\n2. **L'analyse des modes d'échec est qualitative.** L'article illustre les quatre types d'erreur par de nombreux exemples, sans donner la fréquence de chacun.\n3. **Seuls des modèles locaux sont testés.** Les services cloud ont été écartés pour des raisons de confidentialité ; l'article ne dit pas si ses conclusions valent pour des modèles commerciaux comme GPT ou Gemini.\n\n## Conclusion\n\nCet article nous rappelle qu'« avoir un meilleur score » et « transcrire de façon plus fiable » sont deux choses distinctes :\n\n1. **Selon le CER et le WER, les VLM l'emportent nettement.** Le CER médian de Qwen 3.6 en mode raisonnement n'est que de 1,72 %.\n2. **Page par page, les VLM font des erreurs que l'OCR traditionnel ne fait pas** : passages omis, répétitions, orthographe corrigée, mots inventés là où rien n'est lisible, noms de personnes remplacés par d'autres.\n3. **Ces erreurs coûtent peu dans les indicateurs**, mais peuvent coûter très cher en recherche archivistique.\n\nPour toute application qui traite les résultats d'OCR comme des registres ou des preuves, l'article donne un conseil très concret : isoler les champs qui comptent vraiment et les évaluer séparément ; et faire de « illisible » une réponse respectée.\n","imageSizes":{"/content/papers/assets/ead582db9180192c38b48f732e13de82c3082a8d1b67f47e4b8a9cd3876d75dc.png":{"width":1000,"height":672},"/content/papers/assets/69d3b045d2c8e7ad52c47a644f8a12435a94a4fb2733c7d1af66965f5c005a49.png":{"width":1022,"height":261}}}