{"notes":[{"id":"model-evaluation/faithc4","category":"model-evaluation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"FaithC4","subtitle":"Un correcteur trop zélé","author":"Z. Yuan","paperDate":"2026-05-29","publishedOn":"2026-09-16","paperTitle":"Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models","paperUrl":"https://arxiv.org/abs/2607.21617","bibliography":{"title":"Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models","authors":["Gwang Gook Lee","Kenan Emir Ak","Jay Mohta","Yan Xu","Dimitrios Dimitriadis"],"url":"https://arxiv.org/abs/2607.21617","pdfUrl":"https://arxiv.org/pdf/2607.21617v2","codeUrl":"https://github.com/gwanglee/DoVLMsRead","preprint":{"id":"2607.21617","submittedOn":"2026-05-29","url":"https://arxiv.org/abs/2607.21617"},"publication":null,"citation":"@misc{modelevaluationfaithc42026,\n  title = {{Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models}},\n  author = {Gwang Gook Lee and Kenan Emir Ak and Jay Mohta and Yan Xu and Dimitrios Dimitriadis},\n  year = {2026},\n  eprint = {2607.21617},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2607.21617}\n}\n","citationPath":"/content/papers/citations/model-evaluation/faithc4.b3840dfe13e8.bib"},"thumbnail":{"src":"/content/papers/assets/b3abbe439520c55767dbdc0c5b9cf7cf870e35ff129f6977b59b97671099b945.png","width":1338,"height":338},"locale":"fr","path":"/content/papers/fr/model-evaluation/faithc4.0872ed907c22.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"partir-dun-texte-propre","text":"Partir d'un texte propre","depth":3},{"id":"15-systèmes-trois-catégories","text":"15 systèmes, trois catégories","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"qui-corrige-le-plus","text":"Qui « corrige » le plus ?","depth":3},{"id":"classer-les-erreurs","text":"Classer les erreurs","depth":3},{"id":"les-erreurs-se-propagent","text":"Les erreurs se propagent","depth":3},{"id":"à-quelle-couche-la-réécriture-se-produit-elle","text":"À quelle couche la réécriture se produit-elle ?","depth":3},{"id":"et-si-on-lui-demandait-simplement-de-ne-pas-corriger","text":"Et si on lui demandait simplement de ne pas corriger ?","depth":3},{"id":"à-garder-en-tête-en-lisant-cet-article","text":"À garder en tête en lisant cet article","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[]}],"text":"Montrez à un VLM une image où est imprimé « prbolem ». Il répondra souvent « problem ».\n\nSi vous cherchez à comprendre le contenu, c'est une délicate attention ; si vous voulez une **copie conforme**, c'est une erreur. Documents juridiques, dossiers médicaux, manuscrits historiques : quand l'original contient une faute, la transcription doit la reproduire.\n\nC'est un peu comme notre expérience des mots aux lettres mélangées : même dans le désordre, nous les lisons sans peine. Cet article d'Amazon cherche à mesurer à quelle fréquence un VLM « corrige » l'original à votre place, et à quelle couche du modèle cela se produit.\n\nL'article a été déposé pour la première fois sur arXiv le 29 mai 2026 ; cette note suit la v2 du 2 septembre. Le jeu de données s'appelle **FaithC4**.\n\n## Définir le problème\n\nLes benchmarks d'OCR existants, comme DocVQA, OCRBench ou OmniDocBench, utilisent des images de documents préexistants, dont le contenu est pour l'essentiel du texte correct. Ils mesurent la justesse de la lecture, mais ne révèlent pas si, face à un texte imparfait, le modèle le transcrit fidèlement ou le corrige en silence.\n\nLes auteurs distinguent aussi deux types de travaux voisins :\n\n- KIE-HVQA, en 2025, traite des **caractères flous ou masqués** : les indices visuels sont insuffisants, et l'épreuve consiste à voir si le modèle sait reconnaître qu'il ne voit pas bien.\n- FaithC4 traite des **caractères nets mais modifiés** : les indices visuels suffisent, et l'épreuve consiste à voir si le modèle laisse ses attentes prendre le pas sur ce qu'il voit.\n\n## Résoudre le problème\n\n### Partir d'un texte propre\n\n[![Construction de FaithC4 : du texte est extrait de C4, ses mots sont mélangés, remplacés par des caractères visuellement proches ou par des caractères aléatoires ; la vérité terrain ainsi modifiée est rendue en image de document, puis transcrite par un VLM](/content/papers/assets/b3abbe439520c55767dbdc0c5b9cf7cf870e35ff129f6977b59b97671099b945.png)](/content/papers/assets/b3abbe439520c55767dbdc0c5b9cf7cf870e35ff129f6977b59b97671099b945.png)\n\n*Figure 1 de l'article, extraite de la [**page 4 du PDF v2**](https://arxiv.org/pdf/2607.21617v2#page=4), CC BY 4.0. Le mot d'exemple victory devient virtcoy par mélange, vjctery par substitution visuellement proche, et xtndovk par substitution aléatoire.*\n\nLe contenu des images de documents existantes ne se contrôle pas ; les auteurs prennent donc le problème à l'envers : d'abord le texte, puis les modifications, puis le rendu.\n\n1. Dans la version multilingue du corpus web C4, ils extraient des passages qui tiennent sur une page : 500 en anglais, 500 en chinois et 455 en coréen, soit 1 455 au total. Les textes anglais comptent en moyenne 599 mots.\n2. Les mots d'au moins 4 caractères sont perturbés, et **le texte modifié devient la vérité terrain**.\n3. Le texte est rendu en image PDF d'une page, en police à empattements de 9 pt, avec un interligne de 1,2.\n\nTrois perturbations, plus l'original comme témoin :\n\n- **Mélange (Scramble)** : la première et la dernière lettre restent en place, celles du milieu sont mélangées. victory → virtcoy.\n- **Ressemblance visuelle (Visual)** : des caractères sont remplacés par d'autres qui leur ressemblent. standard → stsndord.\n- **Aléatoire (Random)** : chaque caractère est remplacé par une lettre aléatoire du même système d'écriture. standard → xkpmewqi.\n\nLe chinois ne sépare pas les mots par des espaces : l'unité est donc une fenêtre de quatre caractères sans chevauchement, et seules les perturbations visuelle et aléatoire s'appliquent. Les caractères visuellement proches se limitent à ceux qui partagent une clé ou des traits ; les caractères aléatoires sont tirés d'une liste de caractères courants.\n\nToutes les langues et toutes les conditions sont calibrées pour qu'environ **5 % des caractères soient modifiés** (en pratique, entre 4,65 % et 5,20 %). C'est important : les mots coréens sont très courts ; si l'on fixait le nombre de mots modifiés, le coréen aurait beaucoup moins de caractères modifiés, paraîtrait plus robuste, et la comparaison serait faussée.\n\n### 15 systèmes, trois catégories\n\n- **VLM généralistes** : Qwen3.5-4B, Qwen3-VL-4B, InternVL3.5-4B, Gemma4-E4B/E2B, Gemini 3 Flash, Gemini 2.5 Flash, GPT-5.4-mini, etc.\n- **VLM spécialisés en OCR** : olmOCR-2-7B, DeepSeek-OCR-2, MinerU2.5-Pro, LightOnOCR-2-1B, PaddleOCR, etc.\n- **OCR traditionnels** : Tesseract et docTR, qui reconnaissent caractère par caractère.\n\nLe prompt est le même pour tous, « extraire tout le texte du document », sans signaler la présence de fautes, pour que chaque modèle réponde selon ses habitudes. Les modèles spécialisés en OCR utilisent chacun leur prompt recommandé. L'indicateur principal est le taux d'erreur par mot (WER), remplacé par le taux d'erreur par caractère pour le chinois. Pour que les échecs d'un modèle sur quelques documents ne faussent pas la comparaison, seuls comptent les documents traités avec succès dans les quatre conditions.\n\n## Discussion\n\n### Qui « corrige » le plus ?\n\nEn anglais, voici la hausse du WER provoquée par les trois perturbations :\n\n- **OCR traditionnels** : 0,72 point de pourcentage au maximum.\n- **VLM spécialisés en OCR** : une large fourchette ; MinerU 0,10–0,84, LightOnOCR 0,21–1,40, DeepSeek 0,53–2,47, PaddleOCR 0,64–3,19, olmOCR 0,76–3,42.\n- **VLM généralistes** : pour la plupart entre 0,59 et 3,44, et jusqu'à 6,90 pour InternVL3.5-4B. L'exception est Gemini 3 Flash, à 0,23 au maximum, à peu près comme les OCR traditionnels.\n\nPour les auteurs, ce classement reflète en gros la force de l'a priori linguistique. Les VLM généralistes emportent avec eux les connaissances linguistiques d'un préentraînement très large ; les modèles spécialisés en OCR, affinés sur des documents, ont un a priori un peu plus faible ; les OCR traditionnels reconnaissent caractère par caractère, sans presque aucun modèle de langage susceptible de les « corriger ».\n\nMais le WER dit seulement combien d'erreurs il y a, pas comment elles se produisent.\n\n### Classer les erreurs\n\nLes auteurs répartissent en quatre catégories les mots mal lus dans la condition de mélange :\n\n- **Réécriture** : la sortie est exactement le mot d'origine, non modifié ; c'est la forme la plus directe de « l'a priori qui prend le pas sur l'image ».\n- **Proche** : à deux modifications au plus du mot modifié ; c'est le bruit ordinaire de l'OCR.\n- **Intermédiaire** : au moins la moitié des caractères sont identiques.\n- **Erroné** : ne ressemble ni au mot d'origine, ni au mot modifié.\n\n[![Table 5 de FaithC4 : dans la condition de mélange en anglais, proportion des quatre catégories (réécriture, proche, intermédiaire, erroné) parmi les mots mal lus par chaque système, classée par taux de réécriture, de 0 % pour Tesseract à 58,63 % pour olmOCR](/content/papers/assets/6ee5629d6762f01ca90d6377a05ca400e408a7d765c225326312b95da772db14.png)](/content/papers/assets/6ee5629d6762f01ca90d6377a05ca400e408a7d765c225326312b95da772db14.png)\n\n*Table 5 de l'article, extraite de la [**page 6 du PDF v2**](https://arxiv.org/pdf/2607.21617v2#page=6), CC BY 4.0. Chaque ligne totalise 100 % ; le dénominateur est le nombre de mots perturbés mal lus par le système.*\n\nCe tableau est bien plus intéressant que le WER.\n\nQuand les OCR traditionnels se trompent, ils ne reviennent jamais au mot d'origine ; leurs erreurs sont surtout « proches », c'est-à-dire une ou deux lettres mal vues. C'est aussi le cas de Gemini 3 Flash.\n\nLes autres modèles sont très différents. Chez InternVL, 46 % des mots mal lus sont ramenés au mot d'origine ; chez LightOn et olmOCR, spécialisés en OCR, la part est plus élevée encore : 54 % et 59 % respectivement.\n\nAutrement dit, **les modèles spécialisés en OCR font moins d'erreurs dans l'ensemble, mais quand ils se trompent, c'est très souvent parce qu'ils « corrigent »**. Les catégories ne donnent qu'une tendance : les écarts entre modèles sont plus grands qu'entre catégories.\n\n### Les erreurs se propagent\n\nModifier 5 % des caractères a des effets qui dépassent ces 5 %.\n\nLes auteurs décomposent le taux d'erreur entre « mots perturbés » et « mots non perturbés ». Pour Qwen3-VL, le taux d'erreur par mot sur l'original est de 0,40 % ; dans la condition de mélange, celui des mots **non perturbés** monte à 2,93 %, soit environ 7,3 fois plus. Pour Gemini 3 Flash, on passe de 0,35 % à 0,41 %, environ 1,2 fois.\n\nDans leur résumé, les auteurs indiquent que les VLM généralistes amplifient les erreurs jusqu'à 7,3 fois ; dans le même tableau, olmOCR passe pourtant de 0,42 % à 3,76 %, soit près de 9 fois.\n\nDeux conclusions pratiques en découlent :\n\n1. **On ne peut pas estimer le coût à partir de la seule proportion de perturbations.** Une petite part de fautes peut dégrader une portion bien plus large de la sortie.\n2. **Les résultats sur texte propre ne permettent pas de le prévoir.** Gemini 3 Flash et Qwen3.5-4B ont le même taux d'erreur par mot sur l'original, 0,35 %, mais une fois le texte perturbé, la propagation des erreurs est plusieurs fois plus forte chez l'un que chez l'autre.\n\n### À quelle couche la réécriture se produit-elle ?\n\nEnfin, les auteurs ouvrent Qwen3-VL-4B (36 couches) pour observer son fonctionnement interne.\n\nDans chacun des 500 documents anglais, ils choisissent un mot au hasard, le surlignent en jaune sur l'image et demandent au modèle de « lire le mot surligné » : 2 000 cas au total pour les quatre conditions. Pour chacun, ils relèvent deux choses : la similarité cosinus, à chaque couche, entre la sortie du FFN pour l'original et pour la version perturbée ; et la part de l'attention du modèle qui se porte, au début de la génération, sur les patchs d'image de ce mot.\n\nTrois résultats :\n\n1. **Le modèle a vu.** Les représentations des 12 premières couches sont presque identiques ; elles divergent progressivement à partir de la 16e couche, et la similarité de la dernière couche vaut 0,321 en aléatoire, 0,469 en visuel et 0,602 en mélange, ce qui correspond à l'ampleur des dégâts que chaque perturbation inflige à la forme du mot. L'attention du modèle sur les mots perturbés est aussi plus forte que sur l'original, jusqu'à 2,14 fois en condition de mélange à la 4e couche. Selon les auteurs, le modèle remarque la perturbation ; simplement, il ne la recopie pas.\n2. **L'aléatoire complet n'est jamais réécrit.** Dans cette sonde par mot, 4,9 % des mots mélangés et 6,0 % des mots visuellement modifiés sont ramenés au mot d'origine, contre 0 % pour la substitution aléatoire : xkpmewqi ne ressemble à aucun vrai mot, et l'a priori linguistique ne trouve aucune cible vers laquelle revenir.\n3. **La réécriture ne survient que lorsque la représentation change peu.** Si l'on répartit les échantillons mélangés en quatre groupes selon la similarité de la dernière couche, les deux groupes les moins similaires ne sont jamais réécrits, alors que le plus similaire l'est à 4,66 %. Le niveau d'attention, lui, n'a aucun lien avec la réécriture.\n\nLes auteurs constatent aussi que les mots courts sont plus facilement réécrits : jusqu'à environ 10 % pour les mots de 4 à 6 lettres, avec une chute brutale à partir de 8 lettres. Un mot court mélangé ressemble encore beaucoup à l'original.\n\n### Et si on lui demandait simplement de ne pas corriger ?\n\nL'annexe F essaie la solution la plus intuitive : dire explicitement dans le prompt que « ce document peut contenir des fautes, des mots aux lettres mélangées ou des chaînes aléatoires ; transcrivez-le exactement tel quel, sans corriger ».\n\nPour Qwen3-VL-4B et Qwen3.5-4B, cette phrase réduit d'environ 30 à 50 % la hausse du WER sous toutes les perturbations ; pour Qwen3-VL en condition de mélange, par exemple, elle passe de 2,04 à 1,07 point de pourcentage. En contrepartie, le modèle devient plus prudent, et le WER sur l'original augmente : de 0,29 % à 0,66 % pour Qwen3-VL.\n\nActiver en plus le mode de réflexion n'apporte presque rien. En réalité, aucun des deux modèles ne produit de raisonnement substantiel : Qwen3-VL n'émet aucun token de réflexion, et Qwen3.5 ne fournit qu'un bloc de réflexion vide. Selon les auteurs, ces modèles traitent l'OCR comme une tâche de perception directe, qui ne s'améliore pas en « réfléchissant un peu plus ».\n\n### À garder en tête en lisant cet article\n\nDans la section sur les limites, les auteurs relèvent plusieurs points :\n\n1. **Seulement trois langues** ; l'arabe, la devanagari ou des domaines comme les mathématiques et le code pourraient se comporter autrement.\n2. **Les perturbations sont artificielles et contrôlées**, différentes des dégradations réelles comme le bruit de numérisation, les variations de l'écriture manuscrite ou la basse résolution.\n3. **Les documents sont des rendus synthétiques**, bien plus propres que de vraies numérisations.\n4. **La sonde interne ne porte que sur un seul modèle, Qwen3-VL-4B** ; reste à vérifier si d'autres architectures se comportent de même.\n5. **Seuls le prompt et le mode de réflexion ont été essayés comme remèdes** ; ni l'affinage, ni une intervention au décodage, ni un entraînement dédié à la fidélité n'ont été testés.\n\n## Conclusion\n\nFaithC4 fait de « un VLM corrige-t-il le texte à votre place ? » une question mesurable :\n\n1. **La réécriture est générale, mais son ampleur varie selon le modèle.** En anglais, la hausse du WER suit à peu près l'ordre VLM généralistes > VLM spécialisés en OCR > OCR traditionnels ; Gemini 3 Flash fait exception parmi les VLM généralistes.\n2. **Les erreurs n'ont pas la même nature.** Quand un OCR traditionnel se trompe, il a mal vu une lettre ; beaucoup de VLM, eux, se trompent en revenant à un mot qu'ils connaissent : c'est le cas de 59 % des erreurs d'olmOCR.\n3. **Les erreurs se propagent.** Avec seulement 5 % de caractères perturbés, le taux d'erreur des mots non perturbés peut lui aussi être multiplié plusieurs fois.\n4. **Le modèle a vu ; il n'a simplement pas recopié.** Les représentations internes montrent que la perturbation est détectée ; la réécriture ne se produit que lorsque la représentation reste très proche de celle du mot d'origine.\n\nPour un ingénieur, le plus utile est la méthode : prenez un texte propre, modifiez vous-même quelques mots, rendez-le en image, et vous saurez si votre modèle est un lecteur ou un correcteur.\n","imageSizes":{"/content/papers/assets/b3abbe439520c55767dbdc0c5b9cf7cf870e35ff129f6977b59b97671099b945.png":{"width":1338,"height":338},"/content/papers/assets/6ee5629d6762f01ca90d6377a05ca400e408a7d765c225326312b95da772db14.png":{"width":666,"height":486}}}