{"notes":[{"id":"model-evaluation/faithc4","category":"model-evaluation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"FaithC4","subtitle":"热心的校对员","author":"Z. Yuan","paperDate":"2026-05-29","publishedOn":"2026-09-16","paperTitle":"Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models","paperUrl":"https://arxiv.org/abs/2607.21617","bibliography":{"title":"Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models","authors":["Gwang Gook Lee","Kenan Emir Ak","Jay Mohta","Yan Xu","Dimitrios Dimitriadis"],"url":"https://arxiv.org/abs/2607.21617","pdfUrl":"https://arxiv.org/pdf/2607.21617v2","codeUrl":"https://github.com/gwanglee/DoVLMsRead","preprint":{"id":"2607.21617","submittedOn":"2026-05-29","url":"https://arxiv.org/abs/2607.21617"},"publication":null,"citation":"@misc{modelevaluationfaithc42026,\n  title = {{Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models}},\n  author = {Gwang Gook Lee and Kenan Emir Ak and Jay Mohta and Yan Xu and Dimitrios Dimitriadis},\n  year = {2026},\n  eprint = {2607.21617},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2607.21617}\n}\n","citationPath":"/content/papers/citations/model-evaluation/faithc4.b3840dfe13e8.bib"},"thumbnail":{"src":"/content/papers/assets/b3abbe439520c55767dbdc0c5b9cf7cf870e35ff129f6977b59b97671099b945.png","width":1338,"height":338},"locale":"zh-hans","path":"/content/papers/zh-hans/model-evaluation/faithc4.bd81d4e22e96.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"从干净文本开始","text":"从干净文本开始","depth":3},{"id":"15-个系统三个类别","text":"15 个系统，三个类别","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"谁最会校对","text":"谁最会「校对」","depth":3},{"id":"把错误分类","text":"把错误分类","depth":3},{"id":"错误会扩散","text":"错误会扩散","depth":3},{"id":"改写发生在哪一层","text":"改写发生在哪一层","depth":3},{"id":"直接叫它别改有用吗","text":"直接叫它别改，有用吗？","depth":3},{"id":"读这篇时要知道的事","text":"读这篇时要知道的事","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[]}],"text":"给 VLM 看一张图，上面印着「prbolem」。它常常会回答「problem」。\n\n如果你要的是理解内容，这很贴心；如果你要的是**照抄**，这就错了。法律文件、医疗记录、历史手稿，原文写错了，抄本就该照着错的抄。\n\n这有点像人读乱序单词的经验：字母顺序打乱了，我们还是读得懂。这篇来自 Amazon 的论文想量的，就是 VLM 替你「校对」原文的频率有多高，以及这件事发生在哪一层。\n\n论文 2026 年 5 月 29 日首次上传 arXiv，本文依据 9 月 2 日的 v2 阅读。数据集叫 **FaithC4**。\n\n## 定义问题\n\n现有的 OCR 基准，例如 DocVQA、OCRBench、OmniDocBench，用的都是现成的文档图像，内容本身大多是正确的文字。它们能衡量模型读得准不准，却看不出模型在遇到不完美的文字时，是如实照抄，还是默默改正。\n\n作者也把自己和两类相近的研究区分开来：\n\n- 2025 年的 KIE-HVQA 处理的是**被模糊、被遮挡的字**：图像证据不足，考的是模型能不能承认看不清。\n- FaithC4 处理的是**清楚但被改过的字**：图像证据充足，考的是模型会不会用自己的预期盖过看到的东西。\n\n## 解决问题\n\n### 从干净文本开始\n\n[![FaithC4 构建流程：从 C4 取出文本，对单词做打乱、形近替换或随机替换，得到改过的标准答案，渲染成文档图片后交给 VLM 转录](/content/papers/assets/b3abbe439520c55767dbdc0c5b9cf7cf870e35ff129f6977b59b97671099b945.png)](/content/papers/assets/b3abbe439520c55767dbdc0c5b9cf7cf870e35ff129f6977b59b97671099b945.png)\n\n*原论文 Figure 1，取自 [**v2 PDF 第 4 页**](https://arxiv.org/pdf/2607.21617v2#page=4)，CC BY 4.0。示例单词 victory 分别被打乱成 virtcoy、形近替换成 vjctery、随机替换成 xtndovk。*\n\n现成的文档图像没办法控制内容，所以作者反过来做：先拿文本，再改，再渲染。\n\n1. 从多语言版的 C4 网络语料中取出能放进一页的段落：英文 500 篇、中文 500 篇、韩文 455 篇，共 1,455 篇。英文平均每篇 599 个词。\n2. 对至少 4 个字符的单词做扰动，**改过的文本就是标准答案**。\n3. 用 9pt 衬线字体、1.2 倍行距，把它渲染成单页 PDF 图像。\n\n扰动有三种，再加上原文作为对照：\n\n- **打乱（Scramble）**：保留第一个与最后一个字母，中间打乱。victory → virtcoy。\n- **形近（Visual）**：换成长得像的字符。standard → stsndord。\n- **随机（Random）**：每个字符换成同一文字系统里的随机字母。standard → xkpmewqi。\n\n中文没有空格分词，所以以不重叠的四字窗口为单位，只做形近与随机两种；形近字限于共用部首或笔画的字，随机字取自常用字表。\n\n所有语言与条件都校准到大约 **5% 的字符被改动**（实际落在 4.65% 到 5.20%）。这一点很重要：韩文单词很短，如果固定「改几个单词」，韩文被改动的字符会少很多，看起来就会比较稳，这样比较就不公平了。\n\n### 15 个系统，三个类别\n\n- **通用 VLM**：Qwen3.5-4B、Qwen3-VL-4B、InternVL3.5-4B、Gemma4-E4B／E2B、Gemini 3 Flash、Gemini 2.5 Flash、GPT-5.4-mini 等。\n- **OCR 专用 VLM**：olmOCR-2-7B、DeepSeek-OCR-2、MinerU2.5-Pro、LightOnOCR-2-1B、PaddleOCR 等。\n- **传统 OCR**：Tesseract、docTR，逐字符识别。\n\n提示词统一是「把文档里的文字全部提取出来」，不特别提醒有错字，让模型按自己的习惯作答。OCR 专用模型用各自推荐的提示词。主要指标是词错误率（WER），中文改用字符错误率；为了不让「某个模型在某几篇上失败」混进比较，只统计模型在四种条件下都成功处理的文档。\n\n## 讨论\n\n### 谁最会「校对」\n\n以英文来说，三种扰动造成的 WER 增幅：\n\n- **传统 OCR** 最多 0.72 个百分点。\n- **OCR 专用 VLM** 范围很大：MinerU 0.10–0.84、LightOnOCR 0.21–1.40、DeepSeek 0.53–2.47、PaddleOCR 0.64–3.19、olmOCR 0.76–3.42。\n- **通用 VLM** 多数在 0.59–3.44，InternVL3.5-4B 达到 6.90。例外是 Gemini 3 Flash，最多只有 0.23，和传统 OCR 差不多。\n\n作者的解读是：这个排序大致反映了语言先验的强弱。通用 VLM 带着广泛预训练得来的语言知识；OCR 专用模型经过文档微调，先验弱一些；传统 OCR 逐字符识别，几乎没有语言模型可以去「改正」它。\n\n不过，WER 只告诉我们错了多少，没说是怎么错的。\n\n### 把错误分类\n\n作者把打乱条件下读错的那些单词分成四类：\n\n- **改写**：输出正好是没被改过的原词，最直接的「用先验盖过图像」。\n- **接近**：和改过的词相差不超过两次编辑，属于一般 OCR 的噪声。\n- **中等**：至少一半的字符相同。\n- **错误**：和原词、改过的词都不像。\n\n[![FaithC4 Table 5：英文打乱条件下，各系统读错的单词中，改写、接近、中等、错误四类所占的比例，按改写比例排序，从 Tesseract 的 0% 到 olmOCR 的 58.63%](/content/papers/assets/6ee5629d6762f01ca90d6377a05ca400e408a7d765c225326312b95da772db14.png)](/content/papers/assets/6ee5629d6762f01ca90d6377a05ca400e408a7d765c225326312b95da772db14.png)\n\n*原论文 Table 5，取自 [**v2 PDF 第 6 页**](https://arxiv.org/pdf/2607.21617v2#page=6)，CC BY 4.0。每一行加起来为 100%，分母是该系统读错的扰动单词。*\n\n这张表比 WER 有意思得多。\n\n传统 OCR 读错时，从来不是改回原词；它们的错大多属于「接近」，也就是看错了一两个字母。Gemini 3 Flash 也一样。\n\n其他模型就差很多了。InternVL 读错的词里有 46% 是改回了原词；OCR 专用的 LightOn 与 olmOCR 更高，分别是 54% 与 59%。\n\n换句话说，**OCR 专用模型的整体错误比较少，但它们出错的时候，很可能正是在「校对」**。类别只能给个大概，模型之间的差距比类别之间还大。\n\n### 错误会扩散\n\n只改 5% 的字符，影响却不止这 5%。\n\n作者把错误率拆成「被扰动的单词」与「没被扰动的单词」两部分。以 Qwen3-VL 为例，原文的每词错误率是 0.40%；在打乱条件下，**没被扰动**的单词错误率升到 2.93%，约 7.3 倍。Gemini 3 Flash 则是从 0.35% 到 0.41%，约 1.2 倍。\n\n作者在摘要里说，通用 VLM 最多放大到 7.3 倍；不过同一张表上，olmOCR 从 0.42% 升到 3.76%，算下来将近 9 倍。\n\n这带来两条实践上的结论：\n\n1. **不能只看扰动比例来估算代价**。一小部分错字，可能拖累更大范围的输出。\n2. **干净文本上的成绩预测不了这件事**。Gemini 3 Flash 和 Qwen3.5-4B 在原文上的每词错误率都是 0.35%，扰动后的扩散程度却差了好几倍。\n\n### 改写发生在哪一层\n\n最后，作者打开 Qwen3-VL-4B（36 层）看内部。\n\n他们从 500 篇英文文档里各随机挑一个单词，在图上用黄色标出来，请模型「读出标出的那个词」，四种条件共 2,000 组。每组记录两件事：每一层 FFN 输出在原文与扰动版之间的余弦相似度，以及开始生成时，模型的注意力有多少落在那个单词的图像区域上。\n\n结果有三点：\n\n1. **模型看到了**。前 12 层的表示几乎一样，从第 16 层开始逐渐分开，最后一层的相似度：随机 0.321、形近 0.469、打乱 0.602，与扰动破坏字形的程度一致。模型对扰动单词的注意力也比原文高，第 4 层的打乱条件达到 2.14 倍。作者的说法是：模型注意到了扰动，只是没有照着写。\n2. **完全随机的不会被改写**。在单词探测里，打乱有 4.9%、形近有 6.0% 被改回原词，随机替换是 0%：xkpmewqi 不像任何真正的单词，语言先验找不到可以改回去的目标。\n3. **表示变化不大时才会改写**。把打乱的样本按最后一层的相似度分成四组，相似度最低的两组从未被改写，最高的一组改写率为 4.66%。注意力的多少反而和改写无关。\n\n作者还发现，短词更容易被改写：4 到 6 个字母的词最高约 10%，8 个字母以上就急剧下降。短词被打乱后，仍然很像原来的词。\n\n### 直接叫它别改，有用吗？\n\n附录 F 试了最直观的办法：在提示词里明说「这份文档可能有错字、打乱的单词或随机字符串，请完全按原样抄写，不要更正」。\n\n对 Qwen3-VL-4B 与 Qwen3.5-4B，这句话让各种扰动下的 WER 增幅降低了大约三到五成，例如 Qwen3-VL 在打乱条件下从 2.04 降到 1.07 个百分点。代价是模型变得比较保守，原文本身的 WER 反而上升：Qwen3-VL 从 0.29% 升到 0.66%。\n\n再打开思考模式，几乎没有额外帮助。两个模型其实都没有产生实质性的推理内容，Qwen3-VL 没有输出思考 token，Qwen3.5 只给出空的思考块。作者认为，这些模型把 OCR 当成直接的感知任务，不会因为「多想一下」而改善。\n\n### 读这篇时要知道的事\n\n作者在局限性一节列了几点：\n\n1. **只有三种语言**，阿拉伯文、天城文，或者数学、代码等领域，结果可能不同。\n2. **扰动是人为控制的**，和扫描噪声、手写差异、低分辨率这些真实的退化不同。\n3. **文档是合成渲染的**，比真实的扫描件干净得多。\n4. **内部探测只做了 Qwen3-VL-4B 一个模型**，其他架构是否一样，还需要再验证。\n5. **缓解方法只试了提示词与思考模式**，没有测试微调、解码阶段的干预或专门的忠实度训练。\n\n## 结论\n\nFaithC4 把「VLM 会不会替你改字」变成了一个可以测量的问题：\n\n1. **改写普遍存在，但程度因模型而异**。英文 WER 增幅大致是通用 VLM > OCR 专用 VLM > 传统 OCR；Gemini 3 Flash 是通用 VLM 里的例外。\n2. **出错的方式不同**。传统 OCR 出错时是看错字母；不少 VLM 出错时是改回它认得的词，olmOCR 有 59% 的错误属于这一种。\n3. **错误会扩散**。只扰动 5% 的字符，没被扰动的单词错误率也可能升高好几倍。\n4. **模型看到了，只是没照着写**。内部表示显示扰动被察觉到了，改写只在表示和原词很接近时发生。\n\n对工程师来说，最实用的是它的做法：拿一段干净的文本，自己改几个字，再渲染成图，就能测出手上的模型是读者还是校对员。\n","imageSizes":{"/content/papers/assets/b3abbe439520c55767dbdc0c5b9cf7cf870e35ff129f6977b59b97671099b945.png":{"width":1338,"height":338},"/content/papers/assets/6ee5629d6762f01ca90d6377a05ca400e408a7d765c225326312b95da772db14.png":{"width":666,"height":486}}}