{"notes":[{"id":"model-evaluation/low-cer-not-enough","category":"model-evaluation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Low CER","subtitle":"字对了，人错了","author":"Z. Yuan","paperDate":"2026-07-27","publishedOn":"2026-10-20","paperTitle":"When Low CER is Not Enough: An Analysis of Hallucinations in Vision-Language OCR Systems on Historical Uruguayan Documents","paperUrl":"https://arxiv.org/abs/2607.24077","bibliography":{"title":"When Low CER is Not Enough: An Analysis of Hallucinations in Vision-Language OCR Systems on Historical Uruguayan Documents","authors":["Marina Gardella","Camilo Mariño","Diego Belzarena","Ignacio Ramírez","Gregory Randall","Jean-Michel Morel"],"url":"https://arxiv.org/abs/2607.24077","pdfUrl":"https://arxiv.org/pdf/2607.24077v3","codeUrl":null,"preprint":{"id":"2607.24077","submittedOn":"2026-07-27","url":"https://arxiv.org/abs/2607.24077"},"publication":null,"citation":"@misc{modelevaluationlowcernotenough2026,\n  title = {{When Low CER is Not Enough: An Analysis of Hallucinations in Vision-Language OCR Systems on Historical Uruguayan Documents}},\n  author = {Marina Gardella and Camilo Mariño and Diego Belzarena and Ignacio Ramírez and Gregory Randall and Jean-Michel Morel},\n  year = {2026},\n  eprint = {2607.24077},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2607.24077}\n}\n","citationPath":"/content/papers/citations/model-evaluation/low-cer-not-enough.4bc2c3f3a7aa.bib"},"thumbnail":{"src":"/content/papers/assets/69d3b045d2c8e7ad52c47a644f8a12435a94a4fb2733c7d1af66965f5c005a49.png","width":1022,"height":261},"locale":"zh-hans","path":"/content/papers/zh-hans/model-evaluation/low-cer-not-enough.6715217a5741.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"berrutti-数据集","text":"Berrutti 数据集","depth":3},{"id":"受测系统","text":"受测系统","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"用标准指标看vlm-赢","text":"用标准指标看：VLM 赢","depth":3},{"id":"逐页读下去四种失败","text":"逐页读下去：四种失败","depth":3},{"id":"为什么标准指标看不到","text":"为什么标准指标看不到","depth":3},{"id":"作者的建议","text":"作者的建议","depth":3},{"id":"读这篇时要知道的事","text":"读这篇时要知道的事","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[]}],"text":"一份档案的转录稿，字符错误率只有 2%。听起来很不错。\n\n可是，如果错的那几个字符，刚好把一个人名换成了另一个人名呢？\n\n对历史学家、档案管理员与人权调查者来说，转录稿是证据的一部分。抄错一个名字，可能让一个人从记录上消失，或者让另一个人出现在不该出现的地方。这类错误在字符错误率里只占一点点。\n\n这篇论文来自乌拉圭共和国大学工程学院，以及法国巴黎-萨克雷大学、ENS Paris-Saclay 的 Centre Borelli 等机构，用乌拉圭军事独裁时期的档案，仔细检查 VLM 转录出来的文字到底错在哪里。论文 2026 年 7 月 27 日上传 arXiv，已被 ADAPDA 2026 研讨会接收，本文依据 9 月 17 日的 v3 阅读。\n\n## 定义问题\n\nOCR 的标准指标是**字符错误率**（CER）与**词错误率**（WER），也就是要增、删、改几个字符或单词，才能把输出变成正确答案，再除以总长度。\n\n这两个指标对所有错误一视同仁。传统 OCR 的错大多是看错字母，这样算没什么问题。\n\nVLM 不一样。即使图像上没有足够的证据，它生成的文字也通顺合理。作者列出了几种典型情况：根据上下文补全、把拼写改得更「正确」、把一个词换成意思相近却不同的词、加上原文没有的内容。人名与日期很难靠上下文推断，最容易出这种错，对 CER、WER 的影响却很小。\n\n## 解决问题\n\n### Berrutti 数据集\n\nBerrutti 档案是一批超过 300 万页的缩微胶卷，大多形成于乌拉圭军事独裁时期（1973 到 1985 年），主要是政府机关的打字报告，常带有手写批注。它是当地人权调查与转型正义的重要材料。\n\n图像直接从缩微胶卷扫描成黑白二值图，带着真实的退化：严重的噪声、重叠的视觉元素、扫描缺陷。\n\n乌拉圭国家人权机构授权公开其中 175 张图像供研究使用。这些文件经过人工审查，挑选时排除了敏感的个人信息。由于档案本身的性质，作者只评测能在本地运行的模型，不把图像发送给外部服务。\n\n### 受测系统\n\n- **传统 OCR**：PP-OCRv5、EasyOCR、DocTR、Tesseract。\n- **OCR 专用 VLM**：Surya-OCR、HunyuanOCR、MinerU2.5-Pro、Chandra-OCR 2、GLM-OCR、Qianfan-OCR、dots.mocr、dots.ocr、PaddleOCR-VL 1.5、DeepSeek-OCR 2。\n- **通用 VLM**：Qwen 3.6（35B，普通模式与推理模式）、Gemma 4（31B）、MiniCPM-V 4.5。\n\n可以自定义提示词的模型，都用同一段指令。内容很明确：按阅读顺序输出纯文本；保留原本的拼写、重音符号、大小写、标点、缩写与日期；**不要更正、不要展开缩写、不要捏造缺失的文字**；真的读不出来时，才写 `[ilegible]`（西班牙文的「无法辨认」）。\n\n## 讨论\n\n### 用标准指标看：VLM 赢\n\n[![Berrutti 数据集上 18 个系统的字符错误率与词错误率，各给出平均值与中位数；Qwen 3.6 推理模式的中位数 CER 1.72% 最低，传统 OCR 中的 Tesseract 与 EasyOCR 错误率最高](/content/papers/assets/ead582db9180192c38b48f732e13de82c3082a8d1b67f47e4b8a9cd3876d75dc.png)](/content/papers/assets/ead582db9180192c38b48f732e13de82c3082a8d1b67f47e4b8a9cd3876d75dc.png)\n\n*原论文 Table 1，取自 [**v3 PDF 第 7 页**](https://arxiv.org/pdf/2607.24077v3#page=7)。粗体为各列最佳；星号表示推理模式。*\n\n先看中位数那两列。Qwen 3.6 的推理模式，CER 中位数 1.72%、WER 中位数 5.01%，都是全表最低。传统 OCR 里最好的 DocTR，CER 中位数 5.74%；Tesseract 是 11.86%。\n\n再看平均值与中位数的差距。Qwen 3.6 推理模式的 CER 平均值是 11.17%，是中位数的六倍多。作者的解读是：这些模型在大多数文件上转录得很准，但偶尔会整份失败，少数几页就把平均值拉高了。\n\n只看这张表，结论很简单：VLM 明显比传统 OCR 好。\n\n### 逐页读下去：四种失败\n\n作者接着逐页检查输出，整理出四种反复出现的失败。\n\n**一、转录不完整**。模型有时只转录一部分，开头、结尾或中间整段漏掉；有时转录到一半就断了，生成却没有停下，变成一直重复的退化输出。\n\n**二、拼写规范化**。原文里的拼写错误，有些被模型默默改正了，而且改得不一致：同一个模型，改了这个错字，却留下了另一个。传统的 DocTR 则照着错误的拼写抄。作者也提醒，照抄错字的传统 OCR 仍然会看错其他字母，同样会改变原文。另外，Surya 虽然很少改拼写，但在图像含糊时，倾向于把字读成英文单词，而不是西班牙文。\n\n**三、凭空增添内容**。这是最危险的一种。\n\n[![一块因退化而完全读不出的区域，原文为「y se ▒▒▒ hasta la muerte」；MinerU、Qwen 3.6、Chandra、GLM-OCR、DeepSeek、Hunyuan、Qianfan 等模型分别在空白处填入 de la de la、llega、mueren、ha manifestada、sigue、mata 等不同的词](/content/papers/assets/69d3b045d2c8e7ad52c47a644f8a12435a94a4fb2733c7d1af66965f5c005a49.png)](/content/papers/assets/69d3b045d2c8e7ad52c47a644f8a12435a94a4fb2733c7d1af66965f5c005a49.png)\n\n*原论文 Fig. 7，取自 [**v3 PDF 第 11 页**](https://arxiv.org/pdf/2607.24077v3#page=11)。上方是图像区域，下方是各模型的输出，红字为原文没有的内容。*\n\n上方那一行，中间的字已经完全看不出来，只剩前后的「y se …… hasta la muerte」。各模型的输出各不相同：有的填 llega，有的填 mueren，有的填 sigue，有的填 mata。\n\n这张图说明了两件事。第一，提示词明确要求读不出来时写 `[ilegible]`，模型还是选择生成一个词。第二，不同模型在同一块区域生成了不同的词，这些词显然来自语言先验，而不是图像。\n\n作者还在姓名清单里看到类似的问题：即使字迹清楚，VLM 也可能多加几个原文没有的名字。对要做信息抽取、构建知识图谱的应用来说，这等于凭空多出几条人物记录。\n\n**四、语义替换与插入**。模型把某个词换成另一个意思不同、但语法上说得通的词，而且常常**保留实体的类型**：人名换成另一个人名，国名换成另一个国名。\n\n作者特别指出，这些错误大多发生在图像清晰可读的地方，与退化无关，是模型在生成时偏离了原文。换上去的词通常在字形和语言上都接近原词，所以 CER、WER 只增加一点点，句子的意思却已经变了。\n\n### 为什么标准指标看不到\n\nCER 与 WER 只算「改了几个字符」，不管改的是哪个字符。把逗号换成句号，和把一个人名换成另一个人名，在指标上可能是同样的代价。\n\n传统 OCR 的错，大多一看就像错：字母歪了、单词拼不出来，读者会停下来查原件。VLM 的错常常看起来完全正确，读起来甚至比原文更通顺。\n\n### 作者的建议\n\n结论一节提出了几个方向：\n\n1. **针对性评估**：把人名、时间、标识码这些关键信息单元专门标注出来，单独评分，区分「拼写上的小差异」与「语义上的严重错误」。\n2. **不确定性估计**：VLM 生成时本来就带有概率，可以研究凭空增添或被替换的内容，是否对应着可以测量的不确定性，再用它来过滤或标记。\n3. **多系统组合**：从例子看来，传统 OCR 和 VLM 似乎在不同的地方、不同的情况下出错，结合多个系统的输出也许能有所改善。作者也说，这一点还需要更多实验来确认。\n\n### 读这篇时要知道的事\n\n1. **数据量小**。175 张图像，来自单一档案、单一语言，而且是二值化的缩微胶卷，和一般的扫描文件差别很大。\n2. **失败模式的分析是定性的**。论文用大量例子说明四种错误，但没有给出每种错误的发生频率。\n3. **只测了本地模型**。出于隐私考虑排除了云服务，结论是否适用于 GPT、Gemini 这类商用模型，论文没有回答。\n\n## 结论\n\n这篇论文提醒我们，「分数比较好」和「转录比较可靠」是两回事：\n\n1. **以 CER、WER 来看，VLM 明显胜出**。Qwen 3.6 推理模式的 CER 中位数只有 1.72%。\n2. **逐页看，VLM 有传统 OCR 没有的错**：漏段、重复、拼写被改正、读不出的地方被填上字、人名被换成另一个人名。\n3. **这些错在指标上很便宜**，在档案研究里却可能代价高昂。\n\n对任何把 OCR 结果当作记录或证据的应用，这篇的建议很实际：把真正重要的字段挑出来，单独评估；让「读不出来」成为一个被尊重的答案。\n","imageSizes":{"/content/papers/assets/ead582db9180192c38b48f732e13de82c3082a8d1b67f47e4b8a9cd3876d75dc.png":{"width":1000,"height":672},"/content/papers/assets/69d3b045d2c8e7ad52c47a644f8a12435a94a4fb2733c7d1af66965f5c005a49.png":{"width":1022,"height":261}}}