{"notes":[{"id":"model-evaluation/low-cer-not-enough","category":"model-evaluation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Low CER","subtitle":"字對了，人錯了","author":"Z. Yuan","paperDate":"2026-07-27","publishedOn":"2026-10-20","paperTitle":"When Low CER is Not Enough: An Analysis of Hallucinations in Vision-Language OCR Systems on Historical Uruguayan Documents","paperUrl":"https://arxiv.org/abs/2607.24077","bibliography":{"title":"When Low CER is Not Enough: An Analysis of Hallucinations in Vision-Language OCR Systems on Historical Uruguayan Documents","authors":["Marina Gardella","Camilo Mariño","Diego Belzarena","Ignacio Ramírez","Gregory Randall","Jean-Michel Morel"],"url":"https://arxiv.org/abs/2607.24077","pdfUrl":"https://arxiv.org/pdf/2607.24077v3","codeUrl":null,"preprint":{"id":"2607.24077","submittedOn":"2026-07-27","url":"https://arxiv.org/abs/2607.24077"},"publication":null,"citation":"@misc{modelevaluationlowcernotenough2026,\n  title = {{When Low CER is Not Enough: An Analysis of Hallucinations in Vision-Language OCR Systems on Historical Uruguayan Documents}},\n  author = {Marina Gardella and Camilo Mariño and Diego Belzarena and Ignacio Ramírez and Gregory Randall and Jean-Michel Morel},\n  year = {2026},\n  eprint = {2607.24077},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2607.24077}\n}\n","citationPath":"/content/papers/citations/model-evaluation/low-cer-not-enough.4bc2c3f3a7aa.bib"},"thumbnail":{"src":"/content/papers/assets/69d3b045d2c8e7ad52c47a644f8a12435a94a4fb2733c7d1af66965f5c005a49.png","width":1022,"height":261},"locale":"zh-hant","path":"/content/papers/zh-hant/model-evaluation/low-cer-not-enough.d6989c2e746f.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"berrutti-資料集","text":"Berrutti 資料集","depth":3},{"id":"受測系統","text":"受測系統","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"用標準指標看vlm-贏","text":"用標準指標看：VLM 贏","depth":3},{"id":"逐頁讀下去四種失敗","text":"逐頁讀下去：四種失敗","depth":3},{"id":"為什麼標準指標看不到","text":"為什麼標準指標看不到","depth":3},{"id":"作者的建議","text":"作者的建議","depth":3},{"id":"讀這篇時要知道的事","text":"讀這篇時要知道的事","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[]}],"text":"一份檔案的轉錄稿，字元錯誤率只有 2%。聽起來很好。\n\n可是如果錯的那幾個字元，剛好把一個人名換成另一個人名呢？\n\n對歷史學家、檔案管理員與人權調查者來說，轉錄稿是證據的一部分。抄錯一個名字，可能讓一個人從紀錄上消失，或者讓另一個人出現在不該出現的地方。這類錯誤在字元錯誤率上只佔一點點。\n\n這篇論文來自烏拉圭共和國大學工學院，以及法國巴黎-薩克雷大學、ENS Paris-Saclay 的 Centre Borelli 等單位，用烏拉圭軍事獨裁時期的檔案，仔細檢查 VLM 轉錄出來的文字到底錯在哪裡。論文 2026 年 7 月 27 日上傳 arXiv，已被 ADAPDA 2026 研討會接受，本文依 9 月 17 日的 v3 閱讀。\n\n## 定義問題\n\nOCR 的標準指標是**字元錯誤率**（CER）與**詞錯誤率**（WER），也就是要增刪改幾個字元或單字，才能把輸出變成正確答案，再除以總長度。\n\n這兩個指標把所有錯誤一視同仁。傳統 OCR 的錯多半是看錯字母，這樣算沒什麼問題。\n\nVLM 不一樣。它生成的文字通順合理，即使影像上沒有足夠的證據。作者列出幾種典型的狀況：依上下文補完、把拼字改得更「正確」、把一個詞換成意思相近卻不同的詞、加上原文沒有的內容。人名與日期很難靠上下文推斷，最容易出這種錯，對 CER、WER 的影響卻很小。\n\n## 解決問題\n\n### Berrutti 資料集\n\nBerrutti 檔案是一批超過 300 萬頁的微縮膠卷，大多產生於烏拉圭軍事獨裁時期（1973 到 1985 年），主要是政府機關的打字報告，常帶有手寫註記。它是當地人權調查與轉型正義的重要資料。\n\n影像直接從微縮膠卷掃成黑白二值圖，帶著真實的劣化：嚴重的雜訊、重疊的視覺元素、掃描缺陷。\n\n烏拉圭國家人權機構授權公開其中 175 張影像供研究使用。這些文件經人工審查，挑選時排除了敏感個資。因為檔案本身的性質，作者只評測能在本機執行的模型，不把影像送到外部服務。\n\n### 受測系統\n\n- **傳統 OCR**：PP-OCRv5、EasyOCR、DocTR、Tesseract。\n- **OCR 專用 VLM**：Surya-OCR、HunyuanOCR、MinerU2.5-Pro、Chandra-OCR 2、GLM-OCR、Qianfan-OCR、dots.mocr、dots.ocr、PaddleOCR-VL 1.5、DeepSeek-OCR 2。\n- **通用 VLM**：Qwen 3.6（35B，一般與推理模式）、Gemma 4（31B）、MiniCPM-V 4.5。\n\n可以自訂提示詞的模型，都用同一段指令。內容很明確：照閱讀順序輸出純文字；保留原本的拼字、重音、大小寫、標點、縮寫與日期；**不要更正、不要展開縮寫、不要捏造缺少的文字**；真的讀不出來時，才寫 `[ilegible]`（西班牙文的「無法辨識」）。\n\n## 討論\n\n### 用標準指標看：VLM 贏\n\n[![Berrutti 資料集上 18 個系統的字元錯誤率與詞錯誤率，各給平均值與中位數；Qwen 3.6 推理模式的中位數 CER 1.72% 最低，傳統 OCR 的 Tesseract 與 EasyOCR 錯誤率最高](/content/papers/assets/ead582db9180192c38b48f732e13de82c3082a8d1b67f47e4b8a9cd3876d75dc.png)](/content/papers/assets/ead582db9180192c38b48f732e13de82c3082a8d1b67f47e4b8a9cd3876d75dc.png)\n\n*原論文 Table 1，取自 [**v3 PDF 第 7 頁**](https://arxiv.org/pdf/2607.24077v3#page=7)。粗體為各欄最佳；星號表示推理模式。*\n\n先看中位數那兩欄。Qwen 3.6 的推理模式，CER 中位數 1.72%、WER 中位數 5.01%，都是全表最低。傳統 OCR 裡最好的 DocTR，CER 中位數 5.74%；Tesseract 是 11.86%。\n\n再看平均值與中位數的差距。Qwen 3.6 推理模式的 CER 平均是 11.17%，比中位數高出六倍多。作者的解讀是：這些模型在大多數文件上轉錄得很準，但偶爾會整份失敗，少數幾頁就把平均拉高了。\n\n只看這張表，結論很簡單：VLM 明顯比傳統 OCR 好。\n\n### 逐頁讀下去：四種失敗\n\n作者接著逐頁檢查輸出，整理出四種反覆出現的失敗。\n\n**一、轉錄不完整**。模型有時只轉錄一部分，開頭、結尾或中間整段漏掉；有時轉錄中途斷了，生成卻沒停，變成一直重複的退化輸出。\n\n**二、拼字正規化**。原文裡的拼字錯誤，有些被模型默默改正，而且改得不一致：同一個模型，改了這個錯字，卻留下另一個。傳統的 DocTR 則照著錯的拼字抄。作者也提醒，照錯字抄寫的傳統 OCR 仍然會看錯其他字母，同樣會改變原文。另外，Surya 雖然很少改拼字，但在影像含糊時，傾向把字讀成英文單字，而不是西班牙文。\n\n**三、虛增內容**。這是最危險的一種。\n\n[![一塊因劣化而完全讀不出的區域，原文為「y se ▒▒▒ hasta la muerte」；MinerU、Qwen 3.6、Chandra、GLM-OCR、DeepSeek、Hunyuan、Qianfan 等模型分別在空白處填入 de la de la、llega、mueren、ha manifestada、sigue、mata 等不同的字](/content/papers/assets/69d3b045d2c8e7ad52c47a644f8a12435a94a4fb2733c7d1af66965f5c005a49.png)](/content/papers/assets/69d3b045d2c8e7ad52c47a644f8a12435a94a4fb2733c7d1af66965f5c005a49.png)\n\n*原論文 Fig. 7，取自 [**v3 PDF 第 11 頁**](https://arxiv.org/pdf/2607.24077v3#page=11)。上方是影像區域，下方是各模型的輸出，紅字為原文沒有的內容。*\n\n上方那一行，中間的字已經完全看不出來，只剩前後的「y se …… hasta la muerte」。各模型的輸出各不相同：有的填 llega，有的填 mueren，有的填 sigue，有的填 mata。\n\n這張圖說明了兩件事。第一，提示詞明確要求讀不出來時寫 `[ilegible]`，模型還是選擇生出一個字。第二，不同模型在同一塊區域生出不同的字，這些字顯然來自語言先驗，而不是影像。\n\n作者還在姓名清單裡看到類似的問題：即使字跡清楚，VLM 也可能多加幾個原文沒有的名字。對要做資訊抽取、建立知識圖的應用，這等於憑空多出幾筆人物紀錄。\n\n**四、語意替換與插入**。模型把某個詞換成另一個意思不同、但語法上說得通的詞，而且常常**保留實體的類型**：人名換成另一個人名，國名換成另一個國名。\n\n作者特別指出，這些錯誤多數發生在影像清晰可讀的地方，和劣化無關，是模型在生成時偏離了原文。換掉的字通常在字形和語言上都接近原字，所以 CER、WER 只增加一點點，句子的意思卻已經變了。\n\n### 為什麼標準指標看不到\n\nCER 與 WER 只算「改幾個字元」，不管改的是哪個字元。把逗號換成句號，和把一個人名換成另一個人名，在指標上可能是同樣的代價。\n\n傳統 OCR 的錯，多半看起來就像錯：字母歪了、單字拼不出來，讀者會停下來查原件。VLM 的錯常常看起來完全正確，讀起來甚至比原文更通順。\n\n### 作者的建議\n\n結論一節提出幾個方向：\n\n1. **目標式評估**：把人名、時間、識別碼這些關鍵資訊單元特別標註出來，分開評分，區分「拼字小差異」與「語意上的嚴重錯誤」。\n2. **不確定性估計**：VLM 生成時本來就有機率，可以研究虛增或替換的內容，是否對應到可量測的不確定性，再用它來過濾或標記。\n3. **多系統組合**：從例子看來，傳統 OCR 和 VLM 似乎在不同的地方、不同的情況下出錯，結合多個系統的輸出也許能改善。作者也說，這一點還需要更多實驗確認。\n\n### 讀這篇時要知道的事\n\n1. **資料量小**。175 張影像，來自單一檔案、單一語言，而且是二值化的微縮膠卷，和一般掃描文件差距很大。\n2. **失敗模式的分析是質性的**。論文用大量例子說明四種錯誤，但沒有給出每種錯誤的發生頻率。\n3. **只測本機模型**。基於隱私考量排除了雲端服務，結論是否適用於 GPT、Gemini 這類商用模型，論文沒有回答。\n\n## 結論\n\n這篇論文提醒我們，「分數比較好」和「轉錄比較可靠」是兩件事：\n\n1. **以 CER、WER 來看，VLM 明顯勝出**。Qwen 3.6 推理模式的 CER 中位數只有 1.72%。\n2. **逐頁看，VLM 有傳統 OCR 沒有的錯**：漏段、重複、拼字被改正、讀不出的地方被填上字、人名被換成另一個人名。\n3. **這些錯在指標上很便宜**，在檔案研究上卻可能很昂貴。\n\n對任何把 OCR 結果當成紀錄或證據的應用，這篇的建議很實際：把真正重要的欄位挑出來，單獨評估；讓「讀不出來」成為一個被尊重的答案。\n","imageSizes":{"/content/papers/assets/ead582db9180192c38b48f732e13de82c3082a8d1b67f47e4b8a9cd3876d75dc.png":{"width":1000,"height":672},"/content/papers/assets/69d3b045d2c8e7ad52c47a644f8a12435a94a4fb2733c7d1af66965f5c005a49.png":{"width":1022,"height":261}}}