{"notes":[{"id":"model-evaluation/low-cer-not-enough","category":"model-evaluation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Low CER","subtitle":"字は合っても人違い","author":"Z. Yuan","paperDate":"2026-07-27","publishedOn":"2026-10-20","paperTitle":"When Low CER is Not Enough: An Analysis of Hallucinations in Vision-Language OCR Systems on Historical Uruguayan Documents","paperUrl":"https://arxiv.org/abs/2607.24077","bibliography":{"title":"When Low CER is Not Enough: An Analysis of Hallucinations in Vision-Language OCR Systems on Historical Uruguayan Documents","authors":["Marina Gardella","Camilo Mariño","Diego Belzarena","Ignacio Ramírez","Gregory Randall","Jean-Michel Morel"],"url":"https://arxiv.org/abs/2607.24077","pdfUrl":"https://arxiv.org/pdf/2607.24077v3","codeUrl":null,"preprint":{"id":"2607.24077","submittedOn":"2026-07-27","url":"https://arxiv.org/abs/2607.24077"},"publication":null,"citation":"@misc{modelevaluationlowcernotenough2026,\n  title = {{When Low CER is Not Enough: An Analysis of Hallucinations in Vision-Language OCR Systems on Historical Uruguayan Documents}},\n  author = {Marina Gardella and Camilo Mariño and Diego Belzarena and Ignacio Ramírez and Gregory Randall and Jean-Michel Morel},\n  year = {2026},\n  eprint = {2607.24077},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2607.24077}\n}\n","citationPath":"/content/papers/citations/model-evaluation/low-cer-not-enough.4bc2c3f3a7aa.bib"},"thumbnail":{"src":"/content/papers/assets/69d3b045d2c8e7ad52c47a644f8a12435a94a4fb2733c7d1af66965f5c005a49.png","width":1022,"height":261},"locale":"ja","path":"/content/papers/ja/model-evaluation/low-cer-not-enough.f265348cd646.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"berruttiデータセット","text":"Berruttiデータセット","depth":3},{"id":"評価対象のシステム","text":"評価対象のシステム","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"標準指標で見ればvlmの勝ち","text":"標準指標で見れば、VLMの勝ち","depth":3},{"id":"ページごとに読むと4つの失敗","text":"ページごとに読むと：4つの失敗","depth":3},{"id":"なぜ標準指標には見えないのか","text":"なぜ標準指標には見えないのか","depth":3},{"id":"著者らの提案","text":"著者らの提案","depth":3},{"id":"この論文を読むときの注意点","text":"この論文を読むときの注意点","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[]}],"text":"アーカイブ文書の書き起こしで、文字誤り率がわずか2%。よさそうに聞こえます。\n\nでも、間違えたその数文字が、ちょうど一人の人名を別の人名に変えていたらどうでしょう？\n\n歴史家、アーキビスト、人権調査に携わる人にとって、書き起こしは証拠の一部です。名前を一つ写し間違えれば、ある人が記録から消えたり、別の人がいるはずのない場所に現れたりします。この種の誤りが文字誤り率に占める割合は、ほんのわずかです。\n\nこの論文は、ウルグアイ共和国大学工学部、フランスのパリ＝サクレー大学、ENS Paris-SaclayのCentre Borelliなどによるものです。ウルグアイの軍事独裁期の文書を使い、VLMが書き起こしたテキストがどこで間違っているのかを丁寧に調べています。論文は2026年7月27日にarXivへ投稿され、ADAPDA 2026ワークショップに採択されました。本稿は9月17日のv3に基づきます。\n\n## 問題の定義\n\nOCRの標準的な指標は、**文字誤り率**（CER）と**単語誤り率**（WER）です。出力を正解に変えるのに、文字や単語をいくつ追加・削除・置換する必要があるかを数え、全体の長さで割ったものです。\n\nこの二つの指標は、すべての誤りを同じに扱います。従来型OCRの誤りは文字の見間違いが大半なので、この数え方でも大きな問題はありません。\n\nVLMは違います。画像に十分な証拠がなくても、滑らかでもっともらしいテキストを生成します。著者らは典型的な状況をいくつか挙げています。文脈からの補完、綴りをより「正しく」直すこと、ある語を意味の近い別の語に置き換えること、原文にない内容を加えること。人名や日付は文脈から推測しにくく、この種の誤りが最も起きやすいのに、CERやWERへの影響はごく小さいのです。\n\n## 問題の解決\n\n### Berruttiデータセット\n\nBerruttiアーカイブは300万ページを超えるマイクロフィルムで、大半はウルグアイの軍事独裁期（1973〜1985年）に作られたものです。主に政府機関のタイプ打ちの報告書で、手書きの書き込みがよく付いています。現地の人権調査と移行期正義にとって重要な資料です。\n\n画像はマイクロフィルムから直接、白黒の二値画像としてスキャンされており、実際の劣化を抱えています。激しいノイズ、重なり合う視覚要素、スキャンの欠陥です。\n\nウルグアイの国家人権機関が、そのうち175枚の画像を研究用に公開することを認めました。これらの文書は人手で審査され、選定の際に機微な個人情報を含むものは除かれています。アーカイブの性質上、著者らはローカルで実行できるモデルだけを評価し、画像を外部サービスへ送っていません。\n\n### 評価対象のシステム\n\n- **従来型OCR**：PP-OCRv5、EasyOCR、DocTR、Tesseract。\n- **OCR特化VLM**：Surya-OCR、HunyuanOCR、MinerU2.5-Pro、Chandra-OCR 2、GLM-OCR、Qianfan-OCR、dots.mocr、dots.ocr、PaddleOCR-VL 1.5、DeepSeek-OCR 2。\n- **汎用VLM**：Qwen 3.6（35B、通常モードと推論モード）、Gemma 4（31B）、MiniCPM-V 4.5。\n\nプロンプトを指定できるモデルには、すべて同じ指示を使います。内容は明確です。読み順どおりにプレーンテキストを出力する。元の綴り、アクセント記号、大文字・小文字、句読点、略語、日付を保つ。**訂正しない、略語を展開しない、欠けた文字を捏造しない**。本当に読めないときだけ`[ilegible]`（スペイン語で「判読不能」）と書く。\n\n## 考察\n\n### 標準指標で見れば、VLMの勝ち\n\n[![Berruttiデータセットにおける18システムの文字誤り率と単語誤り率。それぞれ平均値と中央値を示す。Qwen 3.6推論モードの中央値CER 1.72%が最も低く、従来型OCRのTesseractとEasyOCRの誤り率が最も高い](/content/papers/assets/ead582db9180192c38b48f732e13de82c3082a8d1b67f47e4b8a9cd3876d75dc.png)](/content/papers/assets/ead582db9180192c38b48f732e13de82c3082a8d1b67f47e4b8a9cd3876d75dc.png)\n\n*原論文Table 1。[**v3 PDFの7ページ**](https://arxiv.org/pdf/2607.24077v3#page=7)から抜粋。太字は各列の最良値、アスタリスクは推論モードを示します。*\n\nまず中央値の2列を見ます。Qwen 3.6の推論モードは、CERの中央値が1.72%、WERの中央値が5.01%で、どちらも表全体で最低です。従来型OCRで最も良いDocTRはCERの中央値5.74%、Tesseractは11.86%です。\n\n次に、平均値と中央値の差を見ます。Qwen 3.6推論モードのCER平均は11.17%で、中央値の6倍以上です。著者らの解釈では、これらのモデルは大半の文書を正確に書き起こしますが、ときどき文書全体で失敗し、そのわずかなページが平均を押し上げています。\n\nこの表だけを見れば、結論は簡単です。VLMは従来型OCRより明らかに優れています。\n\n### ページごとに読むと：4つの失敗\n\n著者らは続いて出力を1ページずつ確認し、繰り返し現れる失敗を4種類に整理しました。\n\n**1. 不完全な書き起こし**。モデルが一部しか書き起こさず、冒頭、末尾、あるいは途中の段落がまるごと抜けることがあります。書き起こしが途中で途切れても生成は止まらず、同じ内容を繰り返す退化した出力になることもあります。\n\n**2. 綴りの正規化**。原文の綴りの誤りの一部を、モデルが黙って直してしまいます。しかも直し方が一貫しません。同じモデルが、ある誤字は直し、別の誤字はそのまま残します。従来型のDocTRは、誤った綴りのまま写します。著者らは、誤字をそのまま写す従来型OCRもほかの文字は見間違えるので、やはり原文を変えてしまうと注意も促しています。また、Suryaは綴りをめったに直さないものの、画像が不鮮明なときは、スペイン語ではなく英単語として読む傾向があります。\n\n**3. 内容の水増し**。これが最も危険な種類です。\n\n[![劣化で完全に判読できない領域。原文は「y se ▒▒▒ hasta la muerte」。MinerU、Qwen 3.6、Chandra、GLM-OCR、DeepSeek、Hunyuan、Qianfanなどのモデルが、空白部分にde la de la、llega、mueren、ha manifestada、sigue、mataなど、それぞれ異なる語を埋めている](/content/papers/assets/69d3b045d2c8e7ad52c47a644f8a12435a94a4fb2733c7d1af66965f5c005a49.png)](/content/papers/assets/69d3b045d2c8e7ad52c47a644f8a12435a94a4fb2733c7d1af66965f5c005a49.png)\n\n*原論文Fig. 7。[**v3 PDFの11ページ**](https://arxiv.org/pdf/2607.24077v3#page=11)から抜粋。上が画像の領域、下が各モデルの出力で、赤字は原文にない内容です。*\n\n上の行は、中央の語がもう完全に読めず、前後の「y se …… hasta la muerte」だけが残っています。各モデルの出力はまちまちです。llegaを埋めたもの、muerenを埋めたもの、sigueを埋めたもの、mataを埋めたもの。\n\nこの図からは、二つのことがわかります。第一に、読めないときは`[ilegible]`と書くようプロンプトで明確に求めても、モデルは語を生み出すほうを選びました。第二に、異なるモデルが同じ領域に異なる語を生み出しています。これらの語の出どころは、明らかに画像ではなく言語的事前知識（language prior）です。\n\n著者らは人名リストでも、同様の問題を見つけています。筆跡がはっきりしていても、VLMは原文にない名前をいくつか付け加えることがあります。情報抽出やナレッジグラフの構築を行うアプリケーションにとっては、人物の記録が何件か無から湧いて出るのと同じことです。\n\n**4. 意味の置換と挿入**。モデルはある語を、意味は異なるが文法的には通る別の語に置き換えます。しかも**エンティティの種類を保つ**ことがよくあります。人名は別の人名に、国名は別の国名に置き換わります。\n\n著者らが特に指摘するのは、これらの誤りの多くが、画像のはっきり読める箇所で起きていることです。劣化とは関係なく、モデルが生成の途中で原文から外れています。置き換わった語はたいてい字形の面でも言語の面でも元の語に近いので、CERやWERはわずかしか増えません。それでも、文の意味はもう変わっています。\n\n### なぜ標準指標には見えないのか\n\nCERとWERが数えるのは「何文字変えたか」だけで、どの文字を変えたかは問いません。カンマをピリオドに変えることと、ある人名を別の人名に変えることが、指標の上では同じコストになりえます。\n\n従来型OCRの誤りは、たいてい見るからに誤りです。文字が崩れ、単語として綴れていないので、読み手は手を止めて原本を確かめます。VLMの誤りは完全に正しく見えることが多く、原文より滑らかに読めることさえあります。\n\n### 著者らの提案\n\n結論の節では、いくつかの方向が示されています。\n\n1. **対象を絞った評価**：人名、日時、識別番号といった重要な情報単位に特別なラベルを付けて別々に採点し、「綴りの小さな違い」と「意味上の重大な誤り」を区別する。\n2. **不確実性の推定**：VLMの生成には、もともと確率が伴います。水増しや置換された内容が測定可能な不確実性と対応しているかを調べ、それを使ってフィルタリングやフラグ付けを行う。\n3. **複数システムの組み合わせ**：例を見る限り、従来型OCRとVLMは異なる箇所、異なる状況で間違えるようです。複数のシステムの出力を組み合わせれば、改善するかもしれません。著者らは、この点はさらに実験で確かめる必要があるとも述べています。\n\n### この論文を読むときの注意点\n\n1. **データ量が少ない**。175枚の画像は単一のアーカイブ、単一の言語から取られており、しかも二値化されたマイクロフィルムなので、一般的なスキャン文書とは大きく違います。\n2. **失敗パターンの分析は質的なもの**。論文は多くの例で4種類の誤りを説明していますが、それぞれの発生頻度は示していません。\n3. **ローカルモデルだけを評価**。プライバシーへの配慮からクラウドサービスは除外されています。GPTやGeminiのような商用モデルにも結論が当てはまるかについて、論文は答えていません。\n\n## 結論\n\nこの論文は、「点数が良い」ことと「書き起こしの信頼性が高い」ことは別物だと思い出させてくれます。\n\n1. **CERとWERで見れば、VLMがはっきり勝つ**。Qwen 3.6推論モードのCER中央値は、わずか1.72%です。\n2. **ページごとに見ると、VLMには従来型OCRにない誤りがある**。段落の抜け、繰り返し、綴りの訂正、読めない箇所への語の埋め込み、人名の別人への置き換えです。\n3. **これらの誤りは指標の上では安くつく**。けれどもアーカイブ研究では、非常に高くつく可能性があります。\n\nOCRの結果を記録や証拠として扱うアプリケーションにとって、この論文の提案はとても実践的です。本当に重要な項目を選び出し、個別に評価する。そして「読めない」を、尊重される答えにする。\n","imageSizes":{"/content/papers/assets/ead582db9180192c38b48f732e13de82c3082a8d1b67f47e4b8a9cd3876d75dc.png":{"width":1000,"height":672},"/content/papers/assets/69d3b045d2c8e7ad52c47a644f8a12435a94a4fb2733c7d1af66965f5c005a49.png":{"width":1022,"height":261}}}