{"notes":[{"id":"model-evaluation/faithc4","category":"model-evaluation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"FaithC4","subtitle":"おせっかいな校正係","author":"Z. Yuan","paperDate":"2026-05-29","publishedOn":"2026-09-16","paperTitle":"Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models","paperUrl":"https://arxiv.org/abs/2607.21617","bibliography":{"title":"Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models","authors":["Gwang Gook Lee","Kenan Emir Ak","Jay Mohta","Yan Xu","Dimitrios Dimitriadis"],"url":"https://arxiv.org/abs/2607.21617","pdfUrl":"https://arxiv.org/pdf/2607.21617v2","codeUrl":"https://github.com/gwanglee/DoVLMsRead","preprint":{"id":"2607.21617","submittedOn":"2026-05-29","url":"https://arxiv.org/abs/2607.21617"},"publication":null,"citation":"@misc{modelevaluationfaithc42026,\n  title = {{Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models}},\n  author = {Gwang Gook Lee and Kenan Emir Ak and Jay Mohta and Yan Xu and Dimitrios Dimitriadis},\n  year = {2026},\n  eprint = {2607.21617},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2607.21617}\n}\n","citationPath":"/content/papers/citations/model-evaluation/faithc4.b3840dfe13e8.bib"},"thumbnail":{"src":"/content/papers/assets/b3abbe439520c55767dbdc0c5b9cf7cf870e35ff129f6977b59b97671099b945.png","width":1338,"height":338},"locale":"ja","path":"/content/papers/ja/model-evaluation/faithc4.4a534fc12bf4.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"きれいなテキストから始める","text":"きれいなテキストから始める","depth":3},{"id":"15のシステム3つのカテゴリ","text":"15のシステム、3つのカテゴリ","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"いちばん校正したがるのは誰か","text":"いちばん「校正」したがるのは誰か","depth":3},{"id":"誤りを分類する","text":"誤りを分類する","depth":3},{"id":"誤りは広がる","text":"誤りは広がる","depth":3},{"id":"書き換えはどの層で起きるか","text":"書き換えはどの層で起きるか","depth":3},{"id":"直すなと直接言えば効くのか","text":"「直すな」と直接言えば効くのか？","depth":3},{"id":"この論文を読むときの注意点","text":"この論文を読むときの注意点","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[]}],"text":"VLMに、「prbolem」と印刷された画像を見せます。返ってくる答えは、しばしば「problem」です。\n\n内容を理解したいのなら、親切な対応です。**そのまま書き写して**ほしいのなら、誤りです。法律文書、医療記録、歴史的な手稿では、原文が間違っていれば、写しも間違ったまま写すべきです。\n\nこれは、文字順の乱れた単語を人が読むときと少し似ています。順番がばらばらでも、私たちは読めてしまいます。Amazonによるこの論文が測ろうとしているのは、VLMがどれくらいの頻度で原文を勝手に「校正」するのか、そしてそれがどの層で起きるのかです。\n\n論文は2026年5月29日にarXivへ初投稿され、本稿は9月2日のv2に基づきます。データセットの名前は**FaithC4**です。\n\n## 問題の定義\n\nDocVQA、OCRBench、OmniDocBenchといった既存のOCRベンチマークは、どれも既存の文書画像を使っており、内容の大半は正しいテキストです。モデルが正確に読めるかは測れますが、不完全なテキストに出会ったとき、モデルがそのまま書き写すのか、黙って直すのかはわかりません。\n\n著者らは、近い二つの研究と自分たちの違いも整理しています。\n\n- 2025年のKIE-HVQAが扱うのは、**ぼやけたり隠れたりした文字**です。画像の証拠が足りない状況で、モデルが「よく見えない」と認められるかを試します。\n- FaithC4が扱うのは、**はっきり見えるが改変された文字**です。画像の証拠は十分な状況で、モデルが自分の予想で見たものを上書きしてしまうかを試します。\n\n## 問題の解決\n\n### きれいなテキストから始める\n\n[![FaithC4の構築手順：C4からテキストを取り出し、単語に並べ替え、字形の似た文字への置換、ランダム置換を施して改変後の正解を作り、文書画像にレンダリングしてVLMに書き起こさせる](/content/papers/assets/b3abbe439520c55767dbdc0c5b9cf7cf870e35ff129f6977b59b97671099b945.png)](/content/papers/assets/b3abbe439520c55767dbdc0c5b9cf7cf870e35ff129f6977b59b97671099b945.png)\n\n*原論文Figure 1。[**v2 PDFの4ページ**](https://arxiv.org/pdf/2607.21617v2#page=4)から抜粋、CC BY 4.0。例の単語victoryは、並べ替えでvirtcoy、字形置換でvjctery、ランダム置換でxtndovkになります。*\n\n既存の文書画像では、内容を制御できません。そこで著者らは逆の順で作ります。まずテキストを用意し、改変し、それからレンダリングします。\n\n1. 多言語版のWebコーパスC4から、1ページに収まる文章を取り出します。英語500件、中国語500件、韓国語455件、計1,455件です。英語は1件あたり平均599語です。\n2. 4文字以上の単語に摂動を加えます。**改変後のテキストがそのまま正解**です。\n3. 9ptのセリフ体、行間1.2倍で、1ページのPDF画像にレンダリングします。\n\n摂動は3種類で、これに対照として原文を加えます。\n\n- **並べ替え（Scramble）**：最初と最後の文字を残し、間をシャッフルします。victory → virtcoy。\n- **字形（Visual）**：見た目の似た文字に置き換えます。standard → stsndord。\n- **ランダム（Random）**：各文字を、同じ文字体系のランダムな文字に置き換えます。standard → xkpmewqi。\n\n中国語には空白による分かち書きがないため、重ならない4文字の窓を単位とし、字形とランダムの2種類だけを行います。字形の似た字は部首や筆画を共有する字に限り、ランダムな字は常用字表から選びます。\n\nすべての言語と条件で、**約5%の文字が改変される**よう調整しています（実際は4.65%〜5.20%）。これは重要な点です。韓国語の単語は短いので、「何単語を変えるか」を固定すると、韓国語で改変される文字はずっと少なくなり、一見すると安定しているように見えます。それでは公平な比較になりません。\n\n### 15のシステム、3つのカテゴリ\n\n- **汎用VLM**：Qwen3.5-4B、Qwen3-VL-4B、InternVL3.5-4B、Gemma4-E4B／E2B、Gemini 3 Flash、Gemini 2.5 Flash、GPT-5.4-miniなど。\n- **OCR特化VLM**：olmOCR-2-7B、DeepSeek-OCR-2、MinerU2.5-Pro、LightOnOCR-2-1B、PaddleOCRなど。\n- **従来型OCR**：Tesseract、docTR。文字単位で認識します。\n\nプロンプトは「文書内のテキストをすべて抽出してください」に統一し、誤字があることはあえて伝えず、モデルにいつもどおり答えさせます。OCR特化モデルは、それぞれ推奨のプロンプトを使います。主な指標は単語誤り率（WER）で、中国語は文字誤り率を使います。「あるモデルが特定の数件で失敗した」影響が比較に混ざらないよう、4条件すべてで処理に成功した文書だけを集計します。\n\n## 考察\n\n### いちばん「校正」したがるのは誰か\n\n英語について、3種類の摂動によるWERの増加幅は次のとおりです。\n\n- **従来型OCR**は最大0.72ポイント。\n- **OCR特化VLM**は幅が広く、MinerU 0.10–0.84、LightOnOCR 0.21–1.40、DeepSeek 0.53–2.47、PaddleOCR 0.64–3.19、olmOCR 0.76–3.42。\n- **汎用VLM**は多くが0.59–3.44で、InternVL3.5-4Bは6.90に達します。例外はGemini 3 Flashで、最大でも0.23と、従来型OCRと同程度です。\n\n著者らの解釈では、この順位はおおむね言語的事前知識（language prior）の強さを反映しています。汎用VLMは、幅広い事前学習で得た言語知識を持っています。OCR特化モデルは文書でファインチューニングされており、事前知識がやや弱くなります。従来型OCRは文字単位で認識するので、「直す」ための言語モデルがほとんどありません。\n\nただ、WERが教えてくれるのは、どれだけ間違えたかだけです。どう間違えたかはわかりません。\n\n### 誤りを分類する\n\n著者らは、並べ替え条件で読み誤った単語を4種類に分けました。\n\n- **書き換え**：出力が、改変前の元の単語とちょうど一致するもの。「事前知識で画像を上書きする」最も直接的な形です。\n- **近い**：改変後の単語との編集距離が2以内のもの。一般的なOCRのノイズです。\n- **中程度**：少なくとも半分の文字が同じもの。\n- **誤り**：元の単語にも改変後の単語にも似ていないもの。\n\n[![FaithC4のTable 5：英語の並べ替え条件で、各システムが読み誤った単語に占める書き換え、近い、中程度、誤りの4種類の割合。書き換えの割合順に並べ、Tesseractの0%からolmOCRの58.63%まで](/content/papers/assets/6ee5629d6762f01ca90d6377a05ca400e408a7d765c225326312b95da772db14.png)](/content/papers/assets/6ee5629d6762f01ca90d6377a05ca400e408a7d765c225326312b95da772db14.png)\n\n*原論文Table 5。[**v2 PDFの6ページ**](https://arxiv.org/pdf/2607.21617v2#page=6)から抜粋、CC BY 4.0。各行の合計は100%で、分母はそのシステムが読み誤った摂動単語です。*\n\nこの表は、WERよりずっと興味深いものです。\n\n従来型OCRは、読み誤っても元の単語に戻すことが一度もありません。誤りの大半は「近い」、つまり1〜2文字の見間違いです。Gemini 3 Flashも同じです。\n\nほかのモデルは大きく異なります。InternVLが読み誤った単語の46%は、元の単語への書き戻しでした。OCR特化のLightOnとolmOCRはさらに高く、それぞれ54%と59%です。\n\nつまり、**OCR特化モデルは全体の誤りこそ少ないものの、間違えるときは「校正」している可能性が高い**のです。カテゴリで言えるのは大まかな傾向だけで、モデル間の差はカテゴリ間の差より大きくなっています。\n\n### 誤りは広がる\n\n改変したのは5%の文字だけでも、影響はその5%にとどまりません。\n\n著者らは誤り率を、「摂動を受けた単語」と「摂動を受けていない単語」に分けました。Qwen3-VLの場合、原文での単語ごとの誤り率は0.40%です。並べ替え条件では、**摂動を受けていない**単語の誤り率が2.93%、約7.3倍に上がりました。Gemini 3 Flashは0.35%から0.41%で、約1.2倍です。\n\n著者らは要旨で、汎用VLMでは最大7.3倍に増幅されるとしています。ただ同じ表では、olmOCRが0.42%から3.76%に上がっており、換算すると9倍近くになります。\n\nここから、実務上の結論が二つ得られます。\n\n1. **摂動の割合だけではコストを見積もれない**。ごく一部の誤字が、出力のより広い範囲を巻き込むことがあります。\n2. **きれいなテキストでの成績からは予測できない**。Gemini 3 FlashとQwen3.5-4Bは、原文での単語ごとの誤り率がどちらも0.35%なのに、摂動後の広がり方は何倍も違います。\n\n### 書き換えはどの層で起きるか\n\n最後に、著者らはQwen3-VL-4B（36層）の内部を開いて調べます。\n\n500件の英語文書から単語を1つずつランダムに選び、画像上で黄色く強調して、モデルに「強調された単語を読んでください」と頼みます。4条件で計2,000組です。各組で二つのことを記録します。各層のFFN出力について、原文版と摂動版のコサイン類似度。そして生成を始める時点で、モデルの注意のどれだけがその単語の画像領域に向いているかです。\n\n結果は3点にまとめられます。\n\n1. **モデルには見えている**。最初の12層の表現はほぼ同じで、第16層から次第に分かれていきます。最終層の類似度はランダム0.321、字形0.469、並べ替え0.602で、摂動が字形を壊す度合いと一致します。摂動を受けた単語への注意も原文より高く、第4層の並べ替え条件では2.14倍に達します。著者らの言葉でいえば、モデルは摂動に気づいていて、ただその通りに書かないだけです。\n2. **完全なランダムは書き換えられない**。単語のプローブでは、並べ替えの4.9%、字形の6.0%が元の単語に書き戻されましたが、ランダム置換は0%でした。xkpmewqiはどの実在の単語にも似ていないので、言語的事前知識には書き戻す先が見つかりません。\n3. **表現があまり変わらないときにだけ書き換えが起きる**。並べ替えのサンプルを最終層の類似度で4群に分けると、類似度の低い2群は一度も書き換えられず、最も高い群の書き換え率は4.66%でした。注意の量は、意外にも書き換えと関係がありませんでした。\n\n短い単語ほど書き換えられやすいこともわかりました。4〜6文字の単語では最大約10%ですが、8文字以上になると急激に下がります。短い単語は、並べ替えても元の単語によく似たままだからです。\n\n### 「直すな」と直接言えば効くのか？\n\n付録Fでは、いちばん直感的な方法を試しています。プロンプトで「この文書には誤字、並べ替えられた単語、ランダムな文字列が含まれている可能性があります。訂正せず、原文のとおり正確に書き写してください」と明示するのです。\n\nQwen3-VL-4BとQwen3.5-4Bでは、この一文で各摂動によるWERの増加幅がおよそ3〜5割減りました。たとえばQwen3-VLの並べ替え条件では、2.04ポイントから1.07ポイントになりました。代わりにモデルは保守的になり、原文そのもののWERはかえって上がりました。Qwen3-VLでは0.29%から0.66%です。\n\nさらに思考モードをオンにしても、上乗せの効果はほとんどありませんでした。実はどちらのモデルも、実質的な推論内容を生成していません。Qwen3-VLは思考トークンを出力せず、Qwen3.5は空の思考ブロックを返すだけでした。著者らは、これらのモデルがOCRを直接的な知覚タスクとして扱っており、「少し考える」ことでは改善しないと見ています。\n\n### この論文を読むときの注意点\n\n著者らは限界の節で、いくつかの点を挙げています。\n\n1. **言語は3つだけ**。アラビア文字やデーヴァナーガリー文字、あるいは数学やコードといった領域では、結果が違う可能性があります。\n2. **摂動は人為的に制御されたもの**で、スキャンノイズ、手書きのばらつき、低解像度といった実際の劣化とは異なります。\n3. **文書は合成レンダリング**で、実際のスキャンよりずっときれいです。\n4. **内部のプローブはQwen3-VL-4Bの1モデルだけ**で、ほかのアーキテクチャでも同じかどうかは、さらに検証が必要です。\n5. **緩和策として試したのはプロンプトと思考モードだけ**で、ファインチューニング、デコード段階での介入、忠実性に特化した学習は測っていません。\n\n## 結論\n\nFaithC4は「VLMは勝手に字を直すのか」を、測定できる問いにしました。\n\n1. **書き換えは広く起きるが、程度はモデルによって異なる**。英語のWER増加幅は、おおむね汎用VLM > OCR特化VLM > 従来型OCRの順です。Gemini 3 Flashは汎用VLMの中の例外です。\n2. **間違え方が違う**。従来型OCRの誤りは文字の見間違いです。かなりの数のVLMは、間違えるとき自分の知っている単語に書き戻します。olmOCRでは誤りの59%がこの種類です。\n3. **誤りは広がる**。摂動を加えたのが5%の文字だけでも、摂動を受けていない単語の誤り率が何倍にも上がることがあります。\n4. **モデルには見えているが、その通りに書かない**。内部表現からは摂動が検出されていることがわかり、書き換えは表現が元の単語にかなり近いときにだけ起きます。\n\nエンジニアにとって最も実用的なのは、その手法です。きれいなテキストを用意し、いくつか字を変え、画像にレンダリングする。それだけで、手元のモデルが読み手なのか校正係なのかを測れます。\n","imageSizes":{"/content/papers/assets/b3abbe439520c55767dbdc0c5b9cf7cf870e35ff129f6977b59b97671099b945.png":{"width":1338,"height":338},"/content/papers/assets/6ee5629d6762f01ca90d6377a05ca400e408a7d765c225326312b95da772db14.png":{"width":666,"height":486}}}