{"notes":[{"id":"model-evaluation/linguistic-crutch","category":"model-evaluation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Linguistic Crutch","subtitle":"脑补的代价","author":"Z. Yuan","paperDate":"2026-01-07","publishedOn":"2026-02-21","paperTitle":"Visual Merit or Linguistic Crutch? A Close Look at DeepSeek-OCR","paperUrl":"https://arxiv.org/abs/2601.03714","bibliography":{"title":"Visual Merit or Linguistic Crutch? A Close Look at DeepSeek-OCR","authors":["Yunhao Liang","Ruixuan Ying","Bo Li","Hong Li","Kai Yan","Qingwen Li","Min Yang","Okamoto Satoshi","Zhe Cui","Shiwen Ni"],"url":"https://arxiv.org/abs/2601.03714","pdfUrl":"https://arxiv.org/pdf/2601.03714v2","codeUrl":null,"preprint":{"id":"2601.03714","submittedOn":"2026-01-07","url":"https://arxiv.org/abs/2601.03714"},"publication":null,"citation":"@misc{modelevaluationlinguisticcrutch2026,\n  title = {{Visual Merit or Linguistic Crutch? A Close Look at DeepSeek-OCR}},\n  author = {Yunhao Liang and Ruixuan Ying and Bo Li and Hong Li and Kai Yan and Qingwen Li and Min Yang and Okamoto Satoshi and Zhe Cui and Shiwen Ni},\n  year = {2026},\n  eprint = {2601.03714},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2601.03714}\n}\n","citationPath":"/content/papers/citations/model-evaluation/linguistic-crutch.af1f73a098b5.bib"},"thumbnail":{"src":"/content/papers/assets/3dfc834dee089d76acab6a1ce767b06c592ef84c6b48c2a5f79a7723f9cc3f09.png","width":644,"height":300},"locale":"zh-hans","path":"/content/papers/zh-hans/model-evaluation/linguistic-crutch.9d0e99160bb7.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"让图像条件保持一致","text":"让图像条件保持一致","depth":3},{"id":"三种破坏方式","text":"三种破坏方式","depth":3},{"id":"另外两个测试","text":"另外两个测试","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"句子一旦没了意思","text":"句子一旦没了意思","depth":3},{"id":"单词一旦不像单词","text":"单词一旦不像单词","depth":3},{"id":"其他模型呢","text":"其他模型呢？","depth":3},{"id":"问答与长上下文","text":"问答与长上下文","depth":3},{"id":"读这篇时要知道的事","text":"读这篇时要知道的事","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"deepseek/deepseek-ocr","relation":"citing","topic":""}]},{"id":"deepseek/deepseek-ocr","category":"deepseek","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"DeepSeek-OCR","subtitle":"一图胜千言","author":"Z. Yuan","paperDate":"2025-10-21","publishedOn":"2026-03-09","world":"external/deepseek-ocr","paperTitle":"DeepSeek-OCR: Contexts Optical Compression","paperUrl":"https://arxiv.org/abs/2510.18234","bibliography":{"title":"DeepSeek-OCR: Contexts Optical Compression","authors":["Haoran Wei","Yaofeng Sun","Yukun Li"],"url":"https://arxiv.org/abs/2510.18234","pdfUrl":"https://arxiv.org/pdf/2510.18234v1","codeUrl":"https://github.com/deepseek-ai/DeepSeek-OCR","preprint":{"id":"2510.18234","submittedOn":"2025-10-21","url":"https://arxiv.org/abs/2510.18234"},"publication":null,"citation":"@misc{deepseekdeepseekocr2025,\n  title = {{DeepSeek-OCR: Contexts Optical Compression}},\n  author = {Haoran Wei and Yaofeng Sun and Yukun Li},\n  year = {2025},\n  eprint = {2510.18234},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2510.18234}\n}\n","citationPath":"/content/papers/citations/deepseek/deepseek-ocr.66e8e5a7db8d.bib"},"thumbnail":{"src":"/content/papers/assets/6f53ecfe63f39804454a69ef4468c93e8018fa1afbe08d1bb52b7e8d52d194c3.png","width":1288,"height":350},"locale":"zh-hans","path":"/content/papers/zh-hans/deepseek/deepseek-ocr.84ff24061e34.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"整体架构","text":"整体架构","depth":3},{"id":"跟着一页-10241024-的图像走一遍","text":"跟着一页 1024×1024 的图像走一遍","depth":3},{"id":"解码器从压缩的表示中把字还原","text":"解码器：从压缩的表示中把字还原","depth":3},{"id":"数据与训练","text":"数据与训练","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"压缩比实验fox-上的-100-页","text":"压缩比实验：Fox 上的 100 页","depth":3},{"id":"实际文档omnidocbench","text":"实际文档：OmniDocBench","depth":3},{"id":"光学压缩与遗忘","text":"光学压缩与遗忘","depth":3},{"id":"发布后的讨论","text":"发布后的讨论","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"model-evaluation/linguistic-crutch","relation":"referenced","topic":""}]}],"text":"2025 年 10 月的 DeepSeek-OCR 宣称，一页英文文档的文本 token 只要不超过视觉 token 的 10 倍，就能以约 97% 的精确度读回来；压缩到 20 倍，还有约 60%。不少人因此期待，图像也许能拿来压缩 LLM 的长上下文。\n\n这篇论文的作者想问一个更基本的问题：那些分数，到底有多少来自图像？\n\n标题直译是「视觉上的实力，还是语言的拐杖？」。DeepSeek-OCR 的解码器是一个语言模型，它本来就知道英文通常怎么写。视觉 token 不够清楚时，它很可能根据前后文把缺的字补上，用网上的说法，就是**脑补**。补对了，分数就高。\n\n这篇由中国科学院成都计算机应用研究所、日本东北大学等机构的研究者提出，2026 年 1 月 7 日上传 arXiv，本文依据第二天更新的 v2 阅读。目前还是预印本。\n\n\n> [!TIP]\n> \n> **语言先验是什么？**\n> \n> 先验（prior）指的是看到证据之前就已经有的预期。语言模型读过大量文本，知道「has already been」后面常接过去分词，也知道「Speaker」比「Squeaker」常见。\n> \n> 读字时，模型同时用两种线索：图像上的笔画，以及这种「通常会出现什么」的预期。这篇论文想把两者拆开来量。\n\n\n## 定义问题\n\n要量出语言先验的贡献，最直接的办法是把语言的规律拿掉，图像的其他条件保持不变，看分数掉多少。\n\n作者列了五个研究问题：\n\n1. 句子层面的语义破坏，对 DeepSeek-OCR 有什么影响？\n2. 单词层面的破坏呢？包括字母交换、整体打乱，以及完全随机的字符串。\n3. 这种依赖是 DeepSeek-OCR 独有的，还是其他 OCR 与 VLM 也有？\n4. 在问答与看图问答上，DeepSeek-OCR 能保留多少语义？\n5. 光学压缩在多长的上下文会失效？\n\n## 解决问题\n\n### 让图像条件保持一致\n\n基准是 Fox 的 112 页英文文档，标准答案的长度在 600 到 2,500 个 token 之间。\n\n作者没有直接比较原始扫描页和扰动后的页面，因为两者的字体、版面都不同。他们先把标准答案重新渲染成干净的图片，称为 **text2png**，作为基线；所有扰动版本也用同一套流程渲染。这样一来，图像上唯一的差别，就是字母的排列。\n\n### 三种破坏方式\n\n**句子层面**：把关键的名词、动词与短语，换成拼写像英文、但没有意义的词。例如：\n\n> has already been published in other issues of the Speaker, it won't all be repeated here.\n\n被改成：\n\n> has already been breadboxed in other whispers of the Squeaker, it won't all be rebound here.\n\n字形和版面都还在，句意没了。\n\n**单词层面**：随机挑出 5% 或 10% 的单词。\n\n- **Swap**：交换单词里的两个字母，例如 already 变成 ayreadl。单词的结构大致还在，语言知识修得回来。\n- **Shuffle**：把整个单词的字母打乱，例如 repeated 变成 eepetadr。字母分布相同，结构全毁。\n\n**零先验**：整份文档换成由 2 到 10 个随机大小写字母组成的「单词」，长度分布和原文相同。这里完全没有词汇或语法可以依靠，作者称它是 OCR 系统的「吐真剂」。\n\n### 另外两个测试\n\n- **问答**：为每页 Fox 文档标注三道事实型选择题，比较 DeepSeek-OCR 看图作答（VQA）、把文本直接交给语言模型作答（QA），以及其他 3B 到 8B 的 VLM。\n- **上下文长度**：让 GPT-5.1 写五篇各约 5,000 词的英文故事，重复拼接到约 20,000 个 token，再切成 500 到 20,000 个 token、每 500 一档的 40 段，渲染成文档图片，让 DeepSeek-OCR 的四种模式去读。\n\n## 讨论\n\n### 句子一旦没了意思\n\n[![上方是普通句子，DeepSeek-OCR 正确读出；下方是被替换成 breadboxed、whispers、Squeaker、rebound 的句子，模型输出 rebroadcast、Square 等常见词](/content/papers/assets/3dfc834dee089d76acab6a1ce767b06c592ef84c6b48c2a5f79a7723f9cc3f09.png)](/content/papers/assets/3dfc834dee089d76acab6a1ce767b06c592ef84c6b48c2a5f79a7723f9cc3f09.png)\n\n*原论文 Figure 1，取自 [**v2 PDF 第 1 页**](https://arxiv.org/pdf/2601.03714v2#page=1)。上方为普通输入，下方为语义破坏后的输入；右侧黄色标出模型改写的词。*\n\n先看下方那一行。图片上清楚印着 Squeaker，模型输出 Square；breadboxed 和 rebound 都被写成 rebroadcast。这些输出都是真正的英文单词，句子读起来也比原文通顺。\n\n把 112 页的平均精确度放在一起：\n\n| 模式（视觉 token） | text2png | 句子破坏 | 下降 |\n| --- | ---: | ---: | ---: |\n| Tiny（64） | 88.00 | 76.75 | 11.25 |\n| Small（100） | 95.23 | 91.56 | 3.67 |\n| Base（256） | 97.93 | 97.31 | 0.62 |\n\n*表：原论文 Table 1 的平均值（%）。*\n\n视觉 token 越少，掉得越多。给到 256 个 token，句子有没有意思几乎不影响结果；只有 64 个时，掉了 11 个百分点以上。\n\n### 单词一旦不像单词\n\nSwap 与 Shuffle 的结果方向一致。破坏 10% 的单词时，Tiny 模式平均分别下降 9.89 与 11.30 个百分点。Shuffle 伤得比 Swap 重，作者认为这说明模型依赖正常的字母顺序来解码。\n\n看几个具体例子更清楚：\n\n| 情形 | 输入 | 输出 |\n| --- | --- | --- |\n| Swap | has ayreadl | has already |\n| Shuffle | it won't all be eepetadr here. | I won't be all expected here. |\n| 零先验 | EYuoV qUtjpy pWxZCks | E'vuol u'qtippy piwZckus |\n\n*表：原论文 Table 5 节选。*\n\n前两行，模型像一个自动纠错器，把怪词改成通顺的英文。最后一行没有任何可以「改正」的方向，模型硬是把随机字母拼成像音节的东西，结果既不是原文，也不是单词。\n\n零先验的平均精确度：Tiny 19.84%、Small 42.12%、Base 61.70%。和 text2png 相比，Tiny 掉了 68 个百分点，Base 也掉了 36 个。\n\n### 其他模型呢？\n\n[![两张表：在普通文本与随机字母文本上，DeepSeek-OCR、dots.ocr、Qwen2.5-VL、GOT-OCR、MonkeyOCR、SmolDocling、Nougat、HunyuanOCR 等端到端模型，以及 MinerU、PaddleOCR-v5 两套传统流水线，在各文本长度区间的精确度](/content/papers/assets/5d2501d5e3e771beeb643c417a2fd5186c6c1994a4caa911b27ca6896df3907f.png)](/content/papers/assets/5d2501d5e3e771beeb643c417a2fd5186c6c1994a4caa911b27ca6896df3907f.png)\n\n*原论文 Tables 6–7，取自 [**v2 PDF 第 6 页**](https://arxiv.org/pdf/2601.03714v2#page=6)。上表为普通文本，下表为随机字母；最右两列是传统的流水线式方法。*\n\n最下面一行是平均值。挑几个来对照：\n\n| 模型 | 普通文本 | 随机字母 |\n| --- | ---: | ---: |\n| PaddleOCR-v5（流水线式） | 94.44 | 89.53 |\n| MonkeyOCR 3B | 97.37 | 79.97 |\n| GOT-OCR（0.58B） | 98.00 | 57.71 |\n| Qwen2.5-VL 72B | 98.69 | 56.78 |\n| Nougat（0.35B） | 96.82 | 37.94 |\n| DeepSeek-OCR Tiny | 88.00 | 19.84 |\n\n在普通文本上，端到端模型几乎都在 94% 以上，看不出差别。换成随机字母，它们掉了 17 到 68 个百分点不等；先检测文本行、再逐行识别的 PaddleOCR-v5 只掉了 4.9 个百分点。\n\n作者的解释是，流水线式方法把视觉识别和语言解码分开了，所以没有语言规律时仍然读得出来。端到端模型直接从图像生成文本，视觉上不够确定的地方，就由语言知识补上。\n\n另一套流水线 MinerU 在两种文本上都不到 10%，原因是它的版面检测把整张图当成一个区块，后面的识别无从发挥。这个失败和语言先验无关，比较时要排除。\n\n### 问答与长上下文\n\n在问答测试里，DeepSeek-OCR 看图作答的正确率约 20%，而四选一题目随机猜测的正确率是 25%；把文本直接交给 Qwen2.5-3B 等语言模型，正确率超过 90%。作者据此认为，光学压缩破坏了推理所需的语义。\n\n这个推论要打个折扣。论文也测了把**标准答案文本**直接交给 DeepSeek-OCR 的解码器，正确率只有 27.7%。DeepSeek-OCR 的原论文说得很清楚，它没有做监督微调，不是聊天模型，有些能力要用续写式的提示词才激发得出来。所以这组问答的低分，有相当一部分可能来自解码器本来就不擅长回答问题，不能全算在压缩头上。\n\n[![DeepSeek-OCR 四种模式在不同上下文长度下的 OCR 精确度，含一个标准差的色带；横轴为 token 数（千），Tiny、Base、Large 在约 8.5K 降到零，Small 模式延续到约 10.5K](/content/papers/assets/eab689713edeb816901e8cb5dc077a8708b983866058f104214ba5fd1d9973c3.png)](/content/papers/assets/eab689713edeb816901e8cb5dc077a8708b983866058f104214ba5fd1d9973c3.png)\n\n*原论文 Figure 3，取自 [**v2 PDF 第 8 页**](https://arxiv.org/pdf/2601.03714v2#page=8)。横轴是一张图里的文本 token 数（千），纵轴是精确度。*\n\n长上下文测试的曲线，比作者摘要里说的「约一万 token 崩溃」更早就开始下滑：四种模式在 1,000 到 3,000 token 之间已经明显降低，Tiny、Base、Large 约在 8,500 token 归零，Small 撑到约 10,500 才归零。\n\n论文用 Base 模式举例：2,500 token 时几乎完美，只把人名 Xingfu 读成 Yingxiu；到 3,000 token，前半句已经和原文无关；3,500 与 4,000 token 开始重复同一个短语；8,000 token 时输出一句「这段文字是图片的占位符」；再往后只剩空的 HTML 表格标签。\n\n不过这个实验把越来越多的文字塞进了**同一张图**。一万个 token 的英文放进 1024×1024 以内，每个字分到的像素少得可怜，崩溃的一部分原因可能只是字小到看不清。作者把结果解读为光学压缩反而加剧了长上下文的瓶颈；本文认为，这个测试更直接回答的是「一张固定分辨率的图最多能放多少字」。\n\n### 读这篇时要知道的事\n\n1. **只测了密集的英文段落**。作者在局限性一节写明，公式、代码、表格这类语言先验本来就不太帮得上忙的内容，他们没有做大规模测试。\n2. **零先验是极端条件**。真实文档很少整页都是随机字母；它适合用来衡量「图像本身能读出多少」，不适合直接换算成日常文档的错误率。\n3. **问答与长上下文测试都有混杂因素**，见上一节。\n4. **基线数量**。摘要说和 13 个基线做了比较，表格上除了 DeepSeek-OCR 的两种模式，另有 11 个模型或尺寸。\n\n## 结论\n\n这篇论文用一个很简单的控制实验，把 OCR 分数里「看到的」与「猜到的」拆开：\n\n1. **视觉 token 越少，越依赖语言先验**。句子失去意思时，Tiny 掉 11 个百分点，Base 几乎不受影响。\n2. **语言规律全部拿掉后，端到端模型普遍大跌**。DeepSeek-OCR Tiny 从 88% 掉到约 20%，Qwen2.5-VL 72B 从 98.7% 掉到 56.8%。\n3. **流水线式的传统 OCR 最稳**。PaddleOCR-v5 只掉了 4.9 个百分点。\n\n光学压缩能在正常英文上成立，有一部分正是因为英文有规律，解码器补得回来。这本身没有错，人读模糊的字也会这样做；问题在于用户看不出哪些字是补上去的。\n\n对工程师来说，这篇最实用的是它的检查方法：**拿掉语义再测一次**。在用 VLM 读编号、人名、编码这类没有规律的文字之前，先用随机字符串测一测，比看排行榜可靠。\n","imageSizes":{"/content/papers/assets/3dfc834dee089d76acab6a1ce767b06c592ef84c6b48c2a5f79a7723f9cc3f09.png":{"width":644,"height":300},"/content/papers/assets/5d2501d5e3e771beeb643c417a2fd5186c6c1994a4caa911b27ca6896df3907f.png":{"width":1277,"height":1100},"/content/papers/assets/eab689713edeb816901e8cb5dc077a8708b983866058f104214ba5fd1d9973c3.png":{"width":661,"height":466}}}