{"notes":[{"id":"model-evaluation/omnidocbench","category":"model-evaluation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"OmniDocBench","subtitle":"九种文档一起考","author":"Z. Yuan","paperDate":"2024-12-10","publishedOn":"2026-10-03","paperTitle":"OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations","paperUrl":"https://arxiv.org/abs/2412.07626","bibliography":{"title":"OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations","authors":["Linke Ouyang","Yuan Qu","Hongbin Zhou","Jiawei Zhu","Rui Zhang","Qunshu Lin","Bin Wang","Zhiyuan Zhao","Man Jiang","Xiaomeng Zhao","Jin Shi","Fan Wu","Pei Chu","Minghao Liu","Zhenxiang Li","Chao Xu","Bo Zhang","Botian Shi","Zhongying Tu","Conghui He"],"url":"https://arxiv.org/abs/2412.07626","pdfUrl":"https://arxiv.org/pdf/2412.07626v2","codeUrl":"https://github.com/opendatalab/OmniDocBench","preprint":{"id":"2412.07626","submittedOn":"2024-12-10","url":"https://arxiv.org/abs/2412.07626"},"publication":{"venue":"CVPR","year":2025,"kind":"conference","url":"https://openaccess.thecvf.com/content/CVPR2025/html/Ouyang_OmniDocBench_Benchmarking_Diverse_PDF_Document_Parsing_with_Comprehensive_Annotations_CVPR_2025_paper.html"},"citation":"@misc{modelevaluationomnidocbench2024,\n  title = {{OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations}},\n  author = {Linke Ouyang and Yuan Qu and Hongbin Zhou and Jiawei Zhu and Rui Zhang and Qunshu Lin and Bin Wang and Zhiyuan Zhao and Man Jiang and Xiaomeng Zhao and Jin Shi and Fan Wu and Pei Chu and Minghao Liu and Zhenxiang Li and Chao Xu and Bo Zhang and Botian Shi and Zhongying Tu and Conghui He},\n  year = {2024},\n  eprint = {2412.07626},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.07626}\n}\n","citationPath":"/content/papers/citations/model-evaluation/omnidocbench.6ba6e922e56d.bib"},"thumbnail":{"src":"/content/papers/assets/e020fa9a38c313a3d8657ba9b84fcabe6d57fe8828c5f51d5312e91fb1e1fc01.png","width":688,"height":422},"locale":"zh-hans","path":"/content/papers/zh-hans/model-evaluation/omnidocbench.d90a938e618e.md","headings":[{"id":"定义问题","text":"定义问题","depth":2},{"id":"解决问题","text":"解决问题","depth":2},{"id":"数据从二十万份-pdf-里挑出-981-页","text":"数据：从二十万份 PDF 里挑出 981 页","depth":3},{"id":"评分先抽取元素再匹配","text":"评分：先抽取元素，再匹配","depth":3},{"id":"编辑距离量的是什么","text":"编辑距离量的是什么","depth":3},{"id":"讨论","text":"讨论","depth":2},{"id":"流水线式专用-vlm通用-vlm","text":"流水线式、专用 VLM、通用 VLM","depth":3},{"id":"后续版本","text":"后续版本","depth":3},{"id":"外界的批评","text":"外界的批评","depth":3},{"id":"结论","text":"结论","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[]}],"text":"到了 2024 年，文档解析的模型已经很多了：有把版面检测、OCR、表格与公式识别串在一起的流水线式工具，也有像 Nougat、GOT 这样一次读完整页的端到端模型，GPT-4o、Qwen2-VL 这类通用 VLM 也能直接拿来用。\n\n问题是，该怎么比？\n\nNougat 只在 arXiv 的英文论文上测；GOT 的整页测试集，中英文加起来只有 90 页。大家各用各的数据、各用各的指标，数字放在一起，很难看出谁在什么地方比较强。\n\n上海人工智能实验室等机构提出的 OmniDocBench，想做一份涵盖多种文档、标注完整、评分公平的基准。论文发表于 CVPR 2025，本文依据 arXiv v2 阅读。\n\n## 定义问题\n\n作者认为现有基准有三个缺点：\n\n1. **文档种类太少**。大多只有学术论文，教科书、试卷、财报、报纸这些常见文档很少出现。\n2. **指标不合适**。整页用编辑距离或 BLEU 打分，可是公式与表格在 LaTeX、HTML 里有很多种等价写法，字符串不同、渲染结果一样，也会被扣分。\n3. **只给一个总分**。看不出模型是文字不行、公式不行，还是只在某类文档上不行。\n\n## 解决问题\n\n### 数据：从二十万份 PDF 里挑出 981 页\n\n作者先从 Common Crawl、Google、百度搜索与内部数据中收集了二十多万份 PDF，用 ResNet-50 提取图像特征、用 Faiss 聚成 10 类，挑出 6,000 页视觉上多样的页面。接着由标注人员标上文档类型、版面、语言等属性，再平衡各类比例，最后留下 **981 页**，分属九类文档：书籍、幻灯片、财报、教科书、试卷、杂志、学术论文、笔记、报纸。\n\n标注非常细：\n\n- **版面**：19 种区块类别的框，例如标题、段落、表格、图片；每个框的属性，例如文字语言、是否有复杂背景、表格是否有合并单元格；阅读顺序；以及图表与标题、跨页段落之间的归属关系。\n- **内容**：文字用纯文本；公式（包括行内公式）用 LaTeX；表格同时提供 HTML 与 LaTeX。\n\n整体超过 10 万个标注，包括 2 万多个区块与 7 万多个行内片段。\n\n标注流程分三步：先用 LayoutLMv3、PaddleOCR、UniMERNet、GPT-4o 做预标注；再由标注人员逐字修正；最后用 CDM 的渲染工具找出无法渲染的公式与表格，交给三位研究者复核。\n\n### 评分：先抽取元素，再匹配\n\n[![OmniDocBench 评分流程：模型输出的 Markdown 经过预处理后，依次抽取 LaTeX 表格、HTML 表格、Markdown 表格、代码块、文本块与行内公式，再用 Adjacency Search Match 与标准答案的各类元素匹配](/content/papers/assets/e020fa9a38c313a3d8657ba9b84fcabe6d57fe8828c5f51d5312e91fb1e1fc01.png)](/content/papers/assets/e020fa9a38c313a3d8657ba9b84fcabe6d57fe8828c5f51d5312e91fb1e1fc01.png)\n\n*原论文 Figure 4，取自 [**v2 PDF 第 5 页**](https://arxiv.org/pdf/2412.07626v2#page=5)。左边是模型输出，中间是抽取与匹配，右边是标准答案的元素类别。*\n\n不同模型的输出格式差别很大：有的表格用 HTML、有的用 Markdown；有的把公式写成 LaTeX，有的写成 Unicode。直接拿整页字符串比对并不公平，所以作者设计了一套评分流程：\n\n1. **预处理**：移除图片、去掉文档开头的 Markdown 标记、把过长的重复字符规范化。\n2. **抽取**：用正则表达式依次抽取 LaTeX 表格、HTML 表格、独立公式、Markdown 表格（转成 HTML）、代码块。剩下的就是纯文本，按空行切成段落。\n3. **行内公式转成 Unicode**：因为各模型输出行内公式的方式太不一致，作者不单独给行内公式评分，而是把它们转成 Unicode，并入文本一起计算。\n4. **匹配**：模型切分段落的方式和标准答案不一定相同，一段话可能被切成两段，或者两段被并成一段。作者提出 **Adjacency Search Match**：先计算所有段落两两之间的归一化编辑距离，相似度超过阈值的直接匹配；剩下的用模糊匹配判断是否互为子串，如果是，就尝试合并相邻的段落，直到编辑距离不再改善。\n5. **忽略**：页眉、页脚、页码、页脚注，以及图表标题，各模型的处理方式差别太大，会参与匹配但不计分。\n\n匹配完成后，各类内容用各自的指标：\n\n- **文本**：归一化编辑距离，越低越好。\n- **表格**：统一转成 HTML，计算 TEDS（用树编辑距离衡量表格结构的相似度），越高越好。\n- **公式**：CDM，把公式渲染成图像，比对字符的位置是否对得上，越高越好。\n- **阅读顺序**：按文本元素的先后计算归一化编辑距离。\n\n### 编辑距离量的是什么\n\n这里值得停下来想一下文本的编辑距离。归一化编辑距离是「要改几个字符才能变成正确答案」除以长度。\n\n假设一页有 3,000 个字符，模型只把一个取货码 `K7O2` 读成了 `K702`。整页的编辑距离是 $1/3000\\approx0.0003$，几乎没有影响。可是如果只看这个 4 个字符的字段，编辑距离是 $1/4=0.25$，而且这个字段已经没用了。\n\n页面级的指标适合比较整体的阅读能力；少数关键字段错了，它几乎看不出来。这是指标本身的适用范围，用的时候要心里有数。\n\n## 讨论\n\n### 流水线式、专用 VLM、通用 VLM\n\n作者把受测方法分成三类：\n\n- **流水线式工具**：MinerU、Marker、Mathpix。\n- **专用 VLM**：GOT-OCR、Nougat。\n- **通用 VLM**：GPT-4o、Qwen2-VL-72B、InternVL2-76B。\n\n整体来看，MinerU 与 Mathpix 这类流水线式工具在文本、公式、表格上都表现最好；通用 VLM 也有竞争力。几乎所有方法在英文页面上都比中文好。\n\n拆成九类文档以后，事情变得有意思起来：\n\n[![OmniDocBench 九类文档的文本编辑距离：MinerU、Marker、Mathpix、GOT-OCR、Nougat、GPT-4o、Qwen2-VL-72B、InternVL2-76B 在书籍、幻灯片、财报、教科书、试卷、杂志、学术论文、笔记、报纸上的表现](/content/papers/assets/13b22f4d607b4a82595fc4d89f10eeb190631df5176a1842c785cbc306f5ea66.png)](/content/papers/assets/13b22f4d607b4a82595fc4d89f10eeb190631df5176a1842c785cbc306f5ea66.png)\n\n*原论文 Table 3，取自 [**v2 PDF 第 6 页**](https://arxiv.org/pdf/2412.07626v2#page=6)。数值为文本的归一化编辑距离，越低越好。*\n\n看最右边两类：\n\n| 模型 | 笔记 | 报纸 |\n| --- | ---: | ---: |\n| MinerU | 0.984 | 0.171 |\n| GPT-4o | 0.607 | 0.751 |\n| Qwen2-VL-72B | 0.168 | 0.676 |\n| Nougat | 0.991 | 0.871 |\n\n在手写笔记上，MinerU 几乎读不出来，Qwen2-VL-72B 的表现却是全表最好的之一。报纸则完全反过来：MinerU 是 0.171，通用 VLM 都在 0.67 以上。\n\n作者的解释是：通用 VLM 的训练数据很广，遇到少见的格式，以及模糊、水印、彩色背景这类图像退化时，比较能应付；但报纸这种文字极其密集的页面，受限于输入分辨率与 token 长度，VLM 常常读不完。流水线式工具先切出版面，一块一块处理，所以在复杂版面上比较稳。\n\n在多栏与复杂版面上，所有方法的阅读顺序都明显变差。\n\n作者在结论中建议，给 VLM 加上版面感知的设计、做领域微调，是值得走的方向。之后一年多的发展，大致就是沿着这条路：PaddleOCR-VL、MinerU2.5 这类「先版面、再识别」的小型 VLM，在这个基准上爬到了最前面。\n\n### 后续版本\n\nOmniDocBench 之后一直在更新，论文描述的是 v1.0：\n\n- **v1.5**（2025 年 9 月）：新增 374 页，报纸与笔记的图像分辨率从 72 DPI 提高到 200 DPI，中英文页数做了平衡，公式比例提高；不再分中英文计分，整体分数改为 $\\big((1-\\text{文本编辑距离})\\times100+\\text{表格 TEDS}+\\text{公式 CDM}\\big)/3$。\n- **v1.6**（2026 年 4 月）：再加入 296 页较难的样本，例如嵌套表格、密集公式与不常见的版面，共 1,651 页；匹配方法改成只在预测端调整切分粒度。\n\n官方 README 上的 v1.6 排行榜，前几名都是 10 亿参数上下的专用模型，整体分数接近 97。[OmniDocBench README](https://github.com/opendatalab/OmniDocBench)\n\n### 外界的批评\n\n分数逼近天花板以后，开始有人质疑这份基准还能不能分出高下。\n\nLlamaIndex 的 Jerry Liu 在 2026 年 2 月撰文，认为 OmniDocBench 已经接近饱和，文档种类也偏简单：1,355 页、9 种类型，偏重学术论文，对复杂的财报演示材料、法律文件、保险理赔与表单着墨不多。他也举了自家产品的例子：一张表格被正确地拆成两张，或者用 HTML 而不是 LaTeX 来表示科学计数法，语义都对，TEDS 与编辑距离却掉了很多。他主张改用重视语义正确、而不要求格式完全一致的评分方式。[LlamaIndex，2026-02-24](https://www.llamaindex.ai/blog/omnidocbench-is-saturated-what-s-next-for-ocr-benchmarks)\n\nLlamaIndex 有自己的文档解析产品，文章的例子都来自自家的输出，立场要一并考虑。不过「单一标准答案对格式太严格」这一点，论文本身其实也意识到了：作者花了很大力气做元素抽取、段落合并与忽略规则，正是为了减少格式差异造成的误判。\n\n## 结论\n\nOmniDocBench 把文档解析的评测做得比以前细致得多：\n\n1. **九类文档、981 页、超过 10 万个标注**，包括版面、阅读顺序、属性与归属关系。\n2. **先抽取、再匹配、各用各的指标**：文本用编辑距离，表格用 TEDS，公式用 CDM，尽量降低格式差异的影响。\n3. **拆开看才看得出差别**：流水线式工具擅长报纸与财报，通用 VLM 擅长手写笔记与退化图像，多栏版面对谁来说都难。\n\n它的指标以整页为单位，适合比较整体的阅读能力。至于某个编号、某个人名有没有读对，需要另外的测试来回答。\n","imageSizes":{"/content/papers/assets/e020fa9a38c313a3d8657ba9b84fcabe6d57fe8828c5f51d5312e91fb1e1fc01.png":{"width":688,"height":422},"/content/papers/assets/13b22f4d607b4a82595fc4d89f10eeb190631df5176a1842c785cbc306f5ea66.png":{"width":1377,"height":319}}}