{"notes":[{"id":"model-evaluation/omnidocbench","category":"model-evaluation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"OmniDocBench","subtitle":"九種文件一起考","author":"Z. Yuan","paperDate":"2024-12-10","publishedOn":"2026-10-03","paperTitle":"OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations","paperUrl":"https://arxiv.org/abs/2412.07626","bibliography":{"title":"OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations","authors":["Linke Ouyang","Yuan Qu","Hongbin Zhou","Jiawei Zhu","Rui Zhang","Qunshu Lin","Bin Wang","Zhiyuan Zhao","Man Jiang","Xiaomeng Zhao","Jin Shi","Fan Wu","Pei Chu","Minghao Liu","Zhenxiang Li","Chao Xu","Bo Zhang","Botian Shi","Zhongying Tu","Conghui He"],"url":"https://arxiv.org/abs/2412.07626","pdfUrl":"https://arxiv.org/pdf/2412.07626v2","codeUrl":"https://github.com/opendatalab/OmniDocBench","preprint":{"id":"2412.07626","submittedOn":"2024-12-10","url":"https://arxiv.org/abs/2412.07626"},"publication":{"venue":"CVPR","year":2025,"kind":"conference","url":"https://openaccess.thecvf.com/content/CVPR2025/html/Ouyang_OmniDocBench_Benchmarking_Diverse_PDF_Document_Parsing_with_Comprehensive_Annotations_CVPR_2025_paper.html"},"citation":"@misc{modelevaluationomnidocbench2024,\n  title = {{OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations}},\n  author = {Linke Ouyang and Yuan Qu and Hongbin Zhou and Jiawei Zhu and Rui Zhang and Qunshu Lin and Bin Wang and Zhiyuan Zhao and Man Jiang and Xiaomeng Zhao and Jin Shi and Fan Wu and Pei Chu and Minghao Liu and Zhenxiang Li and Chao Xu and Bo Zhang and Botian Shi and Zhongying Tu and Conghui He},\n  year = {2024},\n  eprint = {2412.07626},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.07626}\n}\n","citationPath":"/content/papers/citations/model-evaluation/omnidocbench.6ba6e922e56d.bib"},"thumbnail":{"src":"/content/papers/assets/e020fa9a38c313a3d8657ba9b84fcabe6d57fe8828c5f51d5312e91fb1e1fc01.png","width":688,"height":422},"locale":"zh-hant","path":"/content/papers/zh-hant/model-evaluation/omnidocbench.ebb73a818c74.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"資料從二十萬份-pdf-挑出-981-頁","text":"資料：從二十萬份 PDF 挑出 981 頁","depth":3},{"id":"評分先抽出元素再配對","text":"評分：先抽出元素，再配對","depth":3},{"id":"編輯距離量到什麼","text":"編輯距離量到什麼","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"分段式專用-vlm通用-vlm","text":"分段式、專用 VLM、通用 VLM","depth":3},{"id":"後續版本","text":"後續版本","depth":3},{"id":"外界的批評","text":"外界的批評","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[]}],"text":"到了 2024 年，文件解析的模型已經很多了：有把版面偵測、OCR、表格與公式辨識串在一起的分段式工具，也有像 Nougat、GOT 這樣一次讀完整頁的端到端模型，GPT-4o、Qwen2-VL 這類通用 VLM 也能直接拿來用。\n\n問題是，該怎麼比？\n\nNougat 只在 arXiv 的英文論文上測；GOT 的整頁測試集，中英文加起來只有 90 頁。大家各用各的資料、各用各的指標，數字放在一起，很難看出誰在什麼地方比較強。\n\n上海人工智慧實驗室等單位提出的 OmniDocBench，想做一份涵蓋多種文件、標註完整、評分公平的基準。論文發表於 CVPR 2025，本文依 arXiv v2 閱讀。\n\n## 定義問題\n\n作者認為既有基準有三個缺點：\n\n1. **文件種類太少**。多半只有學術論文，教科書、試卷、財報、報紙這些常見文件很少出現。\n2. **指標不合適**。整頁用編輯距離或 BLEU 打分數，可是公式與表格在 LaTeX、HTML 裡有很多種等價寫法，字串不同、渲染結果一樣，也會被扣分。\n3. **只給一個總分**。看不出模型是文字不好、公式不好，還是只在某種文件上不好。\n\n## 解決問題\n\n### 資料：從二十萬份 PDF 挑出 981 頁\n\n作者先從 Common Crawl、Google、百度搜尋與內部資料收集了二十多萬份 PDF，用 ResNet-50 抽影像特徵、以 Faiss 分成 10 群，挑出 6,000 頁視覺上多樣的頁面。接著由標註人員標上文件類型、版面、語言等屬性，再平衡各類比例，最後留下 **981 頁**，分屬九種文件：書籍、投影片、財報、教科書、試卷、雜誌、學術論文、筆記、報紙。\n\n標註非常細：\n\n- **版面**：19 種區塊類別的框，例如標題、段落、表格、圖片；每個框的屬性，例如文字語言、是否有複雜背景、表格是否有合併儲存格；閱讀順序；以及圖表與標題、跨頁段落之間的歸屬關係。\n- **內容**：文字是純文字；公式（包含行內公式）用 LaTeX；表格同時提供 HTML 與 LaTeX。\n\n整體超過 10 萬個標註，包括 2 萬多個區塊與 7 萬多個行內片段。\n\n標註流程分三段：先用 LayoutLMv3、PaddleOCR、UniMERNet、GPT-4o 預先標註；再由標註人員逐字修正；最後用 CDM 的渲染工具找出無法渲染的公式與表格，交給三位研究者複核。\n\n### 評分：先抽出元素，再配對\n\n[![OmniDocBench 評分流程：模型輸出的 Markdown 經前處理後，依序抽出 LaTeX 表格、HTML 表格、Markdown 表格、程式區塊、文字區塊與行內公式，再以 Adjacency Search Match 和標準答案的各類元素配對](/content/papers/assets/e020fa9a38c313a3d8657ba9b84fcabe6d57fe8828c5f51d5312e91fb1e1fc01.png)](/content/papers/assets/e020fa9a38c313a3d8657ba9b84fcabe6d57fe8828c5f51d5312e91fb1e1fc01.png)\n\n*原論文 Figure 4，取自 [**v2 PDF 第 5 頁**](https://arxiv.org/pdf/2412.07626v2#page=5)。左邊是模型輸出，中間是抽取與配對，右邊是標準答案的元素類別。*\n\n不同模型的輸出格式差很多：有的表格用 HTML、有的用 Markdown；有的把公式寫成 LaTeX，有的寫成 Unicode。直接拿整頁字串比對並不公平，所以作者設計了一條評分流程：\n\n1. **前處理**：移除圖片、去掉文件開頭的 Markdown 標記、把過長的重複字元標準化。\n2. **抽取**：用正規表示式依序抽出 LaTeX 表格、HTML 表格、獨立公式、Markdown 表格（轉成 HTML）、程式區塊。剩下的就是純文字，以空行切成段落。\n3. **行內公式轉成 Unicode**：因為各模型輸出行內公式的方式太不一致，作者不單獨評分行內公式，而是把它們轉成 Unicode，併入文字一起算。\n4. **配對**：模型切段的方式和標準答案不一定一樣，一段話可能被切成兩段，或兩段被併成一段。作者提出 **Adjacency Search Match**：先算所有段落兩兩之間的正規化編輯距離，相似度超過門檻的直接配對；剩下的用模糊比對看是否互為子字串，如果是，就試著合併相鄰的段落，直到編輯距離不再改善。\n5. **忽略**：頁首、頁尾、頁碼、頁腳註，以及圖表標題，各模型處理方式差太多，會參與配對但不計分。\n\n配對完成後，各類內容用各自的指標：\n\n- **文字**：正規化編輯距離，越低越好。\n- **表格**：統一轉成 HTML，算 TEDS（以樹狀編輯距離衡量表格結構的相似度），越高越好。\n- **公式**：CDM，把公式渲染成影像，比對字元的位置是否對上，越高越好。\n- **閱讀順序**：以文字元素的先後計算正規化編輯距離。\n\n### 編輯距離量到什麼\n\n這裡值得停下來想一下文字的編輯距離。正規化編輯距離是「要改幾個字元才能變成正確答案」除以長度。\n\n假設一頁有 3,000 個字元，模型只把一個取貨碼 `K7O2` 讀成 `K702`。整頁的編輯距離是 $1/3000\\approx0.0003$，幾乎沒有影響。可是如果只看這個 4 個字元的欄位，編輯距離是 $1/4=0.25$，而且這個欄位已經沒有用了。\n\n頁面級的指標適合比較整體的閱讀能力；少數關鍵欄位錯了，它幾乎看不出來。這是指標本身的範圍，用的時候要知道。\n\n## 討論\n\n### 分段式、專用 VLM、通用 VLM\n\n作者把受測方法分成三類：\n\n- **分段式工具**：MinerU、Marker、Mathpix。\n- **專用 VLM**：GOT-OCR、Nougat。\n- **通用 VLM**：GPT-4o、Qwen2-VL-72B、InternVL2-76B。\n\n整體來看，MinerU 與 Mathpix 這類分段式工具在文字、公式、表格上都表現最好；通用 VLM 也有競爭力。幾乎所有方法在英文頁面上都比中文好。\n\n拆成九種文件以後，事情變得比較有意思：\n\n[![OmniDocBench 九種文件的文字編輯距離：MinerU、Marker、Mathpix、GOT-OCR、Nougat、GPT-4o、Qwen2-VL-72B、InternVL2-76B 在書籍、投影片、財報、教科書、試卷、雜誌、學術論文、筆記、報紙上的表現](/content/papers/assets/13b22f4d607b4a82595fc4d89f10eeb190631df5176a1842c785cbc306f5ea66.png)](/content/papers/assets/13b22f4d607b4a82595fc4d89f10eeb190631df5176a1842c785cbc306f5ea66.png)\n\n*原論文 Table 3，取自 [**v2 PDF 第 6 頁**](https://arxiv.org/pdf/2412.07626v2#page=6)。數值為文字的正規化編輯距離，越低越好。*\n\n看最右邊兩類：\n\n| 模型 | 筆記 | 報紙 |\n| --- | ---: | ---: |\n| MinerU | 0.984 | 0.171 |\n| GPT-4o | 0.607 | 0.751 |\n| Qwen2-VL-72B | 0.168 | 0.676 |\n| Nougat | 0.991 | 0.871 |\n\n手寫筆記上，MinerU 幾乎讀不出來，Qwen2-VL-72B 的表現卻是全表最好的之一。報紙則完全反過來：MinerU 是 0.171，通用 VLM 都在 0.67 以上。\n\n作者的解釋是：通用 VLM 的訓練資料很廣，遇到少見格式與模糊、浮水印、彩色背景這類影像劣化時，比較能應付；但報紙這種文字極密的頁面，受限於輸入解析度與 token 長度，VLM 常常讀不完。分段式工具先切出版面，一塊一塊處理，所以在複雜版面上比較穩。\n\n多欄與複雜版面上，所有方法的閱讀順序都明顯變差。\n\n作者在結論建議，替 VLM 加上版面感知的設計、做領域微調，是值得走的方向。之後一年多的發展，大致就是這條路：PaddleOCR-VL、MinerU2.5 這類「先版面、再辨識」的小型 VLM，在這個基準上爬到了最前面。\n\n### 後續版本\n\nOmniDocBench 之後持續改版，論文描述的是 v1.0：\n\n- **v1.5**（2025 年 9 月）：新增 374 頁，報紙與筆記的影像解析度從 72 DPI 提高到 200 DPI，中英文頁數平衡，公式比例提高；不再分中英文計分，整體分數改為 $\\big((1-\\text{文字編輯距離})\\times100+\\text{表格 TEDS}+\\text{公式 CDM}\\big)/3$。\n- **v1.6**（2026 年 4 月）：再加入 296 頁較難的樣本，例如巢狀表格、密集公式與不常見的版面，共 1,651 頁；配對方法改成只在預測端調整切分粒度。\n\n官方 README 上的 v1.6 排行榜，前幾名都是 10 億參數上下的專用模型，整體分數接近 97。[OmniDocBench README](https://github.com/opendatalab/OmniDocBench)\n\n### 外界的批評\n\n分數逼近天花板以後，開始有人質疑這份基準還能不能分出高下。\n\nLlamaIndex 的 Jerry Liu 在 2026 年 2 月撰文，認為 OmniDocBench 已經接近飽和，文件種類也偏簡單：1,355 頁、9 種類型，偏重學術論文，對複雜財報簡報、法律文件、保險理賠與表單著墨不多。他也舉了自家產品的例子：一張表格被正確拆成兩張、或用 HTML 而非 LaTeX 表示科學記號，語意都對，TEDS 與編輯距離卻掉很多。他主張改用重視語意正確、而非格式完全一致的評分方式。[LlamaIndex，2026-02-24](https://www.llamaindex.ai/blog/omnidocbench-is-saturated-what-s-next-for-ocr-benchmarks)\n\nLlamaIndex 有自己的文件解析產品，文章的例子都來自自家輸出，立場要一併考慮。不過「單一標準答案對格式太嚴格」這一點，論文本身其實也意識到了：作者花了很大力氣做元素抽取、段落合併與忽略規則，正是為了減少格式差異造成的誤判。\n\n## 結論\n\nOmniDocBench 把文件解析的評測做得比以前細很多：\n\n1. **九種文件、981 頁、超過 10 萬個標註**，包含版面、閱讀順序、屬性與歸屬關係。\n2. **先抽取、再配對、各用各的指標**：文字用編輯距離，表格用 TEDS，公式用 CDM，盡量降低格式差異的影響。\n3. **拆開看才看得出差別**：分段式工具擅長報紙與財報，通用 VLM 擅長手寫筆記與劣化影像，多欄版面對所有人都難。\n\n它的指標以整頁為單位，適合比較整體的閱讀能力。至於某個編號、某個人名有沒有讀對，需要另外的測試來回答。\n","imageSizes":{"/content/papers/assets/e020fa9a38c313a3d8657ba9b84fcabe6d57fe8828c5f51d5312e91fb1e1fc01.png":{"width":688,"height":422},"/content/papers/assets/13b22f4d607b4a82595fc4d89f10eeb190631df5176a1842c785cbc306f5ea66.png":{"width":1377,"height":319}}}