{"notes":[{"id":"model-evaluation/omnidocbench","category":"model-evaluation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"OmniDocBench","subtitle":"九種類の文書で一斉試験","author":"Z. Yuan","paperDate":"2024-12-10","publishedOn":"2026-10-03","paperTitle":"OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations","paperUrl":"https://arxiv.org/abs/2412.07626","bibliography":{"title":"OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations","authors":["Linke Ouyang","Yuan Qu","Hongbin Zhou","Jiawei Zhu","Rui Zhang","Qunshu Lin","Bin Wang","Zhiyuan Zhao","Man Jiang","Xiaomeng Zhao","Jin Shi","Fan Wu","Pei Chu","Minghao Liu","Zhenxiang Li","Chao Xu","Bo Zhang","Botian Shi","Zhongying Tu","Conghui He"],"url":"https://arxiv.org/abs/2412.07626","pdfUrl":"https://arxiv.org/pdf/2412.07626v2","codeUrl":"https://github.com/opendatalab/OmniDocBench","preprint":{"id":"2412.07626","submittedOn":"2024-12-10","url":"https://arxiv.org/abs/2412.07626"},"publication":{"venue":"CVPR","year":2025,"kind":"conference","url":"https://openaccess.thecvf.com/content/CVPR2025/html/Ouyang_OmniDocBench_Benchmarking_Diverse_PDF_Document_Parsing_with_Comprehensive_Annotations_CVPR_2025_paper.html"},"citation":"@misc{modelevaluationomnidocbench2024,\n  title = {{OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations}},\n  author = {Linke Ouyang and Yuan Qu and Hongbin Zhou and Jiawei Zhu and Rui Zhang and Qunshu Lin and Bin Wang and Zhiyuan Zhao and Man Jiang and Xiaomeng Zhao and Jin Shi and Fan Wu and Pei Chu and Minghao Liu and Zhenxiang Li and Chao Xu and Bo Zhang and Botian Shi and Zhongying Tu and Conghui He},\n  year = {2024},\n  eprint = {2412.07626},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.07626}\n}\n","citationPath":"/content/papers/citations/model-evaluation/omnidocbench.6ba6e922e56d.bib"},"thumbnail":{"src":"/content/papers/assets/e020fa9a38c313a3d8657ba9b84fcabe6d57fe8828c5f51d5312e91fb1e1fc01.png","width":688,"height":422},"locale":"ja","path":"/content/papers/ja/model-evaluation/omnidocbench.d22ca5dc42ba.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"データ20万件のpdfから981ページを選ぶ","text":"データ：20万件のPDFから981ページを選ぶ","depth":3},{"id":"採点まず要素を抽出しそれから対応付ける","text":"採点：まず要素を抽出し、それから対応付ける","depth":3},{"id":"編集距離は何を測っているのか","text":"編集距離は何を測っているのか","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"多段式専用vlm汎用vlm","text":"多段式、専用VLM、汎用VLM","depth":3},{"id":"その後のバージョン","text":"その後のバージョン","depth":3},{"id":"外部からの批判","text":"外部からの批判","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[]}],"text":"2024年には、文書解析のモデルはすでにたくさんありました。レイアウト検出、OCR、表や数式の認識をつないだ多段式ツールもあれば、NougatやGOTのようにページ全体を一度に読むエンドツーエンドモデルもあります。GPT-4oやQwen2-VLのような汎用VLMも、そのまま使えます。\n\n問題は、どう比べるかです。\n\nNougatは、arXivの英語論文でしか評価していません。GOTのページ全体のテストセットは、中国語と英語を合わせても90ページです。みなそれぞれのデータ、それぞれの指標を使っているので、数字を並べても、どのモデルがどこで強いのかがよくわかりません。\n\n上海人工知能実験室などが提案したOmniDocBenchは、多様な文書をカバーし、アノテーションが充実し、採点が公平なベンチマークを目指しています。論文はCVPR 2025で発表され、本稿はarXiv v2に基づきます。\n\n## 問題の定義\n\n著者らは、既存のベンチマークには三つの欠点があると考えています。\n\n1. **文書の種類が少なすぎる**。たいていは学術論文だけで、教科書、試験問題、財務報告、新聞といったよくある文書はほとんど出てきません。\n2. **指標が適切でない**。ページ全体を編集距離やBLEUで採点しますが、数式や表には、LaTeXやHTMLで等価な書き方がたくさんあります。文字列が違うだけでレンダリング結果は同じでも、減点されてしまいます。\n3. **総合点が一つあるだけ**。モデルがテキストに弱いのか、数式に弱いのか、特定の種類の文書だけに弱いのかがわかりません。\n\n## 問題の解決\n\n### データ：20万件のPDFから981ページを選ぶ\n\n著者らはまず、Common Crawl、Google、Baiduの検索、内部データから20万件以上のPDFを集めました。ResNet-50で画像特徴を抽出し、Faissで10クラスタに分け、見た目の多様な6,000ページを選び出します。次にアノテーターが文書の種類、レイアウト、言語などの属性を付け、各カテゴリの比率を調整して、最終的に**981ページ**を残しました。9種類の文書に分かれます。書籍、スライド、財務報告、教科書、試験問題、雑誌、学術論文、ノート、新聞です。\n\nアノテーションは非常に細かく付けられています。\n\n- **レイアウト**：見出し、段落、表、画像など、19種類のブロックカテゴリのボックス。各ボックスの属性（テキストの言語、複雑な背景の有無、表に結合セルがあるかなど）。読み順。そして図表とキャプション、ページをまたぐ段落などの帰属関係。\n- **内容**：テキストはプレーンテキスト、数式（インライン数式を含む）はLaTeX、表はHTMLとLaTeXの両方で提供します。\n\n全体で10万件を超えるアノテーションがあり、2万件余りのブロックと、7万件余りのインライン要素を含みます。\n\nアノテーションの手順は3段階です。まずLayoutLMv3、PaddleOCR、UniMERNet、GPT-4oで事前にアノテーションします。次にアノテーターが1文字ずつ修正します。最後にCDMのレンダリングツールで、レンダリングできない数式や表を見つけ、3人の研究者が再確認します。\n\n### 採点：まず要素を抽出し、それから対応付ける\n\n[![OmniDocBenchの採点手順：モデルが出力したMarkdownを前処理した後、LaTeXの表、HTMLの表、Markdownの表、コードブロック、テキストブロック、インライン数式を順に抽出し、Adjacency Search Matchで正解の各種要素と対応付ける](/content/papers/assets/e020fa9a38c313a3d8657ba9b84fcabe6d57fe8828c5f51d5312e91fb1e1fc01.png)](/content/papers/assets/e020fa9a38c313a3d8657ba9b84fcabe6d57fe8828c5f51d5312e91fb1e1fc01.png)\n\n*原論文Figure 4。[**v2 PDFの5ページ**](https://arxiv.org/pdf/2412.07626v2#page=5)から抜粋。左がモデルの出力、中央が抽出と対応付け、右が正解の要素カテゴリです。*\n\nモデルによって、出力形式は大きく違います。表をHTMLで書くものもMarkdownで書くものもあり、数式をLaTeXで書くものもUnicodeで書くものもあります。ページ全体の文字列をそのまま比べるのは公平ではないので、著者らは採点の手順を設計しました。\n\n1. **前処理**：画像を取り除き、文書冒頭のMarkdown記法を外し、長すぎる繰り返し文字を正規化します。\n2. **抽出**：正規表現で、LaTeXの表、HTMLの表、別行立ての数式、Markdownの表（HTMLに変換）、コードブロックを順に抜き出します。残りはプレーンテキストで、空行で段落に分けます。\n3. **インライン数式をUnicodeに変換**：各モデルのインライン数式の出力方法があまりにばらばらなので、著者らはインライン数式を単独では採点しません。Unicodeに変換し、テキストに含めて一緒に計算します。\n4. **対応付け**：モデルの段落の区切り方は、正解と同じとは限りません。一つの段落が二つに分かれたり、二つが一つにまとめられたりします。著者らは**Adjacency Search Match**を提案しました。まず、すべての段落の組について正規化編集距離を計算し、類似度がしきい値を超えるものはそのまま対応付けます。残りはあいまい照合で互いに部分文字列かどうかを確かめ、そうであれば隣接する段落の結合を試し、編集距離が改善しなくなるまで続けます。\n5. **無視**：ヘッダー、フッター、ページ番号、ページ脚注、図表のキャプションは、モデルごとの扱いが違いすぎるため、対応付けには参加しますが、採点はしません。\n\n対応付けが終わったら、内容の種類ごとにそれぞれの指標を使います。\n\n- **テキスト**：正規化編集距離。低いほど良い。\n- **表**：すべてHTMLに統一し、TEDS（木構造の編集距離で表の構造の類似度を測る指標）を計算する。高いほど良い。\n- **数式**：CDM。数式を画像にレンダリングし、文字の位置が一致するかを比べる。高いほど良い。\n- **読み順**：テキスト要素の前後関係について、正規化編集距離を計算する。\n\n### 編集距離は何を測っているのか\n\nここで、テキストの編集距離について少し考えておきましょう。正規化編集距離は、「正解にするには何文字変える必要があるか」を長さで割ったものです。\n\n1ページに3,000文字あり、モデルが受取コードの`K7O2`だけを`K702`と読んだとします。ページ全体の編集距離は$1/3000\\approx0.0003$で、ほとんど影響がありません。ところが、この4文字の項目だけを見れば、編集距離は$1/4=0.25$です。しかもこの項目は、もう使い物になりません。\n\nページ単位の指標は、全体的な読解能力を比べるのに向いています。少数の重要な項目が間違っていても、ほとんど見えません。これは指標そのものの適用範囲で、使うときに知っておく必要があります。\n\n## 考察\n\n### 多段式、専用VLM、汎用VLM\n\n著者らは、評価対象の手法を3種類に分けました。\n\n- **多段式ツール**：MinerU、Marker、Mathpix。\n- **専用VLM**：GOT-OCR、Nougat。\n- **汎用VLM**：GPT-4o、Qwen2-VL-72B、InternVL2-76B。\n\n全体として、MinerUやMathpixのような多段式ツールが、テキスト、数式、表のいずれでも最も良い成績でした。汎用VLMも健闘しています。ほぼすべての手法で、英語のページのほうが中国語より成績が良くなっています。\n\n9種類の文書に分けると、話がもっと面白くなります。\n\n[![OmniDocBenchの9種類の文書におけるテキストの編集距離：MinerU、Marker、Mathpix、GOT-OCR、Nougat、GPT-4o、Qwen2-VL-72B、InternVL2-76Bの、書籍、スライド、財務報告、教科書、試験問題、雑誌、学術論文、ノート、新聞での成績](/content/papers/assets/13b22f4d607b4a82595fc4d89f10eeb190631df5176a1842c785cbc306f5ea66.png)](/content/papers/assets/13b22f4d607b4a82595fc4d89f10eeb190631df5176a1842c785cbc306f5ea66.png)\n\n*原論文Table 3。[**v2 PDFの6ページ**](https://arxiv.org/pdf/2412.07626v2#page=6)から抜粋。数値はテキストの正規化編集距離で、低いほど良い値です。*\n\n右端の2種類を見てみます。\n\n| モデル | ノート | 新聞 |\n| --- | ---: | ---: |\n| MinerU | 0.984 | 0.171 |\n| GPT-4o | 0.607 | 0.751 |\n| Qwen2-VL-72B | 0.168 | 0.676 |\n| Nougat | 0.991 | 0.871 |\n\n手書きのノートでは、MinerUはほとんど読めませんが、Qwen2-VL-72Bは表全体でも最良クラスの成績です。新聞ではまったく逆で、MinerUは0.171、汎用VLMはいずれも0.67以上です。\n\n著者らの説明はこうです。汎用VLMは学習データが幅広いので、珍しい形式や、ぼやけ、透かし、カラー背景といった画像の劣化に比較的強い。しかし新聞のように文字が極端に密集したページでは、入力解像度とトークン長に制約され、VLMは読み切れないことがよくあります。多段式ツールは先にレイアウトを切り出し、1ブロックずつ処理するので、複雑なレイアウトでも安定しています。\n\n段組みや複雑なレイアウトでは、すべての手法で読み順が目に見えて悪化します。\n\n著者らは結論で、VLMにレイアウトを意識した設計を加えることと、ドメイン向けのファインチューニングを、進む価値のある方向として提案しています。その後の1年余りの展開は、おおむねこの道をたどりました。PaddleOCR-VLやMinerU2.5のような「レイアウトが先、認識が後」の小型VLMが、このベンチマークの最上位まで上り詰めたのです。\n\n### その後のバージョン\n\nOmniDocBenchはその後も改訂が続いており、論文が記述しているのはv1.0です。\n\n- **v1.5**（2025年9月）：374ページを追加し、新聞とノートの画像解像度を72 DPIから200 DPIに上げ、中国語と英語のページ数をそろえ、数式の比率を高めました。中国語と英語を分けて採点するのをやめ、総合スコアを$\\big((1-\\text{テキスト編集距離})\\times100+\\text{表 TEDS}+\\text{数式 CDM}\\big)/3$に変更しています。\n- **v1.6**（2026年4月）：入れ子の表、密な数式、珍しいレイアウトなど、難しめのサンプルを296ページ追加し、計1,651ページになりました。対応付けの方法は、予測側だけで分割の粒度を調整する方式に変わりました。\n\n公式READMEのv1.6リーダーボードでは、上位はいずれも10億パラメータ前後の専用モデルで、総合スコアは97に迫っています。[OmniDocBench README](https://github.com/opendatalab/OmniDocBench)\n\n### 外部からの批判\n\n点数が天井に近づくと、このベンチマークでまだ優劣をつけられるのかと疑問視する声が出始めました。\n\nLlamaIndexのJerry Liuは、2026年2月の記事で、OmniDocBenchはすでに飽和に近く、文書の種類も簡単なものに偏っていると論じました。1,355ページ、9種類で、学術論文に偏っており、複雑な決算説明資料、法律文書、保険金請求、各種フォームはあまり扱っていない、というのです。自社製品の例も挙げています。1つの表が正しく2つの表に分けられたり、科学的記数法がLaTeXではなくHTMLで表されたりすると、意味はどれも正しいのに、TEDSや編集距離は大きく下がる。彼は、形式の完全一致よりも意味の正しさを重視する採点方式に変えるべきだと主張しています。[LlamaIndex、2026-02-24](https://www.llamaindex.ai/blog/omnidocbench-is-saturated-what-s-next-for-ocr-benchmarks)\n\nLlamaIndexは自社の文書解析製品を持っており、記事の例もすべて自社の出力から取られているので、その立場も考慮に入れる必要があります。ただ、「単一の正解は形式に厳しすぎる」という点は、論文自体も実は認識しています。著者らが要素の抽出、段落の結合、無視のルールに大きな労力をかけたのは、まさに形式の違いによる誤判定を減らすためでした。\n\n## 結論\n\nOmniDocBenchは、文書解析の評価を以前よりずっときめ細かくしました。\n\n1. **9種類の文書、981ページ、10万件を超えるアノテーション**。レイアウト、読み順、属性、帰属関係を含みます。\n2. **まず抽出し、次に対応付け、種類ごとに指標を使い分ける**。テキストは編集距離、表はTEDS、数式はCDMで、形式の違いの影響をできるだけ減らしています。\n3. **分けて見て初めて差がわかる**。多段式ツールは新聞と財務報告に強く、汎用VLMは手書きのノートと劣化画像に強い。段組みのレイアウトは、どの手法にとっても難しい。\n\n指標はページ単位なので、全体的な読解能力を比べるのに向いています。ある番号やある人名を正しく読めたかどうかは、別のテストで確かめる必要があります。\n","imageSizes":{"/content/papers/assets/e020fa9a38c313a3d8657ba9b84fcabe6d57fe8828c5f51d5312e91fb1e1fc01.png":{"width":688,"height":422},"/content/papers/assets/13b22f4d607b4a82595fc4d89f10eeb190631df5176a1842c785cbc306f5ea66.png":{"width":1377,"height":319}}}