{"notes":[{"id":"model-evaluation/omnidocbench","category":"model-evaluation","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"OmniDocBench","subtitle":"Neuf épreuves au programme","author":"Z. Yuan","paperDate":"2024-12-10","publishedOn":"2026-10-03","paperTitle":"OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations","paperUrl":"https://arxiv.org/abs/2412.07626","bibliography":{"title":"OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations","authors":["Linke Ouyang","Yuan Qu","Hongbin Zhou","Jiawei Zhu","Rui Zhang","Qunshu Lin","Bin Wang","Zhiyuan Zhao","Man Jiang","Xiaomeng Zhao","Jin Shi","Fan Wu","Pei Chu","Minghao Liu","Zhenxiang Li","Chao Xu","Bo Zhang","Botian Shi","Zhongying Tu","Conghui He"],"url":"https://arxiv.org/abs/2412.07626","pdfUrl":"https://arxiv.org/pdf/2412.07626v2","codeUrl":"https://github.com/opendatalab/OmniDocBench","preprint":{"id":"2412.07626","submittedOn":"2024-12-10","url":"https://arxiv.org/abs/2412.07626"},"publication":{"venue":"CVPR","year":2025,"kind":"conference","url":"https://openaccess.thecvf.com/content/CVPR2025/html/Ouyang_OmniDocBench_Benchmarking_Diverse_PDF_Document_Parsing_with_Comprehensive_Annotations_CVPR_2025_paper.html"},"citation":"@misc{modelevaluationomnidocbench2024,\n  title = {{OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations}},\n  author = {Linke Ouyang and Yuan Qu and Hongbin Zhou and Jiawei Zhu and Rui Zhang and Qunshu Lin and Bin Wang and Zhiyuan Zhao and Man Jiang and Xiaomeng Zhao and Jin Shi and Fan Wu and Pei Chu and Minghao Liu and Zhenxiang Li and Chao Xu and Bo Zhang and Botian Shi and Zhongying Tu and Conghui He},\n  year = {2024},\n  eprint = {2412.07626},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2412.07626}\n}\n","citationPath":"/content/papers/citations/model-evaluation/omnidocbench.6ba6e922e56d.bib"},"thumbnail":{"src":"/content/papers/assets/e020fa9a38c313a3d8657ba9b84fcabe6d57fe8828c5f51d5312e91fb1e1fc01.png","width":688,"height":422},"locale":"fr","path":"/content/papers/fr/model-evaluation/omnidocbench.c19fbff9889f.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"les-données-981-pages-tirées-de-200000-pdf","text":"Les données : 981 pages tirées de 200 000 PDF","depth":3},{"id":"la-notation-extraire-les-éléments-puis-les-apparier","text":"La notation : extraire les éléments, puis les apparier","depth":3},{"id":"ce-que-mesure-la-distance-dédition","text":"Ce que mesure la distance d'édition","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"outils-en-plusieurs-étapes-vlm-spécialisés-vlm-généralistes","text":"Outils en plusieurs étapes, VLM spécialisés, VLM généralistes","depth":3},{"id":"les-versions-suivantes","text":"Les versions suivantes","depth":3},{"id":"les-critiques-extérieures","text":"Les critiques extérieures","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[]}],"text":"En 2024, les modèles d'analyse de documents ne manquaient plus : des outils en plusieurs étapes qui enchaînent détection de la mise en page, OCR, reconnaissance des tableaux et des formules ; des modèles de bout en bout comme Nougat ou GOT, qui lisent une page entière d'un coup ; et des VLM généralistes comme GPT-4o ou Qwen2-VL, utilisables directement.\n\nRestait une question : comment les comparer ?\n\nNougat n'est évalué que sur des articles arXiv en anglais ; le jeu de test pleine page de GOT ne compte que 90 pages, chinois et anglais confondus. Chacun utilise ses propres données et ses propres indicateurs : une fois les chiffres mis côte à côte, difficile de voir qui fait mieux, et sur quoi.\n\nOmniDocBench, proposé notamment par le Shanghai AI Laboratory, veut fournir un benchmark qui couvre de nombreux types de documents, avec des annotations complètes et une notation équitable. L'article a été publié à CVPR 2025 ; cette note suit la v2 publiée sur arXiv.\n\n## Définir le problème\n\nSelon les auteurs, les benchmarks existants ont trois défauts :\n\n1. **Trop peu de types de documents.** On y trouve surtout des articles scientifiques ; des documents courants comme les manuels scolaires, les sujets d'examen, les rapports financiers ou les journaux y sont rares.\n2. **Des indicateurs inadaptés.** La page entière est notée par distance d'édition ou par BLEU ; or formules et tableaux admettent de nombreuses écritures équivalentes en LaTeX ou en HTML, et une chaîne différente au rendu identique est tout de même pénalisée.\n3. **Un seul score global.** Impossible de savoir si le modèle pèche sur le texte, sur les formules, ou seulement sur un certain type de document.\n\n## Résoudre le problème\n\n### Les données : 981 pages tirées de 200 000 PDF\n\nLes auteurs commencent par rassembler plus de 200 000 PDF issus de Common Crawl, de recherches Google et Baidu et de données internes. Ils en extraient les caractéristiques visuelles avec ResNet-50, les regroupent en 10 clusters avec Faiss, et sélectionnent 6 000 pages visuellement variées. Des annotateurs y ajoutent ensuite des attributs comme le type de document, la mise en page ou la langue ; après rééquilibrage des catégories, il reste **981 pages**, réparties en neuf types de documents : livres, diapositives, rapports financiers, manuels scolaires, sujets d'examen, magazines, articles scientifiques, notes et journaux.\n\nL'annotation est très fine :\n\n- **Mise en page** : des boîtes de 19 catégories de blocs, comme titre, paragraphe, tableau ou image ; les attributs de chaque boîte, comme la langue du texte, la présence d'un fond complexe ou de cellules fusionnées dans un tableau ; l'ordre de lecture ; et les relations de rattachement entre figures ou tableaux et leurs légendes, ainsi qu'entre fragments d'un paragraphe réparti sur plusieurs pages.\n- **Contenu** : le texte en texte brut ; les formules (y compris en ligne) en LaTeX ; les tableaux à la fois en HTML et en LaTeX.\n\nAu total, plus de 100 000 annotations, dont plus de 20 000 blocs et plus de 70 000 fragments en ligne.\n\nL'annotation se fait en trois temps : une pré-annotation avec LayoutLMv3, PaddleOCR, UniMERNet et GPT-4o ; une correction caractère par caractère par les annotateurs ; enfin, l'outil de rendu de CDM repère les formules et tableaux impossibles à rendre, que trois chercheurs vérifient.\n\n### La notation : extraire les éléments, puis les apparier\n\n[![Chaîne de notation d'OmniDocBench : après prétraitement, le Markdown produit par le modèle est découpé, dans l'ordre, en tableaux LaTeX, tableaux HTML, tableaux Markdown, blocs de code, blocs de texte et formules en ligne, puis apparié par Adjacency Search Match aux éléments de chaque catégorie de la vérité terrain](/content/papers/assets/e020fa9a38c313a3d8657ba9b84fcabe6d57fe8828c5f51d5312e91fb1e1fc01.png)](/content/papers/assets/e020fa9a38c313a3d8657ba9b84fcabe6d57fe8828c5f51d5312e91fb1e1fc01.png)\n\n*Figure 4 de l'article, extraite de la [**page 5 du PDF v2**](https://arxiv.org/pdf/2412.07626v2#page=5). À gauche, la sortie du modèle ; au centre, l'extraction et l'appariement ; à droite, les catégories d'éléments de la vérité terrain.*\n\nLes formats de sortie varient beaucoup d'un modèle à l'autre : tableaux en HTML pour certains, en Markdown pour d'autres ; formules en LaTeX ici, en Unicode là. Comparer directement les chaînes de la page entière serait inéquitable ; les auteurs conçoivent donc une chaîne de notation :\n\n1. **Prétraitement** : suppression des images et des balises Markdown en début de document, normalisation des répétitions de caractères trop longues.\n2. **Extraction** : des expressions régulières extraient successivement les tableaux LaTeX, les tableaux HTML, les formules hors texte, les tableaux Markdown (convertis en HTML) et les blocs de code. Le reste est du texte brut, découpé en paragraphes aux lignes vides.\n3. **Formules en ligne converties en Unicode** : les modèles les écrivent de manières trop disparates. Plutôt que de les noter séparément, les auteurs les convertissent en Unicode et les intègrent au texte.\n4. **Appariement** : le modèle ne découpe pas forcément les paragraphes comme la vérité terrain ; un paragraphe peut être coupé en deux, ou deux fusionnés en un. Les auteurs proposent l'**Adjacency Search Match** : on calcule d'abord la distance d'édition normalisée entre toutes les paires de paragraphes, et les paires dont la similarité dépasse un seuil sont appariées directement. Pour le reste, une correspondance approximative vérifie si l'un est une sous-chaîne de l'autre ; si c'est le cas, on tente de fusionner des paragraphes adjacents jusqu'à ce que la distance d'édition cesse de s'améliorer.\n5. **Éléments ignorés** : en-têtes, pieds de page, numéros de page, notes de bas de page ainsi que légendes des figures et tableaux sont traités de façons trop différentes selon les modèles ; ils participent à l'appariement, mais ne sont pas notés.\n\nUne fois l'appariement fait, chaque type de contenu a son propre indicateur :\n\n- **Texte** : distance d'édition normalisée ; plus elle est basse, mieux c'est.\n- **Tableaux** : tout est converti en HTML pour calculer le TEDS (similarité de structure des tableaux, mesurée par une distance d'édition d'arbres) ; plus il est haut, mieux c'est.\n- **Formules** : le CDM rend les formules en images et vérifie que les positions des caractères correspondent ; plus il est haut, mieux c'est.\n- **Ordre de lecture** : distance d'édition normalisée calculée sur l'ordre des éléments de texte.\n\n### Ce que mesure la distance d'édition\n\nArrêtons-nous un instant sur la distance d'édition du texte. La distance d'édition normalisée, c'est « le nombre de caractères à modifier pour obtenir la bonne réponse », divisé par la longueur.\n\nSupposons une page de 3 000 caractères, sur laquelle le modèle ne fait qu'une erreur : il lit le code de retrait `K7O2` comme `K702`. La distance d'édition de la page vaut $1/3000\\approx0.0003$, un effet quasi nul. Mais si l'on ne regarde que ce champ de 4 caractères, elle vaut $1/4=0.25$, et le champ est devenu inutilisable.\n\nUn indicateur au niveau de la page convient pour comparer la capacité de lecture globale ; quand quelques champs critiques sont faux, il ne le voit presque pas. C'est la portée même de l'indicateur, à connaître quand on l'utilise.\n\n## Discussion\n\n### Outils en plusieurs étapes, VLM spécialisés, VLM généralistes\n\nLes auteurs répartissent les méthodes évaluées en trois catégories :\n\n- **Outils en plusieurs étapes** : MinerU, Marker, Mathpix.\n- **VLM spécialisés** : GOT-OCR, Nougat.\n- **VLM généralistes** : GPT-4o, Qwen2-VL-72B, InternVL2-76B.\n\nGlobalement, les outils en plusieurs étapes comme MinerU et Mathpix obtiennent les meilleurs résultats sur le texte, les formules et les tableaux ; les VLM généralistes restent compétitifs. Presque toutes les méthodes font mieux sur les pages en anglais que sur celles en chinois.\n\nUne fois les résultats séparés par type de document, les choses deviennent plus intéressantes :\n\n[![Distance d'édition du texte sur les neuf types de documents d'OmniDocBench : résultats de MinerU, Marker, Mathpix, GOT-OCR, Nougat, GPT-4o, Qwen2-VL-72B et InternVL2-76B sur les livres, diapositives, rapports financiers, manuels scolaires, sujets d'examen, magazines, articles scientifiques, notes et journaux](/content/papers/assets/13b22f4d607b4a82595fc4d89f10eeb190631df5176a1842c785cbc306f5ea66.png)](/content/papers/assets/13b22f4d607b4a82595fc4d89f10eeb190631df5176a1842c785cbc306f5ea66.png)\n\n*Table 3 de l'article, extraite de la [**page 6 du PDF v2**](https://arxiv.org/pdf/2412.07626v2#page=6). Valeurs : distance d'édition normalisée du texte ; plus elle est basse, mieux c'est.*\n\nRegardons les deux catégories les plus à droite :\n\n| Modèle | Notes | Journaux |\n| --- | ---: | ---: |\n| MinerU | 0,984 | 0,171 |\n| GPT-4o | 0,607 | 0,751 |\n| Qwen2-VL-72B | 0,168 | 0,676 |\n| Nougat | 0,991 | 0,871 |\n\nSur les notes manuscrites, MinerU ne lit presque rien, alors que Qwen2-VL-72B obtient l'un des meilleurs résultats du tableau. Pour les journaux, c'est exactement l'inverse : MinerU obtient 0,171, et les VLM généralistes sont tous au-dessus de 0,67.\n\nL'explication des auteurs : les données d'entraînement des VLM généralistes sont très vastes, ce qui les aide face aux formats rares et aux dégradations d'image comme le flou, les filigranes ou les fonds colorés ; mais sur une page aussi dense qu'un journal, limités par la résolution d'entrée et la longueur en tokens, les VLM ne parviennent souvent pas à tout lire. Les outils en plusieurs étapes découpent d'abord la mise en page et traitent les blocs un à un ; ils sont donc plus stables sur les mises en page complexes.\n\nSur les mises en page multicolonnes et complexes, l'ordre de lecture se dégrade nettement pour toutes les méthodes.\n\nDans leur conclusion, les auteurs recommandent de doter les VLM d'une conscience de la mise en page et de les affiner par domaine. Depuis, pendant plus d'un an, le domaine a suivi à peu près cette voie : de petits VLM qui traitent « d'abord la mise en page, ensuite la reconnaissance », comme PaddleOCR-VL et MinerU2.5, se sont hissés en tête de ce benchmark.\n\n### Les versions suivantes\n\nOmniDocBench a été régulièrement révisé depuis ; l'article décrit la v1.0 :\n\n- **v1.5** (septembre 2025) : 374 pages ajoutées ; la résolution des images de journaux et de notes passe de 72 DPI à 200 DPI ; les pages chinoises et anglaises sont équilibrées, et la part des formules augmente. Les scores ne sont plus séparés par langue, et le score global devient $\\big((1-\\text{distance d'édition du texte})\\times100+\\text{TEDS des tableaux}+\\text{CDM des formules}\\big)/3$.\n- **v1.6** (avril 2026) : 296 pages plus difficiles s'y ajoutent, par exemple des tableaux imbriqués, des formules denses et des mises en page inhabituelles, soit 1 651 pages au total ; l'appariement n'ajuste désormais la granularité du découpage que du côté des prédictions.\n\nDans le classement v1.6 du README officiel, les premières places reviennent toutes à des modèles spécialisés d'environ un milliard de paramètres, avec des scores globaux proches de 97. [OmniDocBench README](https://github.com/opendatalab/OmniDocBench)\n\n### Les critiques extérieures\n\nÀ mesure que les scores approchaient du plafond, certains ont commencé à douter que ce benchmark puisse encore départager les modèles.\n\nEn février 2026, Jerry Liu, de LlamaIndex, estime dans un billet qu'OmniDocBench approche de la saturation et que ses types de documents sont plutôt simples : 1 355 pages, 9 types, une prépondérance d'articles scientifiques, et peu de place pour les rapports et présentations financiers complexes, les documents juridiques, les déclarations de sinistre et les formulaires. Il cite aussi des exemples tirés de son propre produit : un tableau correctement scindé en deux, ou une notation scientifique exprimée en HTML plutôt qu'en LaTeX, ont un sens exact mais dégradent fortement le TEDS et la distance d'édition. Il plaide pour une notation qui privilégie l'exactitude sémantique plutôt que la conformité stricte du format. [LlamaIndex, 2026-02-24](https://www.llamaindex.ai/blog/omnidocbench-is-saturated-what-s-next-for-ocr-benchmarks)\n\nLlamaIndex a son propre produit d'analyse de documents, et tous les exemples du billet viennent de ses sorties : sa position est à prendre en compte. Cela dit, le problème d'« une vérité terrain unique trop stricte sur le format », l'article l'avait lui-même perçu : les auteurs ont investi beaucoup d'efforts dans l'extraction des éléments, la fusion des paragraphes et les règles d'exclusion, précisément pour limiter les erreurs de jugement dues aux différences de format.\n\n## Conclusion\n\nOmniDocBench rend l'évaluation de l'analyse de documents bien plus fine qu'auparavant :\n\n1. **Neuf types de documents, 981 pages, plus de 100 000 annotations**, qui couvrent la mise en page, l'ordre de lecture, les attributs et les relations de rattachement.\n2. **Extraire, apparier, puis noter chaque contenu avec son propre indicateur** : distance d'édition pour le texte, TEDS pour les tableaux, CDM pour les formules, afin de réduire autant que possible l'effet des différences de format.\n3. **Les différences n'apparaissent qu'en détaillant** : les outils en plusieurs étapes excellent sur les journaux et les rapports financiers, les VLM généralistes sur les notes manuscrites et les images dégradées, et les mises en page multicolonnes sont difficiles pour tous.\n\nSes indicateurs travaillent à l'échelle de la page entière et conviennent pour comparer la capacité de lecture globale. Pour savoir si un numéro ou un nom propre précis a été bien lu, il faut d'autres tests.\n","imageSizes":{"/content/papers/assets/e020fa9a38c313a3d8657ba9b84fcabe6d57fe8828c5f51d5312e91fb1e1fc01.png":{"width":688,"height":422},"/content/papers/assets/13b22f4d607b4a82595fc4d89f10eeb190631df5176a1842c785cbc306f5ea66.png":{"width":1377,"height":319}}}