Datalab veröffentlicht OmniParseBench: Ein offener OCR-Benchmark mit 16,288 Bestanden/Durchgefallen-Tests zur Prüfung von OCR-Parsern

Datalab hat OmniParseBenchveröffentlicht, einen offenen OCR-Benchmark für Dokumentenparser. Er bewertet Parser mit 16,288 Ja/Nein-Tests auf 2,937 Seiten aus 2,343 Dokumenten. Die Seiten umfassen 92 Sprachen. Der Datensatz und der Code sind öffentlich. Er hilft Ingenieuren, eine präzisere Frage zu beantworten als es eine Bestenliste tut: Welcher Parser verarbeitet Dokumente wie meine? Datalab verkauft einen Parser, und seine eigene Top-Einstellung, Datalab accurate, belegt den zweiten Platz auf der Launch-Bestenliste, hinter Gemini 3.8 Flash.

Ist er einsetzbar? Ja. OmniParseBench ist ein Evaluations-Framework, kein Modell. Es wird mit uv pip install omni-parse-bench installiert, benötigt Python 3.11+ und bewertet Ausgaben offline ohne API-Schlüssel.

TL;DR

• Größe: 16,288 Tests, 2,937 Seiten, 2,343 Dokumente, 22 Suiten, 92 Sprachen.
• Läuft auf: jedem Rechner mit Python 3.11+. Die Bewertung benötigt kein Netzwerk. Hersteller-Runs benötigen den API-Schlüssel des jeweiligen Anbieters.
• Leistung: die Top 3 der gemeldeten Systeme liegen innerhalb von 1,3 Punkten in der Schlagzeilenwertung.
• Bestes: Gemini 3.8 Flash führt mit 92.9; Datalab accurate folgt mit 92.7.*
• Fazit: jeder Score ist ein Anteil der Bestanden/Durchgefallen-Tests, aufschlüsselbar nach Tag.

* verwendet beim Aufbau einiger Tests

Was ist OmniParseBench?

OmniParseBench ist ein Dokumentenparsierungs-Benchmark von Datalab, bei dem jeder Test eine Ja/Nein-Frage zu genau 1 Seite ist. Der Score eines Parsers ist der Anteil der bestandenen Tests. Datalab hat ihn so konzipiert, dass er klar, prüfbar und erkundbar ist.

Warum einen weiteren OCR-Benchmark bauen?

Datalab nennt zwei Probleme bestehender Benchmarks. olmOCR-bench hat gezeigt, dass Bestanden/Durchgefallen-Unit-Tests funktionieren. Datalab bezeichnet ihn inzwischen als gesättigt. Aus seiner Sicht werden Top-Systeme durch Ausgabekonventionen und Überanpassung getrennt, nicht durch Lesefähigkeit. Zudem liegt jeder olmOCR-bench-Test in genau 1 Bucket, festgelegt durch die Quelle seiner Seite. Eine handschriftliche Tabelle wird in den Bucket gemittelt, in dem ihre Seite gelandet ist.

ParseBench von LlamaIndex unterteilt das Parsing in 5 Fähigkeiten, jede mit einer eigenen Metrik. Datalab argumentiert, dass diese Punktzahlen keine gemeinsame Einheit haben und sich daher nicht sauber vergleichen oder kombinieren lassen.

Wie funktioniert die Bewertung von OmniParseBench?

Die Gesamtpunktzahl ist der Mittelwert von 3 Familienwerten: Text, Tabellen und Layout. Fünf Testtypen speisen diese Familien:

• present: ein Text, eine Zahl oder eine Gleichung erscheint (Text)
• order: Text A kommt vor Text B (Text)
• repeat: eine Zeile erscheint genau N Mal (Text)
• table_cell: eine Zelle sitzt unter bestimmten Überschriften und neben bestimmten Nachbarn (Tabellen)
• layout_kind: der Block, der eine Zeile enthält, ist eine Überschrift, Text oder Tabelle (Layout)

Zahlen müssen zifferngenau übereinstimmen, wobei 1,240 dem 1240 entspricht. Gleichungen werden anhand dessen verglichen, was KaTeX rendert, sodass \frac{a}{b} gleich \dfrac{a}{b} ist. Jede Entscheidung lautet pass, fail, unsupported oder error. Die letzten 2 werden aus jeder Wertung ausgeschlossen. Kein Modell beurteilt die Ausgaben; der Scorer ist offener Code.

Was bringen Tags und Herleitungen?

Ein Test prüft ein oder mehrere Args, wobei jedes Arg der Inhalt an einer Stelle der Seite ist. Jedes Arg trägt Tags auf 5 Achsen: Struktur, Rendering, Rolle, Schrift und Sprache. Schriften verwenden ISO 15924-Codes; Sprachen verwenden ISO 639-3-Codes. Tags entscheiden nie über ein Urteil oder das Hauptergebnis. Sie wählen nur Tests aus, sodass jeder Ausschnitt seine eigene Punktzahl erhält.

Das Table-Tag umfasst 6,767 Tests auf 1,000 Seiten aus 875 Dokumenten. Englisch umfasst 10,089 Tests. Nicht-englische Sprachen umfassen 1,931 Tests auf 529 Seiten aus 321 Dokumenten.

Jeder Test verzeichnet auch seine Herleitung, also wie seine Antwort festgestellt wurde. Es gibt 10 Herleitungen. Dazu gehören Publisher-JATS-XML, die PDF-Textebene, verfasste Seiten, olmOCR-bench-Tests, Modell-Panels und menschliche Überprüfung.

Was sind die Launch-Ergebnisse von OmniParseBench?

*Wurde beim Erstellen und Überprüfen mindestens einiger Tests verwendet, laut Datalab.

Claude Sonnet 5.5 erreicht die besten Werte bei Text (93.1) und Tabellen (95.4). Sein Layout-Wert von 77.5 bringt seinen Gesamtwert auf 88.7. Reducto führt bei Layout mit 95.8. Datalab hat außerdem jeden Gesamtwert gegen die mediane Latenz und den Preis pro 1,000 Seiten aufgetragen. Die Latenz wurde auf 200 abgetasteten Seiten gemessen, die jeweils 8 gleichzeitig gesendet wurden.

Datalab steht nicht an der Spitze seines eigenen Benchmarks. Es kennzeichnet die beiden Modelle, die beim Aufbau der Tests geholfen haben, und weist die Leser darauf hin, dass es selbst einen Parser verkauft. Es verpflichtet sich, OmniParseBench-Werte für künftige Versionen zu veröffentlichen. Sein Rat: Der beste Benchmark sind Ihre eigenen Dokumente.

Wie führt man OmniParseBench aus?

uv pip install omni-parse-bench                 # score(): no network, no API keys
uv pip install 'omni-parse-bench[harness]'      # + vendor adapters, to predict
uv pip install 'omni-parse-bench[benchmark]'    # + dataset access, to run the benchmark
opb benchmark --out runs/ --limit 5 --providers datalab openai/gpt-5.6-sol

Anbieter benötigen Schlüssel wie DATALAB_API_KEY oder OPENROUTER_API_KEY. Die CLI zeigt ihren Plan an und fragt nach, bevor sie einen Anbieter aufruft. Läufe können fortgesetzt werden. Die Query-Anleitung zeigt, wie man Läufe nach Tag, Suite oder Testtyp vergleicht.

OmniParseBench vs olmOCR-bench vs ParseBench vs OmniDocBench

Wichtigste Erkenntnisse

• 16,288 Ja/Nein-Tests auf 2,937 Seiten in 92 Sprachen.
• Schlagzeile = Mittelwert der Bestehensquoten für Text, Tabellen und Layout.
• Tags unterteilen die Ergebnisse; sie ändern niemals ein Urteil.
• Datalab hat es entwickelt und belegt den zweiten Platz: Gemini 3.8 Flash 92,9*, Datalab accurate 92,7.
• Apache-2.0-Code; die Bewertung läuft offline ohne API-Schlüssel.

* bei der Erstellung einiger Tests verwendet

Sehen Sie sich den Blogbeitrag, Datensatz und GitHub-Repository.

_{Dank an das Datalab-Team für die Ressourcen hinter diesem Artikel. Datalab hat diesen Inhalt unterstützt und gesponsert.}

Der Beitrag Datalab veröffentlicht OmniParseBench: Ein offener OCR-Benchmark mit 16,288 Bestanden/Durchgefallen-Tests zur Prüfung von OCR-Parsern erschien zuerst auf MarkTechPost.