DatalabがOmniParseBenchをリリース：OCRパーサーを監査するための16,288回の通過/失敗テストを含むオープン型OCRベンチマーク

Datalabは、文書パーサーのオープンOCRベンチマークであるOmniParseBenchをリリースしました。このベンチマークは、2,343件の文書からなる2,937ページにわたる16,288回のyes/noテストでパーサーの評価を行います。これらのページは92の言語で構成されています。データセットとコードは公開されています。これにより、エンジニアはランキングボードではなく、より明確な問いに答えることができます。つまり、「私のような文書を処理できるパーサーはどれか」という問いです。Datalabはパーサーを販売しており、自社製の最高レベルのパーサーであるDatalab accurateは、Gemini 3.8 Flashに次いでリリースランキングで2位となっています。

デプロイ可能ですか？ はい。OmniParseBenchは評価ハーベスターであり、モデルではありません。uv pip install omni-parse-benchでインストールし、Python 3.11+が必要です。APIキーを使用せずにオフラインでスコアを出力できます。

TL;DR

• サイズ： 16,288テスト、2,937ページ、2,343文書、22スイート、92言語。
• 対応機器：Python 3.11+を搭載した任意のマシン。スコアリングにはネットワークは不要です。ベンダー実行には各ベンダーのAPIキーが必要です。
• パフォーマンス：上位3システムは1.3ポイント以内に位置しています。
• 最優秀: ジェミニ 3.8フラッシュが92.9で首位、ダタラブの正確な結果が92.7で続く。*
• 結論：すべてのスコアはパス/失敗テストの割合であり、タグによって分割可能です。

* 一部のテストの構築に使用される

OmniParseBenchとは何ですか？

OmniParseBenchは、Datalabが提供する文書解析ベンチマークであり、各テストは1ページに関するはい/いいえの質問です。パーサーのスコアは、そのパーサーが通過したテストの割合です。Datalabは、明確で監査可能かつ探索可能であるようにこのベンチマークを構築しました。

なぜ別のOCRベンチマークを作成するのか？

Datalabは既存のベンチマークに2つの問題があると指摘している。olmOCR-benchでは、通過/失敗のユニットテストが機能することがわかった。Datalabは今やそれを飽和状態だと呼んでいる。彼らの見解では、トップシステムは読み取ることではなく、出力の慣例とオーバーフィットによって分けられる。各olmOCR-benchテストも、そのページのソースによって決められる1つのバケットに入る。手書きの表は、そのページが入ったバケットに平均される。

ParseBench は LlamaIndex によって、パーラーパリングを5つの機能に分け、それぞれ独自の指標を持つとしている。Datalab は、これらのスコアには単位が共通しないため、比較や組み合わせはできないと主張している。

OmniParseBenchのスコアリングはどのように機能するのか？

最終スコアは、テキスト、表、レイアウトの3つの家族スコアの平均値です。5種類のテストタイプがこれらの家族を生成します：

• 表示される：テキスト、数値、または方程式が表示されます（テキスト）
• 順序：テキストAがテキストBの前に来る（テキスト）
• 繰り返し：1行が正確にN回表示される（テキスト）
• table_cell：ある見出しの下に、また隣接するテーブルに位置するセル
• レイアウト種類：行が含まれるブロックは、見出し、テキスト、または表（レイアウト）です

数字は桁ごとに一致しなければならないが、1,240は1240と一致する。方程式はKaTeXがレンダリングするものによって比較されるため、\frac{a}{b}は\dfrac{a}{b}と等しい。各決定は通過、失敗、サポートされない、またはエラーとなる。最後の2つはすべてのスコアから除外される。モデルは出力を判断しない；スコーナーはオープンコードである。

タグと派生物は何を加えるのか？

テストは1つ以上の引数をチェックし、各引数はページ上の特定の場所にある内容です。各引数は5つの軸に沿ってタグを持ちます：構造、レンダリング、役割、スクリプト、言語です。スクリプトにはISO 15924コードが、言語にはISO 639-3コードが使用されます。タグは決定を下すことや見出しを決定することはありません。それらはテストを選択するだけなので、どのスライスも独自のスコアを持ちます。

tableタグは、875の文書からなる1,000ページ中の6,767テストをカバーしています。英語は10,089テストをカバーし、非英語言語は321の文書からなる529ページ中の1,931テストをカバーしています。

各テストには派生方法も記録されており、つまり解答がどのように決定されたかがわかります。 10種類の派生方法があります。これらには、JATS XML、PDFテキストレイヤー、著者ページ、olmOCR-benchテスト、モデルパネル、人間によるレビューが含まれます。

OmniParseBenchのリリース結果は何ですか？

*一部のテストの作成や検証に使用されます。 Datalab.

Claude Sonnet 5.5は、トップのテキストスコア（93.1）とテーブルスコア（95.4）を発表している。レイアウトスコアが77.5であるため、見出しスコアは88.7となる。Reductoはレイアウトで95.8のスコアを記録している。Datalabでは、各見出しに対して中央値の遅延時間と1,000ページあたりの価格もプロットされている。遅延時間は、200ページをサンプルし、一度に8ページを送信する方法で測定された。

Datalabは自身のベンチマークでトップに立つことはありません。テストを作成するのに役立った2つのモデルを指摘し、パーサーを販売しているという事実を読者に考えるように促します。今後リリースされる際にはOmniParseBenchのスコアを報告すると約束しています。アドバイスとしては、最良のベンチマークは自分自身の文書であるということです。

OmniParseBenchをどのように実行しますか？

uv pip install omni-parse-bench                 # score(): no network, no API keys
uv pip install 'omni-parse-bench[harness]'      # + vendor adapters, to predict
uv pip install 'omni-parse-bench[benchmark]'    # + dataset access, to run the benchmark
opb benchmark --out runs/ --limit 5 --providers datalab openai/gpt-5.6-sol

ベンダーはDATALAB_API_KEYやOPENROUTER_API_KEYのようなキーが必要です。CLIは計画を表示し、任意のベンダーに呼び出す前に確認を求めます。実行は再開可能です。クエリガイドでは、タグ、スイート、テストタイプによって実行を比較する方法が示されています。

OmniParseBench vs olmOCR-bench vs ParseBench vs OmniDocBench

重要なポイント

• 92言語、2,937ページに16,288のはい/いいえテストを実施した。
• 見出し = テキスト、表、レイアウトの合格率の平均値。
• タグは結果を切り出すものです。それらは判断を変えることはありません。
• Datalabが開発し、2位にランクイン：Gemini 3.8 Flash 92.9*、Datalabの正確性は92.7。
• Apache 2.0コード；APIキーなしでオフラインでスコアリングが行われる。

* 一部のテストの構築に使用される

見てみてください ブログ記事, データセット そして GitHubリポジトリ.

_{この記事の背景にあるリソースはDatalabチームのおかげです。Datalabがこのコンテンツを支援し、資金提供しました。}

DatalabがOmniParseBenchを公開：OCRパーサーを検査するための16,288回の通過/失敗テストを含むオープンOCRベンチマークという記事が、MarkTechPostに最初に掲載されました。