Datalab이 공개했습니다 OmniParseBench, 문서 파서를 위한 공개 OCR 벤치마크입니다. 이 벤치마크는 2,343개 문서의 2,937페이지에 걸친 16,288개의 예/아니오 테스트로 파서를 평가합니다. 해당 페이지들은 92개 언어에 걸쳐 있습니다. 이 데이터셋 그리고 code 공개되어 있습니다. 이는 엔지니어들이 리더보드보다 더 날카로운 질문, 즉 나와 같은 문서는 어떤 파서가 잘 처리하는가라는 질문에 답하는 데 도움을 줍니다. Datalab은 파서를 판매하고 있으며, 자체 최고 설정인 Datalab accurate는 출시 리더보드에서 Gemini 3.8 Flash에 이어 2위를 차지했습니다.
배포 가능한가요? 네. OmniParseBench는 모델이 아니라 평가 하네스입니다. `uv pip install omni-parse-bench`로 설치하며, Python 3.11+이 필요하고, API 키 없이 오프라인으로 출력을 채점합니다.
핵심 요약
- 크기: 16,288개 테스트, 2,937페이지, 2,343개 문서, 22개 스위트, 92개 언어.
- 실행 환경: Python 3.11+이 설치된 모든 기기에서 실행할 수 있습니다. 채점에는 네트워크가 필요 없습니다. 벤더 실행에는 각 벤더의 API 키가 필요합니다.
- 성능: 보도된 상위 3개 시스템은 1.3헤드라인 포인트 이내에 자리하고 있습니다.
- 최고: Gemini 3.8 Flash가 92.9로 선두이며, Datalab accurate가 92.7로 그 뒤를 따릅니다.*
- 핵심 요약: 모든 점수는 합격/불합격 테스트의 비율이며, 태그별로 슬라이스할 수 있습니다.
* 일부 테스트를 구축하는 데 사용됨
OmniParseBench란 무엇인가?
OmniParseBench Datalab에서 만든 문서 파싱 벤치마크로, 모든 테스트는 1페이지에 대한 예/아니오 질문입니다. 파서의 점수는 통과한 테스트의 비율입니다. Datalab은 이를 명확하고, 감사 가능하며, 탐색하기 쉽게 만들었습니다.
왜 또 다른 OCR 벤치마크를 만들었을까요?
Datalab은 기존 벤치마크의 두 가지 문제를 지적합니다. olmOCR-bench 통과/실패 단위 테스트가 작동한다는 것이 입증되었습니다. Datalab은 이제 이를 포화(saturated) 상태라고 부릅니다. 이 기준에 따르면 상위 시스템들 사이의 차이는 읽기 능력이 아니라 출력 규약과 과적합(overfitting)에서 비롯된 것입니다. 또한 olmOCR-bench의 각 테스트는 해당 페이지의 출처에 따라 정해진 1개의 버킷에 속합니다. 손으로 작성된 표는 그 페이지가 속한 버킷의 평균에 반영됩니다.
ParseBench LlamaIndex는 파싱을 5가지 기능으로 나누고 각각 별도의 지표를 둡니다. Datalab은 그 점수들이 공유하는 단위가 없어 깔끔하게 비교하거나 결합할 수 없다고 주장합니다.
OmniParseBench 점수 산정은 어떻게 작동하나요?
최종 점수는 3개 계열 점수, 즉 텍스트, 표, 레이아웃의 평균입니다. 다섯 가지 테스트 유형이 이 계열들에 반영됩니다:
- present: 텍스트, 숫자 또는 수식이 나타남 (텍스트)
- order: 텍스트 A가 텍스트 B보다 앞에 옴 (텍스트)
- repeat: 한 줄이 정확히 N번 나타남 (텍스트)
- table_cell: 셀이 주어진 제목 아래, 주어진 이웃 셀 옆에 위치함 (표)
- layout_kind: 한 줄을 담고 있는 블록이 제목, 텍스트 또는 표임 (레이아웃)
숫자는 자릿수까지 일치해야 하지만, 1,240은 1240과 일치로 간주됩니다. 수식은 KaTeX가 렌더링한 결과로 비교하므로 \frac{a}{b}는 \dfrac{a}{b}와 같습니다. 각 판정은 pass, fail, unsupported 또는 error 중 하나입니다. 마지막 2가지는 모든 점수에서 제외됩니다. 모델이 출력을 판단하지 않으며, 채점기는 공개된 코드입니다.
태그와 도출 방식은 무엇을 더하나요?
각 테스트는 하나 이상의 arg를 검사하며, 각 arg는 페이지의 한 위치에 있는 콘텐츠입니다. 각 arg는 구조, 렌더링, 역할, 문자 체계, 언어의 5축에 걸쳐 태그를 가집니다. 문자 체계는 ISO 15924 코드를 사용하고, 언어는 ISO 639-3 코드를 사용합니다. 태그는 판정이나 헤드라인 점수에 절대 영향을 주지 않습니다. 태그는 테스트를 선택하는 용도로만 쓰이므로 어떤 슬라이스든 자체 점수를 얻을 수 있습니다.
table 태그는 875개 문서의 1,000페이지에 걸친 6,767개 테스트를 다룹니다. 영어는 10,089개 테스트를 다룹니다. 비영어권 언어는 321개 문서의 529페이지에 걸친 1,931개 테스트를 다룹니다.
모든 테스트는 자신의 도출 방식, 즉 그 답이 어떻게 확립되었는지를 기록합니다. 다음의 10가지 도출 방식이 있으며, 출판사 JATS XML, PDF 텍스트 레이어, 직접 작성된 페이지, olmOCR-bench 테스트, 모델 패널, 사람의 검토 등이 포함됩니다.
OmniParseBench 출시 결과는 무엇인가요?
| 파서 | 헤드라인 | 텍스트 | 표 | 레이아웃 |
| Gemini 3.8 Flash* | 92.9 | 91.3 | 95.2 | 92.2 |
| Datalab accurate | 92.7 | 90.8 | 91.8 | 95.6 |
| Datalab balanced | 91.6 | 90.0 | 89.2 | 95.5 |
| Reducto | 90.8 | 85.4 | 91.2 | 95.8 |
| LlamaParse | 90.4 | 88.2 | 92.6 | 90.4 |
| Mistral OCR | 89.5 | 82.8 | 91.9 | 93.8 |
| Claude Sonnet 5.5* | 88.7 | 93.1 | 95.4 | 77.5 |
| GPT-5.6 Sol | 87.8 | 85.4 | 91.6 | 86.5 |
| Extend | 83.3 | 64.1 | 92.5 | 93.4 |
| Azure | 83.0 | 74.6 | 81.7 | 92.8 |
| Tesseract | 없음 | 17.6 | 0.0 | 미지원 |
*일부 테스트를 생성하고 검증하는 데 사용됨. 자세한 내용은 Datalab.
Claude Sonnet 5.5는 텍스트(93.1)와 표(95.4)에서 최고 점수를 기록합니다. 레이아웃 점수가 77.5라서 헤드라인 점수는 88.7이 됩니다. Reducto는 레이아웃에서 95.8로 선두입니다. Datalab은 또한 각 헤드라인 점수를 중앙값 지연 시간 및 1,000페이지당 가격과 대비한 그래프도 제시했습니다. 지연 시간은 200개의 표본 페이지를 한 번에 8개씩 전송하여 측정했습니다.
Datalab은 자체 벤치마크에서 1위를 차지하지 않습니다. 테스트 작성에 도움을 준 두 모델을 표시해 두었고, 자사가 파서를 판매한다는 사실을 독자가 감안하라고 안내합니다. 또한 향후 릴리스에 대해 OmniParseBench 점수를 보고하겠다고 약속합니다. 그 조언은 이렇습니다. 가장 좋은 벤치마크는 바로 여러분 자신의 문서입니다.
OmniParseBench는 어떻게 실행하나요?
코드 복사uv pip install omni-parse-bench # score(): no network, no API keys
uv pip install 'omni-parse-bench[harness]' # + vendor adapters, to predict
uv pip install 'omni-parse-bench[benchmark]' # + dataset access, to run the benchmark
opb benchmark --out runs/ --limit 5 --providers datalab openai/gpt-5.6-sol벤더를 사용하려면 DATALAB_API_KEY 또는 OPENROUTER_API_KEY 같은 키가 필요합니다. CLI는 실행 계획을 보여주고 벤더를 호출하기 전에 확인을 요청합니다. 실행은 재개 가능합니다. 이 쿼리 가이드 는 태그, 스위트 또는 테스트 유형별로 실행을 비교하는 방법을 보여줍니다.
OmniParseBench vs olmOCR-bench vs ParseBench vs OmniDocBench
| 항목 | OmniParseBench | olmOCR-bench | ParseBench | OmniDocBench |
| 관리자 | Datalab | Ai2 | LlamaIndex | OpenDataLab |
| Scale | 16,288 tests, 2,937 pages, 2,343 docs | 7,010 tests, 1,403 PDFs | 169,011 rules, 2,078 pages, 1,211 docs | 1,651 PDF pages |
| 언어 | 92 | 영어 | 미공개 | 5가지 언어 유형 |
| 채점 단위 | 합격/불합격 테스트; 헤드라인 = 3개 패밀리의 평균 | 합격/불합격 단위 테스트 | 5개 차원, 각각 고유한 지표 보유 | 전체 점수는 텍스트 편집 거리, 표 TEDS, 수식 CDM에서 산출 |
| 모델 심판 | 없음 | 채점에 사용되지 않음 | 기본값 없음 (차트의 경우 옵트인) | 채점에 사용되지 않음 |
| 콘텐츠 태그 | 인자별: 구조, 렌더링, 역할, 스크립트, 언어 | 7개 소스 카테고리 | 5개 역량 차원 | 페이지, 텍스트 및 표 속성 |
| 테스트별 출처 정보 | 예, 모든 테스트에 파생 정보 포함 | 카테고리별 추출 방법 | 사람이 검증한 페이지 | 테스트별로는 아님 |
| 지연 시간 및 비용 | 페이지당 중앙값 초, 1,000페이지당 달러 | 데이터셋 카드에는 없음 | 리더보드 기준 페이지당 ¢ | 미공개 |
| 라이선스 | 코드 Apache 2.0; 테스트는 CC BY 4.0(예외 있음); 페이지 데이터는 소스별 라이선스 적용 | 데이터셋 ODC-BY 1.0 | Apache 2.0 | 코드 Apache 2.0; 데이터는 연구 전용 |
핵심 요약
- 92개 언어의 2,937개 페이지에 대한 16,288개의 예/아니오 테스트.
- 헤드라인 = 텍스트, 표, 레이아웃 통과율의 평균.
- 태그는 결과를 슬라이스할 뿐이며, 판정을 절대 바꾸지 않습니다.
- Datalab이 이 벤치마크를 만들었으며 2위를 기록했습니다: Gemini 3.8 Flash 92.9*, Datalab accurate 92.7.
- Apache 2.0 코드; 점수 산정은 API 키 없이 오프라인으로 실행됩니다.
* 일부 테스트 제작에 사용됨
다음을 확인해 보세요: 블로그 글, 데이터셋 그리고 GitHub 저장소.
이 기사의 자원을 제공한 Datalab 팀에게 감사드립니다. Datalab은 이 콘텐츠를 지원하고 후원했습니다.
다음 글 Datalab, OCR 파서를 감사하기 위한 16,288개의 통과/실패 테스트를 갖춘 공개 OCR 벤치마크 OmniParseBench 공개 이 최초 게시되었습니다: MarkTechPost.