Datalab ha lanzado OmniParseBench, un benchmark de OCR abierto para analizadores de documentos. Evalúa los analizadores con 16,288 pruebas de sí/no sobre 2,937 páginas de 2,343 documentos. Las páginas abarcan 92 idiomas. El conjunto de datos y el código son públicos. Ayuda a los ingenieros a responder una pregunta más precisa que la que resuelve una tabla de clasificación: ¿qué analizador maneja documentos como los míos? Datalab vende un analizador, y su propia configuración superior, Datalab accurate, ocupa el segundo puesto en la tabla de clasificación del lanzamiento, detrás de Gemini 3.8 Flash.
¿Es desplegable? Sí. OmniParseBench es un entorno de evaluación, no un modelo. Se instala con uv pip install omni-parse-bench, requiere Python 3.11+, y evalúa los resultados sin conexión y sin claves de API.
TL;DR
- Tamaño: 16,288 pruebas, 2,937 páginas, 2,343 documentos, 22 suites, 92 idiomas.
- Se ejecuta en: cualquier máquina con Python 3.11+. La evaluación no necesita red. Las ejecuciones de proveedores requieren la clave de API de cada proveedor.
- Rendimiento: los 3 mejores sistemas reportados están dentro de 1.3 puntos titulares.
- Mejor: Gemini 3.8 Flash lidera con 92.9; Datalab accurate le sigue con 92.7.*
- En resumen: cada puntuación es una proporción de pruebas de aprobación/reprobación, segmentable por etiqueta.
* usado en la construcción de algunas pruebas
¿Qué es OmniParseBench?
OmniParseBench es un benchmark de análisis de documentos de Datalab donde cada prueba es una pregunta de sí/no sobre 1 página. La puntuación de un analizador es la proporción de pruebas que aprueba. Datalab lo construyó para que sea claro, auditable y explorable.
¿Por qué construir otro benchmark de OCR?
Datalab señala dos problemas con los benchmarks existentes. olmOCR-bench demostró que las pruebas unitarias de aprobación/reprobación funcionan. Datalab ahora lo considera saturado. En su opinión, los sistemas líderes se separan por convenciones de salida y sobreajuste, no por capacidad de lectura. Cada prueba de olmOCR-bench también se sitúa en 1 solo grupo, definido por la fuente de su página. Una tabla manuscrita se promedia en el grupo en el que su página haya caído.
ParseBench de LlamaIndex divide el análisis en 5 capacidades, cada una con su propia métrica. Datalab argumenta que esas puntuaciones no comparten unidad, por lo que no pueden compararse ni combinarse de manera limpia.
¿Cómo funciona la puntuación de OmniParseBench?
La puntuación final es la media de 3 puntuaciones de familia: texto, tablas y diseño. Cinco tipos de prueba alimentan esas familias:
- present: aparece un texto, número o ecuación (texto)
- order: el texto A viene antes que el texto B (texto)
- repeat: una línea aparece exactamente N veces (texto)
- table_cell: una celda se sitúa bajo encabezados dados y junto a vecinos dados (tablas)
- layout_kind: el bloque que contiene una línea es un encabezado, texto o tabla (diseño)
Los números deben coincidir dígito a dígito, aunque 1,240 coincide con 1240. Las ecuaciones se comparan por lo que renderiza KaTeX, por lo que \frac{a}{b} equivale a \dfrac{a}{b}. Cada decisión es pass, fail, unsupported o error. Las 2 últimas se excluyen de todas las puntuaciones. Ningún modelo juzga las salidas; el scorer es código abierto.
¿Qué añaden las etiquetas y las derivaciones?
Una prueba verifica uno o más args, cada uno de los cuales es el contenido en un lugar de la página. Cada arg lleva etiquetas en 5 ejes: estructura, renderizado, rol, escritura e idioma. Las escrituras usan códigos ISO 15924; los idiomas usan códigos ISO 639-3. Las etiquetas nunca deciden un veredicto ni el titular. Solo seleccionan pruebas, de modo que cualquier porción obtiene su propia puntuación.
La etiqueta de tabla cubre 6,767 pruebas en 1,000 páginas de 875 documentos. El inglés cubre 10,089 pruebas. Los idiomas no ingleses cubren 1,931 pruebas en 529 páginas de 321 documentos.
Cada prueba también registra su derivación, es decir, cómo se estableció su respuesta. Hay 10 derivaciones. Incluyen JATS XML del editor, la capa de texto del PDF, páginas autoradas, pruebas de olmOCR-bench, paneles de modelos y revisión humana.
¿Cuáles son los resultados de lanzamiento de OmniParseBench?
| Parser | Titular | Texto | Tablas | Diseño |
| Gemini 3.8 Flash* | 92.9 | 91.3 | 95.2 | 92.2 |
| Datalab accurate | 92.7 | 90.8 | 91.8 | 95.6 |
| Datalab balanced | 91.6 | 90.0 | 89.2 | 95.5 |
| Reducto | 90.8 | 85.4 | 91.2 | 95.8 |
| LlamaParse | 90.4 | 88.2 | 92.6 | 90.4 |
| Mistral OCR | 89.5 | 82.8 | 91.9 | 93.8 |
| Claude Sonnet 5.5* | 88.7 | 93.1 | 95.4 | 77.5 |
| GPT-5.6 Sol | 87.8 | 85.4 | 91.6 | 86.5 |
| Extend | 83.3 | 64.1 | 92.5 | 93.4 |
| Azure | 83.0 | 74.6 | 81.7 | 92.8 |
| Tesseract | none | 17.6 | 0.0 | unsupported |
*Usado en la creación y verificación de al menos algunas pruebas, según Datalab.
Claude Sonnet 5.5 logra las mejores puntuaciones en texto (93.1) y tablas (95.4). Su puntuación de diseño de 77.5 eleva su titular a 88.7. Reducto lidera en diseño con 95.8. Datalab también representó cada titular frente a la latencia mediana y el precio por 1,000 páginas. La latencia se midió en 200 páginas muestreadas, enviadas de 8 en 8.
Datalab no encabeza su propio benchmark. Señala los dos modelos que ayudaron a construir las pruebas, y advierte a los lectores que sopesen el hecho de que vende un parser. Se compromete a publicar las puntuaciones de OmniParseBench para futuras versiones. Su consejo: el mejor benchmark son sus propios documentos.
¿Cómo se ejecuta OmniParseBench?
Copiar códigouv pip install omni-parse-bench # score(): no network, no API keys
uv pip install 'omni-parse-bench[harness]' # + vendor adapters, to predict
uv pip install 'omni-parse-bench[benchmark]' # + dataset access, to run the benchmark
opb benchmark --out runs/ --limit 5 --providers datalab openai/gpt-5.6-solLos proveedores necesitan claves como DATALAB_API_KEY u OPENROUTER_API_KEY. La CLI muestra su plan y pregunta antes de llamar a cualquier proveedor. Las ejecuciones son reanudables. La guía de consultas muestra cómo comparar ejecuciones por etiqueta, suite o tipo de prueba.
OmniParseBench vs olmOCR-bench vs ParseBench vs OmniDocBench
| Característica | OmniParseBench | olmOCR-bench | ParseBench | OmniDocBench |
| Mantenedor | Datalab | Ai2 | LlamaIndex | OpenDataLab |
| Scale | 16,288 pruebas, 2,937 páginas, 2,343 documentos | 7,010 pruebas, 1,403 PDF | 169,011 reglas, 2,078 páginas, 1,211 documentos | 1,651 páginas de PDF |
| Idiomas | 92 | Inglés | No divulgado | 5 tipos de idioma |
| Unidad de puntuación | Prueba de aprobación/rechazo; titular = media de 3 familias | Pruebas unitarias de aprobación/rechazo | 5 dimensiones, cada una con su propia métrica | Global a partir de la distancia de edición de texto, TEDS de tablas, CDM de fórmulas |
| Juez de modelo | Ninguno | No se usa para la puntuación | Ninguno por defecto (opcional para gráficos) | No se usa para la puntuación |
| Etiquetas de contenido | Por argumento: estructura, renderizado, rol, script, idioma | 7 categorías de fuente | 5 dimensiones de capacidad | Atributos de página, texto y tabla |
| Procedencia por prueba | Sí, derivación en cada prueba | Método de extracción por categoría | Páginas verificadas por humanos | No por prueba |
| Latencia y costo | Mediana de s/página, $ por 1,000 páginas | No está en la ficha del dataset | ¢ por página en el leaderboard | No divulgado |
| Licencia | Código Apache 2.0; pruebas CC BY 4.0 con excepciones; datos de páginas con licencia según la fuente | Dataset ODC-BY 1.0 | Apache 2.0 | Código Apache 2.0; datos solo para investigación |
Conclusiones clave
- 16,288 pruebas de sí/no sobre 2,937 páginas en 92 idiomas.
- El titular = media de las tasas de aprobación de texto, tablas y diseño.
- Las etiquetas dividen los resultados; nunca cambian un veredicto.
- Datalab lo construyó y ocupa el segundo lugar: Gemini 3.8 Flash 92.9*, Datalab accurate 92.7.
- Código Apache 2.0; la evaluación se ejecuta sin conexión y sin claves de API.
* usado en la construcción de algunas pruebas
Consulta el blog post, dataset y repositorio de GitHub.
Gracias al equipo de Datalab por los recursos detrás de este artículo. Datalab apoyó y patrocinó este contenido.
La entrada Datalab lanza OmniParseBench: un benchmark de OCR abierto con 16,288 pruebas de aprobación/reprobación para auditar analizadores de OCR apareció primero en MarkTechPost.