Datalab تطلق OmniParseBench: معيار OCR مفتوح يضم 16,288 اختبار نجاح/فشل لتدقيق محللات OCR

أصدرت Datalab OmniParseBench، وهو معيار OCR مفتوح لمحللات المستندات. يقيّم المعيار المحللات بواسطة 16,288 اختبار بنعم/لا على 2,937 صفحة من 2,343 مستنداً. تمتد الصفحات عبر 92 لغة. الـ dataset والـ code متاحان للعموم. يساعد هذا المهندسين على الإجابة عن سؤال أكثر دقة مما يوفره لوحة الصدارة: أي محلل يتعامل مع مستندات مثل مستنداتي؟ تبيع Datalab محللاً، وأفضل إعداد لديها، وهو Datalab accurate، يحتل المرتبة الثانية في لوحة صدارة الإطلاق، خلف Gemini 3.8 Flash.

هل هو قابل للنشر؟ نعم. OmniParseBench هو منصة تقييم، وليس نموذجاً. يُثبَّت بـ uv pip install omni-parse-bench، ويتطلب Python 3.11+، ويقيّم المخرجات دون اتصال وبدون مفاتيح API.

الخلاصة السريعة

• الحجم: 16,288 اختباراً، و2,937 صفحة، و2,343 مستنداً، و22 حزمة اختبارات، و92 لغة.
• يعمل على: أي جهاز به Python 3.11+. لا يحتاج التقييم إلى شبكة. تحتاج تشغيلات المزودين إلى مفتاح API لكل مزود.
• الأداء: أفضل 3 أنظمة مُبلَّغ عنها تقع ضمن 1.3 نقطة في العنوان الرئيسي.
• الأفضل: يتصدر Gemini 3.8 Flash بنتيجة 92.9؛ ويتبعه Datalab accurate بنتيجة 92.7.*
• الخلاصة: كل نتيجة هي نسبة من اختبارات النجاح/الفشل، قابلة للتقطيع حسب الوسم.

* مستخدم في بناء بعض الاختبارات

ما هو OmniParseBench؟

OmniParseBench هو معيار لتحليل المستندات من Datalab حيث يكون كل اختبار سؤالًا بنعم/لا حول 1 صفحة. نتيجة المحلل هي نسبة الاختبارات التي يجتازها. بنت Datalab هذا المعيار ليكون واضحًا وقابلًا للتدقيق والاستكشاف.

لماذا بناء معيار OCR آخر؟

تذكر Datalab مشكلتين في المعايير الحالية. olmOCR-bench أثبت أن اختبارات الوحدة بنمط النجاح/الفشل تعمل. تسميها Datalab الآن مشبعة. برأيها، أنظمة القمة تتفاضل بسبب اتفاقيات المخرجات والإفراط في الملاءمة، لا بسبب القراءة. كما يقع كل اختبار في olmOCR-bench داخل 1 حاوية، تُحدَّد حسب مصدر صفحته. الجدول المكتوب بخط اليد يُحتسب في المتوسط ضمن أي حاوية هبطت فيها صفحته.

ParseBench من LlamaIndex يقسّم التحليل إلى 5 قدرات، لكل منها مقياس خاص بها. وتجادل Datalab بأن تلك الدرجات لا تتشارك وحدة قياس واحدة، فلا يمكن مقارنتها أو دمجها بشكل سليم.

كيف تعمل منظومة التقييم في OmniParseBench؟

الدرجة النهائية هي متوسط 3 درجات عائلية: النصوص والجداول والتخطيط. وتغذي تلك العائلات خمسة أنواع من الاختبارات:

• presence: ظهور نص أو رقم أو معادلة (نص)
• order: ورود النص A قبل النص B (نص)
• repeat: ظهور سطر N مرة بالضبط (نص)
• table_cell: وجود خلية تحت عناوين معينة وبجوار جيران معينين (جداول)
• layout_kind: كون الكتلة التي تحوي سطرًا ما عنوانًا أو نصًا أو جدولًا (تخطيط)

يجب أن تتطابق الأرقام رقمًا برقم، مع أن 1,240 تطابق 1240. وتُقارن المعادلات بما يعرضه KaTeX، لذا \frac{a}{b} يساوي \dfrac{a}{b}. كل قرار يكون إما pass أو fail أو unsupported أو error. ويُستبعد آخر 2 من كل درجة. لا يحكم أي نموذج على المخرجات؛ بل أداة التقييم هي كود مفتوح.

ما الذي تضيفه الوسوم والاشتقاقات؟

يختبر كل اختبار وسيطًا واحدًا أو أكثر، وكل منها هو المحتوى في موضع واحد على الصفحة. ويحمل كل وسيط وسومًا على 5 محاور: البنية والعرض والدور والكتابة واللغة. تستخدم أنظمة الكتابة رموز ISO 15924، بينما تستخدم اللغات رموز ISO 639-3. الوسوم لا تحدد أبدًا الحكم أو الدرجة الرئيسية، بل تختار الاختبارات فقط، فتحصل كل شريحة على درجتها الخاصة.

يغطي وسم الجدول 6,767 اختبارًا على 1,000 صفحة من 875 مستندًا. ويغطي الإنجليزية 10,089 اختبارًا. بينما تغطي اللغات غير الإنجليزية 1,931 اختبارًا على 529 صفحة من 321 مستندًا.

يسجّل كل اختبار أيضًا اشتقاقه، أي كيف تم إثبات إجابته. هناك 10 اشتقاقات. وتشمل صيغة JATS XML من الناشر، وطبقة النص في PDF، والصفحات المُحرَّرة، واختبارات olmOCR-bench، ولجان النماذج، والمراجعة البشرية.

ما هي نتائج إطلاق OmniParseBench؟

*استُخدم في إنشاء اختبارات بعضها على الأقل والتحقق منها، بحسب Datalab.

يحقق Claude Sonnet 5.5 أعلى الدرجات في النص (93.1) والجداول (95.4). أما درجته في التخطيط البالغة 77.5 فتُنزل نتيجته الإجمالية إلى 88.7. ويتصدر Reducto التخطيط بدرجة 95.8. كما رسمت Datalab كل نتيجة إجمالية مقابل زمن الاستجابة الوسيط والسعر لكل 1,000 صفحة. قِيس زمن الاستجابة على 200 صفحة مأخوذة بالعيّنة، أُرسلت 8 صفحات في كل مرة.

لا تتصدر Datalab معيارها القياسي الخاص. إنها تشير إلى النموذجين الذين ساعدا في بناء الاختبارات، وتنبه القراء إلى مراعاة حقيقة أنها تبيع محلّلاً. كما تلتزم بنشر درجات OmniParseBench للإصدارات المستقبلية. ونصيحتها: أفضل معيار قياسي هو مستنداتك أنت.

كيف تشغّل OmniParseBench؟

uv pip install omni-parse-bench                 # score(): no network, no API keys
uv pip install 'omni-parse-bench[harness]'      # + vendor adapters, to predict
uv pip install 'omni-parse-bench[benchmark]'    # + dataset access, to run the benchmark
opb benchmark --out runs/ --limit 5 --providers datalab openai/gpt-5.6-sol

يحتاج المزوّدون إلى مفاتيح مثل DATALAB_API_KEY أو OPENROUTER_API_KEY. تعرض واجهة سطر الأوامر خطتها وتسأل قبل الاتصال بأي مزوّد. وقابلية الاستئناف متاحة في التشغيلات. ويوضح دليل الاستعلام كيفية مقارنة التشغيلات حسب الوسم أو المجموعة أو نوع الاختبار.

OmniParseBench مقابل olmOCR-bench مقابل ParseBench مقابل OmniDocBench

الخلاصات الرئيسية

• 16,288 اختبارًا بنعم/لا على 2,937 صفحة في 92 لغة.
• النتيجة الرئيسية = متوسط معدلات النجاح للنصوص والجداول والتخطيط.
• الوسوم تقطّع النتائج؛ لكنها لا تغيّر الحكم أبدًا.
• طوّرتها Datalab وتحتل المرتبة الثانية: Gemini 3.8 Flash 92.9*، وDatalab accurate 92.7.
• كود Apache 2.0؛ ويجري التقييم دون اتصال دون مفاتيح API.

* استُخدم في بناء بعض الاختبارات

اطّلع على المنشور المدون, مجموعة البيانات و مستودع GitHub.

_{شكرًا لفريق Datalab على الموارد التي استندت إليها هذه المقالة. دعمت Datalab هذا المحتوى ورعته.}

ظهر المقال تطلق Datalab خدمة OmniParseBench: معيار OCR مفتوح يضم 16,288 اختبار نجاح/فشل لتدقيق محللات OCR أولًا على MarkTechPost.