HealthBench وHealthBench Professional: تقييم النماذج في محادثات صحية واقعية
نطلق لوحات صدارة لمعياري HealthBench وHealthBench Professional، وهما معياران يقيّمان كيفية استجابة نماذج الذكاء الاصطناعي في محادثات صحية واقعية
HealthBench وHealthBench Professional هما معياران من OpenAI يقيّمان ردود النماذج على محادثات صحية واقعية وفق معايير تقييم من إعداد أطباء.
يختبر HealthBench النماذج على 5,000 محادثة صحية مع مستخدمين عاديين وعاملين في المجال الصحي. تغطي هذه المحادثات سبعة مواضيع، من الإحالات الطارئة إلى الصحة العالمية، ويندوج كل معيار تقييم ضمن أحد خمسة محاور: الدقة، والاكتمال، وجودة التواصل، والوعي بالسياق، واتباع التعليمات. أما HealthBench Professional فهو مجموعة أصغر تضم 525 محادثة، وهي على عكس HealthBench كلها مع ممارسين سريريين. وتغطي مهام الاستشارة والكتابة والبحث، وتتضمن محادثات معادية وصعبة مصممة لتحدي النماذج.
نعرض كلاً من الدرجة الخام (نسبة نقاط معايير التقييم المكتسبة) والدرجة المعدَّلة حسب الطول التي تعرضها OpenAI. تُخفّض الدرجة المعدَّلة حسب الطول درجة الردود التي تتجاوز 2,000 حرف وترفع درجة الردود الأقصر. وبما يتسق مع التنفيذ الأصلي من OpenAI، تُقيَّم الردود بواسطة GPT-5.4 (low) (HealthBench Professional) وGPT-4.1 (HealthBench).
أبرز النتائج لمعيار HealthBench Professional:
➤ يتصدّر GPT-6 Astra وGPT-6.1 Sol لوحة الصدارة: يحقق GPT-6 Astra (max) درجة 66.0% على الدرجة المعدَّلة حسب الطول، وهو ما يقارب GPT-6.1 Sol (max, 65.1%) ويتقدم على Claude Sonnet 5.5 (max with fallback, 63.0%)
➤ تشكّل نماذج OpenAI كامل حدود باريتو للدرجة مقابل التكلفة لكل مهمة: تتألف حدود باريتو من GPT-6 Luna (max, 61.9%, $0.004 per task) مروراً بـGPT-6 Sol (max, 62.3%, $0.036) وGPT-6.1 Sol (max, 65.1%, $0.047) وصولاً إلى GPT-6 Astra (max, 66.0%, $0.27). يحقق GPT-6 Luna (max) درجة أقل بـ4 نقاط من GPT-6 Astra (max) بتكلفة تقل عن 2% من تكلفته
➤ يتلقى Claude Opus 5.5 وClaude Fable 5.1 أكبر عقوبات على الطول: كلاهما يبلغ في المتوسط ~5,900 حرف لكل إجابة، أي ما يقارب 3 أضعاف الحد البالغ 2,000 حرف، ويفقد أكثر من 11 نقطة بعد التعديل. يمتلك Claude Opus 5.5 (max with fallback) أعلى درجة خام (71.4%) لكنه يتراجع إلى المركز السادس (59.9%). يُعد GPT-6 Sol (max) النموذج الوحيد الذي يبلغ متوسطه أقل من 2,000 حرف (~1,600)، والوحيد الذي ترتفع درجته
أبرز النتائج لمعيار HealthBench:
➤ يتصدّر Claude Sonnet 5.5 لمعيار HealthBench: يحقق Claude Sonnet 5.5 (max with fallback) درجة 62.1% على الدرجة المعدَّلة حسب الطول، متقدماً على DeepSeek V4.1 Flash (max, 60.9%) وGPT-6.1 Sol (max, 58.5%)
➤ يشكّل GPT-6 Luna وDeepSeek V4.1 Flash وClaude Sonnet 5.5 حدود باريتو للدرجة مقابل التكلفة لكل مهمة: يحقق GPT-6 Luna (max) درجة 54.6% بتكلفة $0.002 لكل مهمة، ويحقق DeepSeek V4.1 Flash (max) درجة 60.9% بتكلفة $0.005 لكل مهمة. يمتلك Claude Sonnet 5.5 (max with fallback) متوسط تكلفة لكل مهمة يبلغ $0.08، أي أعلى بـ~16 مرة من DeepSeek V4.1 Flash مقابل زيادة في الدرجة بمقدار ~1 نقطة
➤ الإجابات الأقصر تضحّي بالاكتمال مقابل جودة التواصل: يُوسَم كل عنصر من عناصر معايير تقييم HealthBench بأحد المحاور الخمسة. يتحقق الاكتمال مما إذا كان الرد يتضمن كل المعلومات المهمة، في حين تتحقق جودة التواصل مما إذا كان الرد واضحاً ومهيكلاً بشكل جيد وبالطول ومستوى التفصيل المناسبين. يكتب GPT-6 Sol (max) أقصر الإجابات (~1,000 حرف) ويمتلك أعلى درجة خام لجودة التواصل (81%)، لكنه يمتلك أدنى درجة للاكتمال (34%). يتقدم Claude Sonnet 5.5 (max with fallback) في الاكتمال (63%)
للاطلاع على لوحات الصدارة الكاملة، انظر هنا:
➤ HealthBench Professional: https://artificialanalysis.ai/evaluations/healthbench-professional
➤ HealthBench: https://artificialanalysis.ai/evaluations/healthbench