في معياري MLCR-AA وHealthBench Professional، تقدم نماذج Anthropic الإجابات الأكثر اكتمالاً لكن نماذج OpenAI أكثر دقة وإيجازاً
قارنّا 14 نموذجاً لديها نتائج على كلاً من MLCR-AA، لوحة الصدارة الخاصة بنا لمعيار Medical Long Context Reasoning من @wisedocsai، وHealthBench Professional من @OpenAI. يقيّم MLCR-AA الإجابات حول السجلات الطبية الطويلة على أساس الاكتمال (تغطية كل نقطة رئيسية في إجابة الخبير) والدقة (عدم وجود ادعاء يناقض السجل)، وتتطلب نتيجته تحقيق الشرطين معاً. يقيّم HealthBench Professional الردود على الأطباء السريريين وفق معايير صاغها أطباء: النتيجة الخام هي نسبة نقاط المعيار المحققة، بينما تعاقب النتيجة المعدلة حسب الطول الإجابات الأطول.
أبرز الخلاصات:
➤ نماذج Anthropic تتصدر الاكتمال والنتيجة الخام: يحتل Claude Sonnet 5.5 وOpus 5.5 وFable 5.1 (جميعها بوضع max مع fallback) من @AnthropicAI المراكز الثلاثة الأولى في درجات الاكتمال على MLCR-AA، بفارق ~19-23 نقطة عن أفضل نموذج من OpenAI، كما سجّل Opus وSonnet أعلى النتائج الخام على HealthBench Professional (71.4% و70.8%)، متقدمين بفارق ضئيل على GPT-6 Astra (69.7%)
➤ نماذج OpenAI تتصدر الدقة والإيجاز: تحتل نماذج OpenAI أعلى درجات الدقة على MLCR-AA. الإجابات الأطول أقل احتمالاً للحكم عليها بالدقة، إذ إن كل ادعاء إضافي هو فرصة أخرى للتناقض مع السجل: تكتب نماذج Anthropic بمعدل ~4-6 أضعاف ما تكتبه نماذج OpenAI في كل إجابة، وتحصل على 19-61% في الدقة مقابل 89-97%
➤ تضيق الفجوة على الدرجات التي تكافئ الاثنين معًا: يتعادل GPT-6 Astra (max) مع Claude Sonnet 5.5 في المركز #1 على MLCR-AA ويتقدم بفارق ضئيل على درجة HealthBench Professional المعدّلة حسب الطول، بينما يتراجع Claude Opus 5.5 من المركز #1 على الدرجة الخام إلى المركز #6 بعد التعديل حسب الطول