لقد قمنا بتحديث MLCR-AA، لوحة المتصدرين الخاصة بنا لمعيار Wisedocs للتفكير في السياق الطبي الطويل، بإضافة Claude Sonnet 5.5 وGPT-6 Astra اللذين أصبحا الآن متعادلين في المركز #1
لقد حدّثنا طريقة استجواب MLCR-AA للنماذج وتقييمها على معيار @wisedocsai، ليعكس بشكل أفضل كيفية إجراء مراجعة السجلات الطبية في الممارسة العملية. يتم الآن استجواب النماذج بوصفها مراجعين للسجلات الطبية، ويُطلب منها الإجابة عن كل جزء من السؤال في فقرة واحدة تتضمن استنتاجها والأدلة الداعمة من السجل. يتم تقييم الإجابات من قبل لجنة تحكيم جديدة من ثلاثة نماذج، وقمنا بمراجعة جميع إجابات الخبراء المرجعية البالغ عددها 60 مقابل سجلاتها المصدرية، مع تنقيح 15 منها.
Claude Sonnet 5.5 (max with fallback) من @AnthropicAI وGPT-6 Astra (max) من @OpenAI متعادلان في الصدارة بنسبة 41.7%، يليهما GPT-6.1 Sol (max) بنسبة 38.3%. ويُعد Qwen3.8 2.4T A95B من @Alibaba_Qwen النموذج مفتوح الأوزان الرائد بنسبة 30.6%.
أهم النتائج من MLCR-AA المحدّثة:
➤ لا تزال مراجعة السجلات الطبية بعيدة عن الحل: لا تجتاز الإجابة إلا عندما تكون كاملة ودقيقة معًا، ولا يجتاز أي نموذج أكثر من 42% من الأسئلة، ويجتاز النموذج الوسيط أقل من 15%
➤ تتصدر نماذج Anthropic في الاكتمال، إذ تصل إلى استنتاج الخبير بالاستدلال الطبي الصحيح: تحتل نماذج Claude أعلى 18 درجة اكتمال عبر كل النماذج ومستويات الجهد التي اختبرناها، وبقيادة Claude Sonnet 5.5 (max with fallback) بنسبة 64.8%. وأفضل نموذج غير تابع لـ Anthropic هو GPT-6 Astra (max) بنسبة 42.2%
➤ تتصدر نماذج OpenAI في الدقة، إذ تستشهد بالسجل دون مبالغة أو هلوسة: تحتل نماذج OpenAI أعلى 27 درجة دقة، وبقيادة GPT-6.1 Sol (max) بنسبة 96.7%، لكنها تجيب إجابة كاملة عن عدد أقل من الأسئلة: GPT-6.1 Sol (max) كاملة في 40.0% من الأسئلة
نود أن نشكر Wisedocs على بناء MLCR وعلى تعاونها في إحضاره إلى Artificial Analysis