Artificial Analysis · Xتاريخ نشر المصدر

تتمتع منهجية MLCR-AA المحدَّثة بالمواصفات التالية

تتمتع منهجية MLCR-AA المحدَّثة بالمواصفات التالية:

تتمتع منهجية MLCR-AA المحدَّثة بالمواصفات التالية:

➤ تتلقى النماذج موجه نظام يُصوِّر المهمة على أنها مراجعة سجل طبي، مع وضع السؤال بعد السجل الطبي الكامل البالغ نحو 25k إلى نحو 64k رمزاً

➤ ما لم يحدد السؤال تنسيقه الخاص، تجيب النماذج عن كل جزء من السؤال في فقرة واحدة، مقدمةً استنتاجها والأدلة الداعمة من السجل. ومع أصبحت أطوال الإجابات متسقة الآن عبر النماذج، لم نعد نطبق اختبار الإيجاز

➤ يستخدم التقييم لجنة تحكيم من ثلاثة نماذج هي GPT-6.1 Sol وClaude Opus 5.5 وGrok 4.7، وكلها بمستوى جهد متوسط. يُدرج كل حكم أي ادعاء يتعارض مع السجل الطبي وأي نقطة رئيسية من الإجابة المرجعية تفويتها الاستجابة، وتُعد الاستجابة ناجحة عندما يُغفِل أغلبية الحكام كليهما. يصل الحكام الثلاثة إلى الحكم نفسه في 69% من الإجابات، ارتفاعاً من 48% في ظل اللجنة السابقة

➤ يُجرى كل سؤال ثلاث مرات، ونُبلِّغ عن المتوسط عبر التكرارات

درجات لوحة الصدارة المحدَّثة غير قابلة للمقارنة المباشرة مع نتائج MLCR-AA السابقة. MLCR-AA ليس مكوناً من Artificial Analysis Intelligence Index.

المصدر الأصلي

Artificial Analysis · X

ملاحظات المحتوى

النشر الأصلي والحقوق تعود إلى المصدر.

ترجمة آلية · يُرجى الرجوع إلى الأصل