نعلن عن Artificial Analysis Intelligence Index v5، المتضمن 2 من المعايير الجديدة و3 ترقيات. للمرة الأولى، يُبنى معظم المؤشر على مجموعات بيانات خاصة
يمثل Artificial Analysis Intelligence Index مقياسنا المركب لقدرات النماذج عبر مهام تعكس الاستخدام الواقعي اليوم. يُعد الإصدار v5 أكبر ترقية لدينا منذ إطلاق v4 في يناير. مع v5، يعتمد الآن 60% من المؤشر على تقييمات بمجموعات اختبار خاصة أو إجابات محجوزة.
إلى جانب Intelligence Index v5، نطلق Artificial Analysis Progress Index v1، الذي يتتبع قدرة النموذج عبر الزمن على مقياس متصل واحد.
الجديد في Intelligence Index:
➤ FrontierCode 2.0: معيار خاص حديث الإطلاق من Cognition لمهام برمجة واقعية، يُقيَّم بناءً على ما إذا كان مشرف المستودع سيدمج تغيير الوكيل
➤ Terminal-Bench-Science: 70 مهمة بحث علمي وكيلية، تُنفَّذ في بيئة طرفية
مطوَّر:
➤ HLE-Diamond (يحل محل Humanity's Last Exam): نسخة محسنة من 1,000 سؤال من Humanity's Last Exam، مقسمة بالتساوي بين أسئلة الاستدلال والمعرفة
➤ AA-Omniscience v1.1: مجموعة بيانات محدثة أُزيلت منها الأسئلة المشبعة والعامة، وأُضيفت أسئلة جديدة، ورُوجعت الأسئلة الملتبسة أو الخاطئة
➤ CritPt v2: مجموعة فرعية خاصة صعبة من 40 سؤالاً من CritPt v2، روجعها مؤلفو CritPt ونُفِّذت بأداة تنفيذ للشيفرة
يظل في المؤشر: AA-Briefcase وAutomationBench-AA وGDP.pdf وTerminal-Bench 4.0
أُزيل من المؤشر: GDPval-AA v2.1 وSciCode وAA-LCR v1.1
النتائج الرئيسية:
➤ Claude Opus 5.5 (max) يتصدّر بنتيجة 58، متقدمًا على GPT-6 Astra (max، 57) وGPT-6.1 Sol (max، 55): تحتفظ Anthropic وOpenAI بأفضل خمسة نماذج. يأتي بعدهم Gemini 4 Argon (high) بنتيجة 50
➤ تتسع فجوة الأوزان المفتوحة من 3 نقاط إلى 12: Kimi K3.1 Pro (لم تُصدر أوزانه بعد) هو أفضل نموذج بأوزان مفتوحة بنتيجة 46. ومن بين الأوزان الصادرة، يتصدّر DeepSeek V4.1 Flash 1017 (max) وGLM-5.3 (max) بنتيجة 32 - أي بفارق 26 نقطة عن المتقدم وأقل من Claude Haiku 5.5 (max، 36)
➤ تختلف التكلفة لكل مهمة بأكثر من 13 ضعفًا بين النماذج الرائدة: من بين النماذج الـ10 الأعلى نتيجةً المعروضة، يُعد GPT-6.1 Terra (max) الأرخص بتكلفة $0.96 لكل مهمة من Intelligence Index، فيما يُعد Claude Fable 5.1 (max) الأغلى بتكلفة $13.04