الإعلان عن Artificial Analysis Intelligence Index v5
يتضمن Index v5 عدد 2 من المعايير المرجعية الجديدة (benchmarks) و3 ترقيات. وللمرة الأولى، يُبنى الجزء الأكبر من المؤشر على مجموعات بيانات خاصة
يُعد Artificial Analysis Intelligence Index مقياسنا المركّب لقدرات النماذج عبر مهام تعكس الاستخدام الواقعي اليوم. والإصدار v5 هو أكبر ترقية لنا منذ إطلاق v4 في يناير. مع v5، أصبح 60% من المؤشر يعتمد الآن على تقييمات بمجموعات اختبار خاصة أو إجابات محجوبة.
إلى جانب Intelligence Index v5، نطلق Artificial Analysis Progress Index v1، الذي يتتبع قدرة النماذج مع مرور الوقت على مقياس واحد متصل.
الجديد في Intelligence Index:
➤ FrontierCode 2.0: معيار خاص أطلقته Cognition حديثًا لمهام برمجية واقعية، يُقيَّم بناءً على ما إذا كان مشرف المستودع سيدمج تغيير الوكيل
➤ Terminal-Bench-Science: 70 مهمة بحث علمي وكلية (agentic)، تُنفَّذ في بيئة طرفية (terminal)
مُرقّى:
➤ HLE-Diamond (بديلاً عن Humanity's Last Exam): نسخة محسّنة من Humanity's Last Exam مكوّنة من 1,000 سؤال، مقسّمة بالتساوي بين أسئلة الاستدلال وأسئلة المعرفة
➤ AA-Omniscience v1.1: مجموعة بيانات محدّثة أُزيلت منها أسئلة المجموعات المشبعة والعامة، وأُضيفت أسئلة جديدة، وصُحّحت الأسئلة الغامضة أو الخاطئة
➤ CritPt v2: مجموعة فرعية صعبة وخاصة من CritPt v2 مكوّنة من 40 سؤالاً، روجعها مؤلفو CritPt ونُفّذت بأداة تنفيذ تعليمات برمجية
البقاء في المؤشر: AA-Briefcase وAutomationBench-AA وGDP.pdf وTerminal-Bench 4.0
المُزال من المؤشر: GDPval-AA v2.1 وSciCode وAA-LCR v1.1
أوزان Intelligence Index v5:
➤ العمل المعرفي (25%): AA-Briefcase (15%) وAutomationBench-AA (5%) وGDP.pdf (5%)
➤ البرمجة (25%): FrontierCode 2.0 (15%) وTerminal-Bench 4.0 (10%)
➤ العلوم (25%): Terminal-Bench-Science (15%) والمجموعة الفرعية الصعبة من CritPt v2 (10%)
➤ عام (25%): AA-Omniscience v1.1 15% (10% دقة، 5% عدم هلوسة) وHLE-Diamond (10%)
النتائج الرئيسية:
➤ يتصدر Claude Opus 5.5 (max) بنتيجة 58، متقدمًا على GPT-6 Astra (max, 57) وGPT-6.1 Sol (max, 55): تحتفظ Anthropic وOpenAI بأفضل خمسة نماذج. يأتي بعدهم Gemini 4 Argon (high) بنتيجة 50
➤ تتسع الفجوة مع النماذج ذات الأوزان المفتوحة من 3 نقاط إلى 12: Kimi K3.1 Pro (weights not yet released) هو أفضل نموذج بأوزان مفتوحة بنتيجة 46. ومن بين النماذج التي صدرت أوزانها، يتصدّر DeepSeek V4.1 Flash 1017 (max) وGLM-5.3 (max) بنتيجة 32 - بفارق 26 نقطة عن المتصدر ودون Claude Haiku 5.5 (max, 36)
➤ تختلف التكلفة لكل مهمة بأكثر من 13 ضعفًا بين النماذج الرائدة: من بين أعلى 10 نماذج في النقاط المعروضة، يُعد GPT-6.1 Terra (max) الأرخص بتكلفة $0.96 لكل مهمة في مؤشر الذكاء، بينما Claude Fable 5.1 (max) هو الأغلى بتكلفة $13.04
FrontierCode 2.0 هو التحديث الأحدث لمعيار البرمجة الخاص من Cognition. أُطلق اليوم في وقت سابق، ويتضمن 132 مهمة في مستودعات مفتوحة المصدر حقيقية، وتُقيَّم على أساس ما إذا كان المشرف على المستودع سيدمج التغيير الذي أجراه الوكيل. تحصل أي محاولة تفشل في أي فحص مانع على درجة 0، وتبقى المهام خاصة لتجنب التلوث. نشغّل كل مهمة ثلاث مرات في Stirrup، وهي بنيتنا الوكيلية للتنفيذ.
يتصدر Claude Opus 5.5 (max) بنتيجة 46%، يليه GPT-6 Astra (max) وGPT-6.1 Terra (max) وClaude Sonnet 5.5 (max)، جميعها بنتيجة 42%. وDeepSeek V4.1 Flash 1017 (max) هو أعلى نموذج بأوزان مفتوحة في النقاط بنتيجة 28%، بفارق 18 نقطة عن المتصدر.
Terminal-Bench-Science يختبر ما إذا كان بإمكان الوكلاء تنفيذ سير عمل البحث العلمي في واجهة طرفية. يقوم خبراء باختيار ومراجعة كل مهمة، ولا تُقبل المهمة إلا إذا نجحت جميع اختباراتها.
يتصدر GPT-6 Astra (max) بنتيجة 63%، يليه Claude Opus 5.5 (max) بنتيجة 59% وGPT-6.1 Sol (max) بنتيجة 58%. تنخفض النتائج بشكل حاد دون المتصدرين: أفضل نموذج بأوزان مفتوحة، Kimi K3.1 Pro (weights not yet released)، يحصل على 34%، بينما يحصل Claude Haiku 5.5 (max) على 20%. وأفضل نموذج بأوزان مفتوحة تم إصدار أوزانها، DeepSeek V4.1 Flash 1017 (max)، يحصل على 13%، ومعظم النماذج ذات الأوزان المفتوحة التي قيّمناها تحصل على أقل من 10%.
HLE-Diamond يحل محل Humanity's Last Exam في المؤشر. وهو النسخة المحسّنة المكونة من 1,000 سؤال من Humanity's Last Exam من مركز سلامة الذكاء الاصطناعي (CAIS) وScale AI، مقسمة بالتساوي بين الاستدلال والمعرفة. يتصدّر Claude Opus 5.5 (max) بنتيجة 68%، يليه GPT-6 Astra (max) بنتيجة 64% وClaude Fable 5.1 (max) بنتيجة 60%.
أسئلة المعرفة أصعب من أسئلة الاستدلال بالنسبة للنماذج الرائدة: يحصل كل من Claude Opus 5.5 (max) وGPT-6 Astra (max) على 78% في الاستدلال، مقارنة بـ 58% و50% في المعرفة.
AA-Omniscience v1.1 هو نسخة منقّحة من معيارنا للمعرفة والهلوسة، أُزيلت منه الأسئلة المشبعة والعلنية، وأُضيفت أسئلة جديدة، ووُضّحت الأسئلة الغامضة أو الخاطئة. النتائج متوافقة في معظمها مع الإصدار v1، إذ تحصل النماذج في المتوسط على نتيجة أقل بـ 2 نقطة على مؤشر AA-Omniscience v1.1 (الوسيط 0.6). وقد أصدرنا أيضًا مجموعة فرعية عامة جديدة على Hugging Face باسم AA-Omniscience-Public-v1.1، معايرتها من جديد لضمان اتساق الدقة ومعدل الهلوسة والأداء العام بين المجموعة العامة والمجموعة الخاصة.
درجات المؤشر CritPt v2 على مجموعة فرعية خاصة صعبة مكونة من 40 سؤالًا: وهي أسئلة الفيزياء الـ 70 على مستوى البحث، مطروحًا منها الأسئلة الـ 30 التي حلّها سبعة نماذج رائدة في جميع المحاولات الخمس عند الإطلاق. تعمل النماذج في بيئة Python معزولة دون اتصال في Stirrup، وهي بنيتنا الوكيلية للتنفيذ.
يتصدر GPT-6 Astra بنتيجة 72% على الجهد العالي، يليه GPT-6.1 Sol بنتيجة 69% على أقصى جهد. أما Claude Opus 5.5 (max)، وهو النموذج الأفضل في المؤشر بشكل عام، فيسجل 61%. ويعد Kimi K3.1 Pro (الأوزان لم تصدر بعد) أعلى نماذج الأوزان المفتوحة تسجيلاً بنتيجة 45%.
لا يزال v5 يترك مجالاً كبيراً للتقدم في جميع التقييمات التسعة، ولا يتصدر أي نموذج واحد جميعها. من بين النماذج التي قسناها، يتصدر Claude Opus 5.5 ثلاثة منها، وتتصدر خمسة نماذج أخرى الستة المتبقية:
➤ Claude Opus 5.5: FrontierCode 2.0 (46%) وHLE-Diamond (68%) وAA-Omniscience v1.1 (48)
➤ GPT-6 Astra: Terminal-Bench-Science (63%) والمجموعة الفرعية الصعبة من CritPt v2 (72%)
➤ Claude Sonnet 5.5: AA-Briefcase (1812 Elo)
➤ Kimi K3.1 Pro: Terminal-Bench 4.0 (67%)
➤ Gemini 4 Argon: AutomationBench-AA (78%)
➤ Muse Wonder Full: GDP.pdf (33% نجاح شامل)
تتراجع نماذج الأوزان المفتوحة مزيداً من التخلف في v5. الأفضل بينها، Kimi K3.1 Pro (الأوزان لم تصدر بعد)، يسجل 46، أي بفارق 12 نقطة عن المتصدر، مقارنة بفارق 3 نقاط في v4.3. ومن بين النماذج ذات الأوزان المنشورة، يسجل DeepSeek V4.1 Flash 1017 (max) وGLM-5.3 (max) أعلى النتائج عند 32، بينما يتفوق Claude Haiku 5.5 (max) عليها جميعاً.
الفجوة هي الأوسع في HLE-Diamond وTerminal-Bench-Science، حيث يسجل Kimi K3.1 Pro نسبتي 37% و34%، مقارنة بـ 68% لـ Claude Opus 5.5 (max) و63% لـ GPT-6 Astra (max).
تتفاوت التكلفة تفاوتاً واسعاً بين النماذج الرائدة. تكلفة Claude Opus 5.5 (max) هي 10.04 دولار لكل مهمة من مهام مؤشر الذكاء، وGPT-6 Astra (max) بـ 6.24 دولار، وGPT-6.1 Sol (max) بـ 1.27 دولار. ويسجل GPT-6.1 Sol (max) نتيجة في حدود 4 نقاط من Claude Opus 5.5 (max) بتكلفة لكل مهمة تعادل تقريباً الثمن.
تكتسب إعدادات الجهد أهمية أكبر في v5 مقارنة بـ v4.3. يسجل Claude Opus 5.5 نتيجة 35 عند الجهد المنخفض و58 عند أقصى جهد، بتكلفة أعلى 10 أضعاف لكل مهمة من مهام مؤشر الذكاء (0.98 دولار مقابل 10.04 دولار). ويمتد مدى Claude Sonnet 5.5 على 29 نقطة من الجهد المنخفض إلى الأقصى، مقارنة بـ 20 في v4.3، ويتضاعف المدى لدى GPT-6.1 Sol من 10 إلى 20 نقطة.
تتطلب مهام v5 عملاً أكبر بكثير من النماذج. كل نموذج قسناه يولد رموزاً (tokens) إخراجية أكثر لكل مهمة من مهام مؤشر الذكاء مقارنة بـ v4.3، مع ارتفاع الوسيط بمقدار الثلثين، من 35k إلى 59k.
➤ تمثل التقييمات الوكيلة (Agentic) معظم استخدام الرموز: تشكل Terminal-Bench-Science وTerminal-Bench 4.0 وAA-Briefcase وFrontierCode 2.0 نسبة 55% من وزن المؤشر لكن وسيطاً يقارب 90% من رموز الإخراج
➤ Terminal-Bench-Science هي الأكثر استهلاكاً للرموز: إذ تمثل وحدها نحو ثلث رموز الإخراج لكل مهمة (Tokens per Task)
إلى جانب v5، نطلق مؤشر التقدم من Artificial Analysis v1. يضع هذا المؤشر نماذج اللغة الصادرة منذ نوفمبر 2022 على مقياس قدرات واحد، عبر طيف واسع من المعايير المرجعية.
استخدم مؤشر التقدم لمقارنة كيفية تغير القدرة الأساسية مع مرور الوقت، بما في ذلك بين نماذج صدرت بفارق سنوات. وللمقارنة بين النماذج لحالات الاستخدام الحالية وفهم الحدود الفاصلة الراهنة، استخدم مؤشر الذكاء، الذي يبقى مقياسنا الرئيسي لذكاء النماذج الحالي.
شكر لـ Epoch AI وAnthropic - فقد بنينا على ما تعلمناه من مؤشر قدرات Epoch عند تصميم مؤشر التقدم.
استكشف مؤشر التقدم: artificialanalysis.ai/trends
المنهجية: artificialanalysis.ai/methodology/progress-index
شكرًا لشركة Cognition، وSteven Dillmann وفريق Terminal-Bench، ومركز سلامة الذكاء الاصطناعي، وScale AI، وMinhui Zhu وMinyang Tian وHao Peng وفريق CritPt على المعايير المرجعية وراء هذا التحديث.
استكشف النتائج الكاملة: artificialanalysis.ai
المنهجية: artificialanalysis.ai/methodology/intelligence-benchmarking