إعلان عن عامل الترميز للتحليل الاصطناعي Index v2.0: FrontierCode v1.1 من Cognition يحل محل DeepSWE، تم تعديل تقييمات SWE-Atlas-QnA، وClaude Opus 5.5 في Claude Code يتصدر بمعدل 61.7
اليوم نطلق الإصدار v2.0 من فهرس عامل الكود. يقوم الفهرس بتقييم النماذج مع أجهزة العملاء الخاصة بها، الآن عبر 290 مهمة تغطي هندسة البرمجيات واستخدام الأنترنت والاسترجاع Q&A، مع توزيع أوزان الثلاثة معايير بشكل متساوٍ.
سجل التغييرات (فهرس من v1.5 إلى v2.0):
→ FrontierCode v1.1 يحل محل DeepSWE v1.1. FrontierCode هو اختبار معياري من @cognition، يحتوي على مجموعة اختبارات خاصة: 100 مهمة هندسة البرمجيات في مستودعات المصدر المفتوح الحقيقية، ويتم تقييمها بناءً على ما إذا كان الشخص المسؤول عن الصيانة سيقوم بدمج التغيير. أي محاولة فاشلة في اختبار الحظر تحصل على درجة صفر، أما المحاولة التي تمر بجميع الاختبارات فتحصل على درجات بين 70% و100% حسب الاختبارات غير الحرجة التي تخضع لها. نقوم أيضًا بفحص كل مسار باستخدام نسخة معدلة من جهاز الفحص القائم على قواعد Cognition، وأي محاولة للوصول إلى مواد الحل تُعتبر مرفوضة ودرجاتها تساوي صفر.
→ تم تعديل تصنيف SWE-Atlas-QnA، الآن إلى SWE-Atlas-QnA-AA. لم تتغير مهام Q&A في مستودع AI البالغ 124. قمنا بتعديل 127 من معايير التصنيف البالغ 1,306 لتحقيق قرارات أكثر توافقًا، وتم اختيار GPT-6 Luna (xhigh) كمحكم، مع إعطاء خمسة أصوات لكل معيار. تم نشر مجموعة البيانات وتكوين المحكم على Hugging Face.
النتائج الرئيسية:
➤ كلود أوبوس 5.5 يقود التصنيف: كلود كود مع كلود أوبوس 5.5 (الحد الأقصى) يحصل على 61.7 نقطة، يليه كلود كود مع كلود سونيت 5.5 (الحد الأقصى) بـ 59.3 نقطة، وموس كود مع موس واندر فول فول (الحد الأقصى) بـ 58.9 نقطة، وكلود كود مع كلود فابل 5.1 (الحد الأقصى مع بديل) بـ 57.6 نقطة.
➤ برافرينتكود v1.1 هو المكان الذي يتقدم فيه أوبوس 5.5: يحقق أوبوس 5.5 نتيجة 56.0% في برافرينتكود، متفوقًا على كودكس مع ديب سيك V4.1 فلش (الحد الأقصى) بنسبة 52.6%， وكودكس مع GPT-6.1 سول (الحد الأقصى) بنسبة 49.4%، وكودكس مع GPT-6 أسترا (الحد الأقصى) بنسبة 49.3%. تحت القمة، تكون نتائج برافرينتكود متراكمة: 15 من التكوينات الـ 24 في المؤشر تحقق نتائج بين 43% و49%.
➤ تصنيف SWE-Atlas-QnA-AA أكثر صرامة واتساقًا: على مدار 21 تشكيلة تم تقييمها في نسختي المفهرس، انخفض المتوسط الدرجة بـ 1.7 نقطة، من 58.8% إلى 57.1%， حيث انخفض 14 تشكيلة من أصل 21. تتحرك التشكيلات الفردية بحد أقصى 7 نقاط: Muse Code مع Muse Spark Open (xhigh) انخفض بـ 7.0، Kimi K3 في Kimi Code CLI وCodex مع GPT-6 Luna (الحد الأقصى) بـ 6.2، وMuse Code مع Muse Wonder (الحد الأقصى) بـ 5.6، بينما حصل Codex مع GPT-6.1 Sol (الحد الأقصى) على زيادة بـ 2.1.
➤ هناك أربع تكوينات تقع على حدود التكلفة: Codex مع DeepSeek V4.1 Flash (الحد الأقصى) بدرجات 47.3 بتكلفة 0.39 دولار لكل مهمة، Codex مع GPT-6.1 Sol (الحد الأقصى) بدرجات 54.1 بتكلفة 1.50 دولار، Codex مع GPT-6 Astra (الحد الأقصى) بدرجات 54.7 بتكلفة 7.04 دولار، وClaude Code مع Claude Opus 5.5 (الحد الأقصى) بدرجات 61.7 بتكلفة 11.42 دولار. التكاليف هي تكاليف API لكل توكين، وليست أسعار الاشتراك.
سنواصل تحديث فهرس وكيل البرمجة بشكل تدريجي، مع المزيد من التقييمات والوكيلات الجديدة.