الإعلان عن FrontierCode على Artificial Analysis: هل تستطيع نماذج الذكاء الاصطناعي كتابة شيفرة برمجية يوافق المشرفون على دمجها؟

جميع المقالات

الإعلان عن FrontierCode على Artificial Analysis: هل تستطيع نماذج الذكاء الاصطناعي كتابة شيفرة برمجية يوافق المشرفون على دمجها؟

يختبر FrontierCode 1.1 من Cognition ما إذا كانت نماذج الذكاء الاصطناعي تُجري تغييرات برمجية كان مشرفو مستودعات مفتوحة المصدر الحقيقية سيقبلون بدمجها. ولا تزال النماذج الرائدة تفشل في أكثر من 40% من الحالات.

نظرة عامة

FrontierCode هو معيار تقييم للبرمجة من Cognition، طُوّر بالتعاون مع مشرفي مستودعات مفتوحة المصدر. تطلب كل مهمة من الوكيل إجراء تغيير في مستودع مفتوح المصدر حقيقي، ويقيس المعيار ما إذا كان التغيير جيدًا بما يكفي ليقبل مشرف ذلك المستودع بدمجه.

يقيّم FrontierCode أكثر من مجرد نجاح الاختبارات. وعلى خلاف تقييمات البرمجة الأخرى، يتم أيضًا تقييم النماذج وفق سلوكيات مثل إجراء تغييرات مفرطة وفروق (diffs) ضخمة، أو تعديل ملفات خارج النطاق ذي الصلة، أو إضافة اختبارات غير مفيدة. ونحن نرى أن هذا النهج ذو قيمة في السياق الحالي: فالنماذج أصبحت الآن قادرة جدًا على مهام البرمجة، لكن تغييراتها قد تتطلب مع ذلك تنظيفًا كبيرًا قبل أن يوافق المشرف على دمجها.

نُشغّل FrontierCode 1.1 Main، المجموعة الأساسية المكونة من 100 مهمة من أصل 150 مهمة للمعيار، مع كل نموذج في بيئة وكيل موحدة لإجراء مقارنات عادلة بين النماذج. والمهام سرية لتجنب التلوث المعرفي.

لا تزال النماذج الرائدة تفشل في أكثر من 40% من الحالات. يتصدّر Claude Opus 5.5 (max with fallback) بمتوسط درجة 52% ومعدل نجاح 58%. ومعدل النجاح هو نسبة المحاولات التي تكمل جميع المعايير المانعة، بينما تعكس الدرجات أيضًا السلوكيات المرغوبة غير المانعة.

يُطلق FrontierCode 1.1 كلوحة نتائج مستقلة وهو ليس جزءًا من Artificial Analysis Intelligence Index. ونخطط لإضافته إلى لوحة نتائج وكلاء البرمجة قريبًا.

FrontierCode 1.1: الدرجة

كيف يعمل FrontierCode

نظرة عامة على المعيار

طوّرت Cognition معيار FrontierCode بالتعاون مع مشرفي 36 مستودعًا مفتوح المصدر، أنفق هؤلاء أكثر من 40 ساعة على كل مهمة. أعلنت Cognition عن FrontierCode في يونيو 2026 وأصدرت الإصدار 1.1 في يوليو 2026، الذي أضاف قواعد للاستخدام العادل للإنترنت.

يقيّم مُتحقِّق FrontierCode كل محاولة عبر اختبارات حتمية ومراجعة نوعية: اختبارات مخفية وفحوصات أوامر، وحدود على الملفات التي يمسها التغيير وكمية الشيفرة البرمجية التي يطرأ عليها تعديل، ومراجعة بواسطة نموذج لغوي كبير وفق معايير المشرفين. وكل فحص إما مانع أو غير مانع. المحاولة التي تجتاز أي فحص مانع تحصل على الدرجة 0، أما التي تجتاز جميعها فتحصل على درجة بين 70% و100%.

المنهجية

• مجموعة المهام: نقيّم 100 مهمة من FrontierCode 1.1 Main بثلاث محاولات لكل مهمة.
• بيئة الوكيل: يعمل كل نموذج في Stirrup، بيئة الوكيل مفتوحة المصدر لدينا، بحد أقصى 250 دورة لكل محاولة.
• التقييم: يقيّم قاضٍ من نماذج LLM معايير المراجعة في سلّم التصحيح. نستخدم GPT-6 Luna (medium) كقاضٍ.
• التحقق من الإجابة: أي محاولة يضعها ماسح المسارات من Cognition تحت قواعد الاستخدام العادل للإنترنت تحصل على درجة 0.
• احتساب النتيجة: نحسب متوسط المحاولات الثلاث لكل مهمة، ثم نحسب متوسط درجات المهام بوزن متساوٍ.

التفاصيل الكاملة متوفرة على صفحة المنهجية.

أبرز النتائج

• لا تزال النماذج الرائدة تفشل في أكثر من 40% من الحالات: يتصدر Claude Opus 5.5 (max with fallback) بنسبة 52% بعد نجاحه في جميع فحوصات الحجب في 58% من محاولاته، يليه GPT-6.1 Sol (max) وClaude Fable 5.1 (max with fallback) بنسبة 49%
• قمة لوحة الترتيب مزدحمة بشكل ضيق: تسعة نماذج من ستة مختبرات تحقق درجات تتراوح بين 43% و52%. MiMo-V2.6-Pro هو النموذج الرائد ذو الأوزان المفتوحة بنسبة 45%، يليه DeepSeek V4.1 Flash (max) وKimi K3 (max) بنسبة 44%
• يقدم GPT-6.1 Sol (max) أقوى أداء مقارنة بتكلفته: بسعر $0.81 لكل مهمة يحصل على درجة 49%، مساوياً Claude Fable 5.1 (max with fallback) بأقل من عُشر التكلفة لكل مهمة مقارنة بنماذج Anthropic الرائدة
• 9 من أصل 100 مهمة لا ينجح فيها أي نموذج في أي محاولة، ولا توجد مهمة ينجح فيها كل نموذج في كل محاولة

معدل النجاح

نشغّل كل مهمة ثلاث مرات. تُعدّ المحاولة ناجحة عندما تستوفي جميع الفحوصات المانعة. تتراوح معدلات النجاح بين 58% من المحاولات لـ Claude Opus 5.5 (max with fallback) و16% لـ Muse Glimmer (high).

FrontierCode 1.1: معدل النجاح

التكلفة

تتوزع التكلفة لكل مهمة على نطاق يتجاوز 100 ضعف، من $0.09 لـ GPT-6 Luna (max) إلى $12.00 لـ Claude Fable 5.1 (max with fallback). تقع أربعة نماذج على حدود باريتو للدرجة مقابل التكلفة: GPT-6 Luna (max) عند 42% و$0.09 لكل مهمة، وMiMo-V2.6-Pro عند 45% و$0.18، وGPT-6.1 Sol (max) عند 49% و$0.81، وClaude Opus 5.5 (max with fallback) عند 52% و$10.15. الخطوة الأخيرة على الحدود، من GPT-6.1 Sol (max) إلى Claude Opus 5.5 (max with fallback)، تضيف 3 نقاط مقابل أكثر من 12 ضعف التكلفة لكل مهمة.

حقّق GPT-6.1 Sol (max) درجة أعلى بـ 2 نقطة من GPT-6 Astra (max) عند نحو خُمس التكلفة لكل مهمة، $0.81 مقابل $4.22. يستهلك Claude Sonnet 5.5 (max with fallback) نحو 50% من رموز الإخراج الإضافية لكل مهمة مقارنة بـ Claude Opus 5.5 (max with fallback)، لكن بسعر نصف الرمز الواحد تكلفتها أقل، $8.26 مقابل $10.15.

FrontierCode 1.1: الدرجة مقابل التكلفة لكل مهمة

متوسط التكلفة لكل مهمة في التقييم. تُقسَّم التكاليف حسب أسعار رموز الإدخال وإصابة الذاكرة المؤقتة وكتابة الذاكرة المؤقتة والاستدلال والإجابة حيث تتوفر أعداد رموز قياسية.

استخدام الرموز والوقت

تتصدر نماذج GPT-6 كفاءة الرموز: يستخدم GPT-6 Astra (max) وGPT-6.1 Sol (max) نحو 27k و33k رمز إخراج لكل مهمة، مقارنة بنحو 157k لـ Claude Opus 5.5 (max with fallback) ونحو 236k، وهو الأعلى بين جميع النماذج، لـ Claude Sonnet 5.5 (max with fallback). يعتمد الوقت لكل مهمة على استخدام الرموز وسرعة الإخراج الفعلية معاً، ويتراوح من نحو 3 دقائق لـ Inkling (xhigh) إلى نحو 46 دقيقة لـ Qwen3.8 Max (0902).

FrontierCode 1.1: رموز الإخراج لكل مهمة

متوسط عدد رموز الإجابة والاستدلال الناتجة لكل مهمة قياس في هذا التقييم.

مصادر FrontierCode 1.1

شكراً لفريق Cognition على بناء FrontierCode والعمل معنا لإحضاره إلى Artificial Analysis.

• لوحة المتصدرين متاحة على صفحة تقييم FrontierCode 1.1
• تغطي صفحة المنهجية تنفيذنا ووضع الدرجات والتقييم
• مقالا Introducing FrontierCode و FrontierCode 1.1 من Cognition يصفان المعيار وتصميمه بمزيد من التفصيل
• إطار عمل الوكلاء مفتوح المصدر Stirrup الذي نستخدمه لـ FrontierCode متاح على GitHub

اقرأ أحدث

تقديم نماذج الوصول الموثوق إلى مؤشر الأمن السيبراني من Artificial Analysis

GPT-6 Sol (Daybreak Blue) يتصدّر الآن مؤشر الأمن السيبراني

8 أكتوبر 2026

أصدرت Anthropic إصدار Claude Haiku 5.5

يحقق Claude Haiku 5.5 درجة 43 على مؤشر الذكاء من Artificial Analysis، بارتفاع 26 نقطة بعد عام واحد من الإصدار السابق لـ Haiku

7 أكتوبر 2026