Artificial Analysis · Xتاريخ نشر المصدر

تسجل نتائج مؤشر وكيل الترميز v2.0 أداءً أقل من v1.5 لأغلب التكوينات المقاسة في كلا الحالتين. على مستوى الـ 21 تكوينًا التي تم تقييمها...

تكون درجات مؤشر وكيل الترميز v2.0 أقل من v1.5 لكل التكوينات المقاسة في كلا النسختين. على مستوى الـ 21 تكوينًا التي تم تقييمها في كلتا نسختي المؤشر، يتحرك متوسط درجة المؤشر من 54.8 إلى 47.4، حيث انخفض 20 من أصل 21 تكوين.

تكون درجات مؤشر وكيل الترميز v2.0 أقل من v1.5 لكل التكوينات المقاسة في كلا النسختين. على مستوى الـ 21 تكوينًا التي تم تقييمها في كلتا نسختي المؤشر، يتحرك متوسط درجة المؤشر من 54.8 إلى 47.4، حيث انخفض 20 من أصل 21 تكوين.

التباين يأتي من FrontierCode v1.1، حيث تبلغ متوسطات التكوينات نفسها 45.1% مقابل 65.6% في DeepSWE v1.1، مع مساهمة أقل ناتجة عن تصنيف SWE-Atlas-QnA-AA الصارم. Terminal-Bench 4.0 لم يتغير. تعكس درجات النتائج في النسختين من المؤشر إعدادات تقييم مختلفة.

المصدر الأصلي

Artificial Analysis · X

ملاحظات المحتوى

النشر الأصلي والحقوق تعود إلى المصدر.

ترجمة آلية · يُرجى الرجوع إلى الأصل