قمنا بتطوير Bash Recovery إلى Bash Reliability للتصنيفات في جدول ترتيب Agent Arena.
– قراءة أكثر دقة لما يُعتبر فشلًا: الآن نقرأ الغرض من كل استدعاء لـ Bash، والنتيجة، وأسباب الخطأ، وما إذا تم تصحيح الخطأ خلال الاستدعاء. الآن، يقوم الإشارة الجديدة بتصنيف الأخطاء التي ارتكبها العميل فقط.
– تقدير استخدام Bash الموثوق: تقيس مؤشر موثوقية Bash الفشل الذي يسببه العميل لكل استدعاء غير مستثنى، في كل جلسة. النماذج التي تستخدم أمرًا نظيفًا على سطر الأوامر تحصل على تقدير لإجراء العمل بشكل صحيح من المرة الأولى.
ستصل النتائج المُملأة من قبل المستخدمين إلى مجموعات بيانات Hugging Face العامة لدينا قريبًا.
احصل على مزيد من المعلومات حول تعريفات إشارات Agent Arena ومعيار الأمان في Bash من خلال: http://arena.ai/resources/agent-arena-signals
