تم بناء مؤشر التوافق من Arena انطلاقًا من أكثر من 90K+ جلسة وكيل حقيقية عبر 30 نموذجًا، وهو يقيس ثلاث إشارات حرجة:
- إجراء غير مصرح به (UA): اتخاذ إجراءات تتجاوز تعليمات المستخدم أو أذوناته.
- نسب زائف (FA): نسبة عبارات أو أفعال تناقضها الأدلة المقدمة من المستخدم.
- إنجاز خادع (DC): الادعاء بأن مهمة قد أُنجزت بينما لم تُنجز.
اطّلع على مؤشر Arena للتوافق على الرابط: https://arena.ai/leaderboard/agent/alignment