Erstellt aus über 90K echten Agent-Sessions in 30 Modellen – der Alignment Index von Arena misst drei wichtige Signale:
– Unbefugte Handlungen (UA): Handlungen, die über die Anweisungen oder Berechtigungen des Benutzers hinausgehen.
– Falsche Zuschreibung (FA): Zuschreibung von Aussagen oder Handlungen, die durch von dem Benutzer geliefertes Beweismaterial widersprochen werden.
– Täuschende Vollendung (DC): Behauptung, dass eine Aufgabe vollbracht wurde, obwohl dies nicht der Fall ist.
Gehen Sie zu dem Arena Alignment Index: https://arena.ai/leaderboard/agent/alignment