Verkündung von AA-PersonalityBench, unserem neuen Benchmark für die Persönlichkeit von Sprachmodellen in 30 Eigenschaften und ihren Kommunikationsstil in 21 Merkmalen
Zwei Modelle können gleichermaßen korrekte Antworten geben, und sind dennoch in der Anwendung sehr unterschiedlich. Der AA-PersonalityBench misst diese Unterschiede, damit die Menschen verstehen können, welches Modell in verschiedenen Einsatzfällen verwendet werden soll. Einige Einsatzfälle wie kreatives Schreiben erfordern Fantasie, während rechtliche Einsatzfälle eine Direktheit erfordern. Wir bewerten die Antworten der Modelle auf 900 ausgewählte Fragen, um subjektive Persönlichkeitsmerkmale und programmatische Methoden zur Berechnung objektiver Kommunikationseigenschaften zu beurteilen.
Persönlichkeitsmerkmale und Indizes. Es gibt 30 Persönlichkeitsmerkmale (z. B. eloquent, pragmatisch, schmeichelhaft), die in acht aggregierte Persönlichkeitsindizes umgewandelt werden: Expressivität, Organisation, Informationsfähigkeit, Transparenz, Wärme, Überzeugung, Vorstellungskraft und Unnötigkeit. Jedes Merkmal umfasst eine Reihe von 30 speziellen Fragen, und die Antworten der Modelle werden von einem Team von LLM-Judgeern paarweise verglichen. Anschließend werden das Merkmal und die Persönlichkeitselos mit Z-Score und Perzentilrang bewertet.
Modelle mit der stärksten Repräsentation in den 8 Persönlichkeitsindizes:
➤ Expressivität: Claude Fable 5.1, GLM-5.3, GLM-5.3-Flash
➤ Organisation: DeepSeek V4.1 Flash, Step 5 Preview, Inkling
➤ Informationsfähigkeit: Muse Spark 1.3, Claude Fable 5.1, Muse Wonder, Claude Opus 5.5
➤ Transparenz: Claude Sonnet 5.5, Claude Fable 5.1, GPT-6 Astra
➤ Wärme: Muse Wonder, Muse Spark 1.3, Claude Fable 5.1
➤ Überzeugung: Claude Fable 5.1, DeepSeek V4.1 Flash, Grok 4.7
➤ Vorstellungskraft: Muse Spark 1.3, Claude Opus 5.5, GLM-5.3
➤ Verschwendung: Llama 4 Maverick, GPT-4o, K2 Horizon
Kommunikationsmerkmale. Es gibt 21 Kommunikationsmerkmale (z. B. Durchschnittliche Satzlänge, Verwendung von Emojis, Verwendung von Em-Dash) die wir in vier Kategorien einteilen: Länge, Struktur, Zeichensetzung und Betonung. Diese Merkmale werden programmgesteuert für alle Modelle berücksichtigt.
➤ Länge: Qwen3.8 27B verwendet im Durchschnitt etwa 1.030 Wörter pro Antwort, fast viermal so wie GPT-6 Luna mit 270
➤ Struktur: Nemotron 3 Ultra verwendet im Durchschnitt fast 3 Tabellen pro Antwort, während die meisten Modelle kaum eine verwenden
➤ Zeichensetzung: GLM-5.3 verwendet im Durchschnitt 7 Em-Dash pro Antwort, während Claude Opus 5.5, Sonnet 5.5 und Haiku 5.5 fast nie welche verwenden
➤ Betonung: K2 Horizon verwendet im Durchschnitt mehr als 2 Emojis pro Antwort, während die meisten Modelle fast nie welche verwenden
