Annonce d'AA-PersonalityBench, notre nouveau benchmark sur la personnalité des modèles de langage à travers 30 traits et leur style de communication à travers 21 caractéristiques
Deux modèles peuvent donner des réponses tout aussi correctes et pourtant donner une impression d'utilisation très différente. AA-PersonalityBench mesure ces différences afin que chacun puisse comprendre lequel utiliser selon différents cas d'usage. Certains cas d'usage, comme l'écriture créative, peuvent exiger de l'imagination, tandis que les cas d'usage juridiques peuvent exiger de la directivité. Nous évaluons les réponses des modèles à 900 questions soigneusement sélectionnées pour juger des traits de personnalité subjectifs, et utilisons des moyens programmatiques pour calculer des caractéristiques de communication objectives.
Traits et index de personnalité. Il existe 30 traits de personnalité (par exemple, éloquent, pragmatique, complaisant) que nous regroupons en huit index de personnalité agrégés : Expressivité, Organisation, Informativité, Transparence, Chaleur, Conviction, Imagination et Slop. Chaque trait dispose d'un ensemble de 30 questions dédiées et les réponses des modèles sont comparées par paires par un panel de juges LLM. Nous calculons ensuite les z-scores et les rangs centiles des Elos de traits et de personnalité.
Modèles avec la meilleure représentation à travers les 8 index de personnalité :
➤ Expressivité : Claude Fable 5.1, GLM-5.3, GLM-5.3-Flash
➤ Organisation : DeepSeek V4.1 Flash, Step 5 Preview, Inkling
➤ Informativité : Muse Spark 1.3, Claude Fable 5.1, Muse Wonder, Claude Opus 5.5
➤ Transparence : Claude Sonnet 5.5, Claude Fable 5.1, GPT-6 Astra
➤ Chaleur : Muse Wonder, Muse Spark 1.3, Claude Fable 5.1
➤ Conviction : Claude Fable 5.1, DeepSeek V4.1 Flash, Grok 4.7
➤ Imagination : Muse Spark 1.3, Claude Opus 5.5, GLM-5.3
➤ Slop : Llama 4 Maverick, GPT-4o, K2 Horizon
Caractéristiques de communication. Il existe 21 caractéristiques de communication (par exemple, longueur moyenne des phrases, utilisation d'emojis, usage des tirets cadratins) que nous regroupons en quatre catégories : longueur, structure, ponctuation et emphase. Nous calculons ces caractéristiques de manière programmatique sur l'ensemble des réponses des modèles.
➤ Longueur : Qwen3.8 27B produit en moyenne environ 1,030 mots par réponse, soit près de quatre fois les 270 de GPT-6 Luna
➤ Structure : Nemotron 3 Ultra utilise en moyenne près de 3 tableaux par réponse, alors que la plupart des modèles en utilisent rarement un
➤ Ponctuation : GLM-5.3 utilise en moyenne 7 tirets cadratins par réponse, tandis que Claude Opus 5.5, Sonnet 5.5 et Haiku 5.5 n'en utilisent presque jamais
➤ Emphase : K2 Horizon utilise en moyenne plus de 2 emojis par réponse, alors que la plupart des modèles n'en utilisent presque jamais
