نعلن عن AA-PersonalityBench، معيارنا الجديد لقياس شخصية النماذج اللغوية عبر 30 سمة وأسلوب تواصلها عبر 21 خاصية
يمكن أن يعطي نموذجان إجابات صحيحة بالقدر نفسه ومع ذلك يبدو استخدام كل منهما مختلفًا تمامًا. يقيس AA-PersonalityBench تلك الاختلافات حتى يتمكن الناس من فهم النموذج الذي يجب استخدامه في حالات الاستخدام المختلفة. فبعض حالات الاستخدام مثل الكتابة الإبداعية قد تتطلب الخيال، بينما قد تتطلب حالات الاستخدام القانونية الصراحة. نقيّم إجابات النماذج على 900 سؤال منتقاة بعناية للحكم على سمات الشخصية الذاتية، ونستخدم وسائل برمجية لحساب خصائص التواصل الموضوعية.
سمات الشخصية والمؤشرات. هناك 30 سمة شخصية (مثل: البلاغة، العملية، التملق) نجمعها في ثمانية مؤشرات شخصية مجمعة: التعبيرية، التنظيم، الإفصاح المعلوماتي، الشفافية، الدفء، الاقتناع، الخيال والـ Slop. ولكل سمة مجموعة من 30 سؤالًا مخصصًا، وتُقارن إجابات النماذج على نهج الأزواج من قبل لجنة من قضاة LLM. ثم نحسب درجات z والمراتب المئوية لسمات ولأنماط Elo الشخصية.
النماذج الأبرز تمثيلًا عبر مؤشرات الشخصية الـ 8:
➤ التعبيرية: Claude Fable 5.1، GLM-5.3، GLM-5.3-Flash
➤ التنظيم: DeepSeek V4.1 Flash، Step 5 Preview، Inkling
➤ الإفصاح المعلوماتي: Muse Spark 1.3، Claude Fable 5.1، Muse Wonder، Claude Opus 5.5
➤ الشفافية: Claude Sonnet 5.5، Claude Fable 5.1، GPT-6 Astra
➤ الدفء: Muse Wonder، Muse Spark 1.3، Claude Fable 5.1
➤ الاقتناع: Claude Fable 5.1، DeepSeek V4.1 Flash، Grok 4.7
➤ الخيال: Muse Spark 1.3، Claude Opus 5.5، GLM-5.3
➤ Slop: Llama 4 Maverick، GPT-4o، K2 Horizon
خصائص التواصل. هناك 21 خاصية تواصل (مثل: متوسط طول الجملة، استخدام الرموز التعبيرية، استخدام الشرطة الطويلة em dash) نجمعها في أربع فئات: الطول، البنية، علامات الترقيم، والتوكيد. نحسب هذه الخصائص برمجيًا عبر جميع ردود النماذج.
➤ الطول: يبلغ متوسط ما يكتبه Qwen3.8 27B نحو 1,030 كلمة لكل استجابة، أي ما يقرب من أربعة أضعاف 270 كلمة لدى GPT-6 Luna
➤ البنية: يبلغ متوسط ما يستخدمه Nemotron 3 Ultra نحو 3 جداول لكل استجابة، بينما نادرًا ما تستخدم معظم النماذج جدولًا واحدًا
➤ علامات الترقيم: يبلغ متوسط استخدام GLM-5.3 سبعة من الشرطات الطويلة em dash بحدود 7 شرطات لكل استجابة، بينما نادرًا جدًا ما تستخدم Claude Opus 5.5 وSonnet 5.5 وHaiku 5.5 شرطة واحدة
➤ التوكيد: يبلغ متوسط استخدام K2 Horizon أكثر من 2 رمز تعبيري لكل استجابة، بينما نادرًا جدًا ما تستخدم معظم النماذج رمزًا تعبيريًا واحدًا
