في دراسات تفضيلات البشر التي أجراها هارفي، حدد الخبراء البشريون الأوهام كعامل محدد رئيسي للرد الذي يفضله الناس بين إجابتين شديدتين الشمولية. يركز مسار تقييم الأوهام الجديد لدينا على الأخطاء التي قد تؤثر بشكل ملموس على العمل القانوني الحقيقي، مع اتخاذ نهج محافظ في تحديدها. يتم التمييز بين الادعاءات المحددة للمهام التي لا تستند إلى دعم قانوني، وال معرفة قانونية عامة، ويُخرج الأخيرة من نطاق التقييم، بحيث لا يتم معاقبة النماذج ببساطة لاستخدامها للقوانين القضائية أو التشريعات التي تتجاوز ملفات المصدر.
الفحص يتم على مرحلتين، وكلاهما يستخدم GPT-6 Sol (عالي). أولاً، يقارن كل ناتج بتوثيقات المصدر الخاصة بالمهمة. المهمة التي لا تحتوي على درجات قابلة للاستخدام تحصل على صفر، ولا يتم فحصها أو إدراجها في حساب الأوهام لكل مهمة. الوهام هو ادعاء في المنتج العملي لا تدعمه المصادر، وكل منهما ينتمي إلى واحدة من ثلاث فئات:
- تناقض في المواد المصدرية.
- محتوى مصدر مُصنّع.
- ادعاء معين لا يحمل دعمًا في السجل.
ثم يقوم بفحص كل علامة مرة أخرى ضمن وثائق المهمة الأصلية، ويتجاهل العلامات التي لا تستوفي الشروط، ويصنف الخرافات المؤكدة على أنها مادية أو صغيرة. الخرافة المادية هي تلك التي قد تضلل القارئ في نقطة جوهرية. الخرافة المادية تُعطي مساهمة المهمة في معدل الدخول الكلي المشروط بالخرافة صفرًا؛ أما الخرافات الصغيرة فتُسجل بشكل منفصل ولا تؤثر على النتيجة.
يتم now تقييم معايير الاختبار من قبل لجنة من ثلاثة قضاة تضم GPT-6 Sol وGrok 4.7 وClaude Opus 5.5، بدلاً من القاضي الواحد في الإصدار v1.0. كما نقوم بتشغيل الإصدار v1.1 على أحدث مجموعة البيانات الخاصة من Harvey، والتي تتضمن تحسينات على المهام والمعايير. لقد قمنا بفحص هؤلاء القضاة ووجدنا أنهم لا يميلون إلى نماذجهم الخاصة، وقمنا بتوسط نتائج الثلاثة لتقليل أي تحيزات قد تظهر.