La méthodologie MLCR-AA mise à jour présente les spécifications suivantes :
➤ Les modèles reçoivent un prompt système qui présente la tâche comme une révision de dossier médical, la question étant placée après le dossier médical complet d'environ 25k à 64k tokens
➤ Sauf si une question spécifie son propre format, les modèles répondent à chaque partie de la question en un seul paragraphe, en donnant leur conclusion et les éléments justificatifs tirés du dossier. Les longueurs de réponse étant désormais cohérentes entre les modèles, nous n'appliquons plus le test de concision
➤ L'évaluation utilise un panel de juges à trois modèles : GPT-6.1 Sol, Claude Opus 5.5 et Grok 4.7, tous à effort moyen. Chaque juge liste toute affirmation contredisant le dossier médical et tout point clé de la réponse de référence manquant dans la réponse, et une réponse passe si la majorité des juges ne liste ni l'un ni l'autre. Les trois juges parviennent au même verdict sur 69 % des réponses, contre 48 % avec le panel précédent
➤ Chaque question est exécutée trois fois, et nous reportons la moyenne des répétitions
Les scores du classement mis à jour ne sont pas directement comparables aux résultats MLCR-AA antérieurs. MLCR-AA n'est pas une composante de l'Artificial Analysis Intelligence Index.