Nous avons mis à jour MLCR-AA, notre classement pour le benchmark Medical Long Context Reasoning de Wisedocs : Claude Sonnet 5.5 et GPT-6 Astra sont désormais à égalité pour la première place du score #1.
Nous avons mis à jour la manière dont MLCR-AA interpelle et évalue les modèles sur le benchmark de @wisedocsai, afin de mieux refléter la façon dont la révision de dossiers médicaux est réalisée en pratique. Les modèles sont désormais invités en tant que réviseurs de dossiers médicaux, et doivent répondre à chaque partie d'une question en un seul paragraphe avec leur conclusion et les preuves à l'appui tirées du dossier. Les réponses sont évaluées par un nouveau panel de trois modèles juge, et nous avons examiné les 60 réponses de référence expertes par rapport à leurs dossiers sources, en affinant 15 d'entre elles.
Claude Sonnet 5.5 (max with fallback) de @AnthropicAI et GPT-6 Astra (max) de @OpenAI sont à égalité en tête avec 41,7 %, suivis de GPT-6.1 Sol (max) à 38,3 %. Qwen3.8 2.4T A95B de @Alibaba_Qwen est le meilleur modèle à poids ouverts avec 30,6 %.
Résultats clés du MLCR-AA mis à jour :
➤ La révision de dossiers médicaux reste loin d'être résolue : une réponse n'est validée que si elle est à la fois complète et exacte, et aucun modèle ne valide plus de 42 % des questions, le modèle médian validant moins de 15 %
➤ Les modèles d'Anthropic dominent en matière de complétude, atteignant la conclusion de l'expert avec le bon raisonnement médical : les modèles Claude détiennent les 18 meilleurs scores de complétude parmi tous les modèles et tous les niveaux d'effort que nous avons testés, menés par Claude Sonnet 5.5 (max with fallback) à 64,8 %. Le meilleur modèle non-Anthropic est GPT-6 Astra (max) à 42,2 %
➤ Les modèles d'OpenAI dominent en matière d'exactitude, citant le dossier sans exagération ni hallucination : les modèles d'OpenAI détiennent les 27 meilleurs scores d'exactitude, menés par GPT-6.1 Sol (max) à 96,7 %, mais répondent complètement à moins de questions : GPT-6.1 Sol (max) est complet sur 40,0 % des questions
Nous tenons à remercier Wisedocs d'avoir créé MLCR et pour leur collaboration visant à l'apporter à Artificial Analysis