Sur MLCR-AA et HealthBench Professional, les modèles d'Anthropic donnent les réponses les plus complètes, mais les modèles d'OpenAI sont plus précis et plus concis
Nous avons comparé 14 modèles ayant des résultats à la fois sur MLCR-AA, notre classement pour le benchmark Medical Long Context Reasoning de @wisedocsai, et sur le HealthBench Professional de @OpenAI. MLCR-AA note les réponses portant sur de longs dossiers médicaux selon la complétude (couvrir chaque point clé de la réponse de l'expert) et la précision (aucune affirmation contredisant le dossier), et son score exige les deux. HealthBench Professional évalue les réponses aux cliniciens selon des grilles rédigées par des médecins : le score brut est la part des points de grille obtenus, tandis que le score ajusté selon la longueur pénalise les réponses plus longues.
Points clés :
➤ Les modèles d'Anthropic mènent en complétude et en score brut : Claude Sonnet 5.5, Opus 5.5 et Fable 5.1 (tous max avec repli) de @AnthropicAI détiennent les trois meilleurs scores de complétude MLCR-AA, avec ~19-23 points d'avance sur le meilleur modèle d'OpenAI, et Opus et Sonnet affichent les meilleurs scores bruts à HealthBench Professional (71,4 % et 70,8 %), juste devant GPT-6 Astra (69,7 %)
➤ Les modèles d'OpenAI mènent en précision et en concision : les modèles d'OpenAI détiennent les meilleurs scores de précision MLCR-AA. Les réponses plus longues ont moins de chances d'être jugées précises, car chaque affirmation supplémentaire est une occasion de plus de contredire le dossier : les modèles d'Anthropic écrivent ~4 à 6 fois plus par réponse que les modèles d'OpenAI, et obtiennent 19-61 % en précision contre 89-97 %
➤ L'écart se resserre sur les scores qui récompensent les deux : GPT-6 Astra (max) égale Claude Sonnet 5.5 à la place #1 sur MLCR-AA et mène de justesse sur le score ajusté selon la longueur de HealthBench Professional, tandis que Claude Opus 5.5 passe de la place #1 sur le score brut à la place #6 en ajusté selon la longueur