HealthBench et HealthBench Professional : évaluer les modèles dans des conversations de santé réalistes
Nous lançons des classements pour HealthBench et HealthBench Professional, deux benchmarks évaluant la manière dont les modèles d'IA répondent dans des conversations de santé réalistes
HealthBench et HealthBench Professional sont des benchmarks d'OpenAI qui notent les réponses des modèles à des conversations de santé réalistes selon des grilles d'évaluation créées par des médecins.
HealthBench teste les modèles sur 5,000 conversations de santé avec des utilisateurs ordinaires et des professionnels de santé. Elles couvrent sept thèmes, depuis les orientations d'urgence jusqu'à la santé mondiale, et chaque critère de la grille d'évaluation relève de l'un des cinq axes : exactitude, exhaustivité, qualité de la communication, conscience du contexte et suivi des instructions. HealthBench Professional est un ensemble plus restreint de 525 conversations qui, contrairement à HealthBench, sont toutes menées avec des cliniciens. Elles couvrent des tâches de consultation, de rédaction et de recherche, et incluent des conversations adverses et difficiles conçues pour mettre les modèles à l'épreuve.
Nous rapportons à la fois le score brut (la part des points de la grille obtenus) et le score ajusté à la longueur qu'OpenAI rapporte. Le score ajusté à la longueur abaisse le score des réponses de plus de 2,000 caractères et augmente celui des réponses plus courtes. Conformément à l'implémentation initiale d'OpenAI, les réponses sont notées par GPT-5.4 (low) (HealthBench Professional) et GPT-4.1 (HealthBench).
Résultats clés pour HealthBench Professional :
➤ GPT-6 Astra et GPT-6.1 Sol dominent le classement : GPT-6 Astra (max) obtient 66.0 % sur le score ajusté à la longueur, un résultat comparable à GPT-6.1 Sol (max, 65.1 %) et devant Claude Sonnet 5.5 (max with fallback, 63.0 %)
➤ Les modèles d'OpenAI composent l'intégralité de la frontière de Pareto score vs. coût par tâche : La frontière de Pareto est composée de GPT-6 Luna (max, 61.9 %, $0.004 par tâche), puis de GPT-6 Sol (max, 62.3 %, $0.036) et GPT-6.1 Sol (max, 65.1 %, $0.047) jusqu'à GPT-6 Astra (max, 66.0 %, $0.27). GPT-6 Luna (max) obtient 4 points de moins que GPT-6 Astra (max) pour moins de 2 % du coût
➤ Claude Opus 5.5 et Claude Fable 5.1 reçoivent les pénalités de longueur les plus importantes : Les deux affichent en moyenne ~5,900 caractères par réponse, soit près de 3 fois le seuil de 2,000 caractères, et perdent plus de 11 points après ajustement. Claude Opus 5.5 (max with fallback) a le score brut le plus élevé (71.4 %) mais tombe à la sixième place (59.9 %). GPT-6 Sol (max) est le seul modèle dont la moyenne est inférieure à 2,000 caractères (~1,600), et le seul dont le score augmente
Résultats clés pour HealthBench :
➤ Claude Sonnet 5.5 domine HealthBench : Claude Sonnet 5.5 (max with fallback) obtient 62.1 % sur le score ajusté à la longueur, devant DeepSeek V4.1 Flash (max, 60.9 %) et GPT-6.1 Sol (max, 58.5 %)
➤ GPT-6 Luna, DeepSeek V4.1 Flash et Claude Sonnet 5.5 forment la frontière de Pareto score vs. coût par tâche : GPT-6 Luna (max) obtient 54.6 % à $0.002 par tâche et DeepSeek V4.1 Flash (max) obtient 60.9 % à $0.005 par tâche. Claude Sonnet 5.5 (max with fallback) affiche un coût par tâche moyen de $0.08, soit ~16 fois plus cher que DeepSeek V4.1 Flash pour un gain de score d'environ 1 point
➤ Des réponses plus courtes échangent de l'exhaustivité contre de la qualité de communication : Chaque élément de la grille HealthBench est associé à l'un des cinq axes. L'exhaustivité vérifie si une réponse inclut toutes les informations importantes, tandis que la qualité de la communication vérifie si elle est claire, bien structurée et adaptée en longueur et en niveau de détail. GPT-6 Sol (max) écrit les réponses les plus courtes (~1,000 caractères) et obtient le score brut de qualité de communication le plus élevé (81 %), mais le score d'exhaustivité le plus bas (34 %). Claude Sonnet 5.5 (max with fallback) domine en exhaustivité (63 %)
Pour consulter les classements complets, voir ici :
➤ HealthBench Professional : https://artificialanalysis.ai/evaluations/healthbench-professional
➤ HealthBench : https://artificialanalysis.ai/evaluations/healthbench