HealthBench y HealthBench Professional: evaluando modelos en conversaciones de salud realistas
Lanzamos clasificaciones (leaderboards) para HealthBench y HealthBench Professional, dos benchmarks que evalúan cómo responden los modelos de IA en conversaciones de salud realistas
HealthBench y HealthBench Professional son benchmarks de OpenAI que califican las respuestas de los modelos a conversaciones de salud realistas según rúbricas creadas por médicos.
HealthBench evalúa modelos en 5,000 conversaciones de salud con usuarios cotidianos y trabajadores de la salud. Cubren siete temas, desde referencias de emergencia hasta salud global, y cada criterio de rúbrica pertenece a uno de cinco ejes: precisión, completitud, calidad de comunicación, conciencia del contexto y seguimiento de instrucciones. HealthBench Professional es un conjunto más pequeño de 525 conversaciones que, a diferencia de HealthBench, son todas con personal clínico. Estas cubren tareas de consulta, redacción e investigación, e incluyen conversaciones adversariales y difíciles diseñadas para desafiar a los modelos.
Reportamos tanto la puntuación bruta (la proporción de puntos de rúbrica obtenidos) como la puntuación ajustada por longitud que reporta OpenAI. La puntuación ajustada por longitud reduce la puntuación de respuestas de más de 2,000 caracteres y aumenta la de las más cortas. En consonancia con la implementación original de OpenAI, las respuestas son calificadas por GPT-5.4 (low) (HealthBench Professional) y GPT-4.1 (HealthBench).
Resultados clave de HealthBench Professional:
➤ GPT-6 Astra y GPT-6.1 Sol encabezan la clasificación: GPT-6 Astra (max) obtiene 66.0% en la puntuación ajustada por longitud, comparable a GPT-6.1 Sol (max, 65.1%) y por delante de Claude Sonnet 5.5 (max con fallback, 63.0%)
➤ Los modelos de OpenAI componen toda la frontera de Pareto de puntuación vs. Costo por Tarea: La frontera de Pareto va desde GPT-6 Luna (max, 61.9%, $0.004 por tarea) pasando por GPT-6 Sol (max, 62.3%, $0.036) y GPT-6.1 Sol (max, 65.1%, $0.047) hasta GPT-6 Astra (max, 66.0%, $0.27). GPT-6 Luna (max) queda 4 puntos por debajo de GPT-6 Astra (max) a menos del 2% del costo
➤ Claude Opus 5.5 y Claude Fable 5.1 reciben las mayores penalizaciones por longitud: Ambos promedian ~5,900 caracteres por respuesta, casi 3 veces el umbral de 2,000 caracteres, y pierden más de 11 puntos tras el ajuste. Claude Opus 5.5 (max con fallback) tiene la puntuación bruta más alta (71.4%) pero cae al sexto lugar (59.9%). GPT-6 Sol (max) es el único modelo que promedia menos de 2,000 caracteres (~1,600) y el único cuya puntuación sube
Resultados clave de HealthBench:
➤ Claude Sonnet 5.5 encabeza HealthBench: Claude Sonnet 5.5 (max con fallback) obtiene 62.1% en la puntuación ajustada por longitud, por delante de DeepSeek V4.1 Flash (max, 60.9%) y GPT-6.1 Sol (max, 58.5%)
➤ GPT-6 Luna, DeepSeek V4.1 Flash y Claude Sonnet 5.5 forman la frontera de Pareto de puntuación vs. Costo por Tarea: GPT-6 Luna (max) obtiene 54.6% a $0.002 por tarea y DeepSeek V4.1 Flash (max) obtiene 60.9% a $0.005 por tarea. Claude Sonnet 5.5 (max con fallback) tiene un Costo por Tarea promedio de $0.08, ~16 veces más costoso que DeepSeek V4.1 Flash para un aumento de ~1 punto en la puntuación
➤ Las respuestas más cortas intercambian completitud por calidad de comunicación: Cada ítem de la rúbrica de HealthBench está etiquetado con uno de cinco ejes. Completitud verifica si una respuesta incluye toda la información importante, mientras que Calidad de Comunicación verifica si es clara, está bien estructurada y tiene la longitud y el nivel de detalle adecuados. GPT-6 Sol (max) escribe las respuestas más cortas (~1,000 caracteres) y tiene la puntuación bruta más alta en Calidad de Comunicación (81%), pero la más baja en Completitud (34%). Claude Sonnet 5.5 (max con fallback) lidera en Completitud (63%)
Para ver las clasificaciones completas, consulte aquí:
➤ HealthBench Professional: https://artificialanalysis.ai/evaluations/healthbench-professional
➤ HealthBench: https://artificialanalysis.ai/evaluations/healthbench