En MLCR-AA y HealthBench Professional, los modelos de Anthropic dan las respuestas más completas, pero los modelos de OpenAI son más precisos y concisos
Comparamos 14 modelos con resultados tanto en MLCR-AA, nuestro leaderboard para el benchmark Medical Long Context Reasoning de @wisedocsai, como en el HealthBench Professional de @OpenAI. MLCR-AA califica las respuestas sobre historiales médicos largos según la completitud (cubrir cada punto clave de la respuesta del experto) y la precisión (ninguna afirmación que contradiga el historial), y su puntuación requiere ambas. HealthBench Professional califica las respuestas a clínicos según rúbricas escritas por médicos: la puntuación bruta es la proporción de puntos de la rúbrica obtenidos, mientras que la puntuación ajustada por longitud penaliza las respuestas más largas.
Conclusiones clave:
➤ Los modelos de Anthropic lideran en completitud y puntuación bruta: Claude Sonnet 5.5, Opus 5.5 y Fable 5.1 (todos max with fallback) de @AnthropicAI ocupan los tres primeros puestos en completitud de MLCR-AA, ~19-23 puntos por delante del mejor modelo de OpenAI, y Opus y Sonnet registran las puntuaciones brutas más altas en HealthBench Professional (71.4% y 70.8%), por delante por poco de GPT-6 Astra (69.7%)
➤ Los modelos de OpenAI lideran en precisión y concisión: los modelos de OpenAI ostentan las mejores puntuaciones de precisión en MLCR-AA. Las respuestas más largas tienen menos probabilidad de ser juzgadas como precisas, ya que cada afirmación adicional es otra oportunidad de contradecir el historial: los modelos de Anthropic escriben ~4-6x más por respuesta que los modelos de OpenAI, y obtienen un 19-61% en precisión frente a un 89-97%
➤ La brecha se cierra en las puntuaciones que recompensan ambas cualidades: GPT-6 Astra (max) empata con Claude Sonnet 5.5 en el puesto #1 de MLCR-AA y lidera por poco la puntuación ajustada por longitud de HealthBench Professional, mientras que Claude Opus 5.5 cae del puesto #1 en la puntuación bruta al #6 ajustado por longitud