Hemos actualizado MLCR-AA, nuestro leaderboard para el benchmark de Medical Long Context Reasoning de Wisedocs, con Claude Sonnet 5.5 y GPT-6 Astra ahora empatados en el puesto #1
Hemos actualizado cómo MLCR-AA evalúa con prompts y califica a los modelos en el benchmark de @wisedocsai, para reflejar mejor cómo se realiza la revisión de historiales médicos en la práctica. Los modelos ahora reciben prompts como revisores de historiales médicos, y se les pide responder cada parte de una pregunta en un párrafo con su conclusión y la evidencia de respaldo del historial. Las respuestas son calificadas por un nuevo panel de tres modelos jueces, y revisamos las 60 respuestas de referencia expertas contra sus historiales de origen, refinando 15.
Claude Sonnet 5.5 (max with fallback) de @AnthropicAI y GPT-6 Astra (max) de @OpenAI están empatados en la cima con 41.7%, seguidos por GPT-6.1 Sol (max) con 38.3%. Qwen3.8 2.4T A95B de @Alibaba_Qwen es el modelo de pesos abiertos líder con 30.6%.
Resultados clave del MLCR-AA actualizado:
➤ La revisión de historiales médicos sigue lejos de estar resuelta: una respuesta pasa solo cuando es completa y precisa, y ningún modelo pasa más del 42% de las preguntas y el modelo mediano pasa menos del 15%
➤ Los modelos de Anthropic lideran en completitud, alcanzando la conclusión del experto con el razonamiento médico correcto: los modelos Claude ocupan los 18 mejores puntajes de completitud entre todos los modelos y niveles de esfuerzo que probamos, liderados por Claude Sonnet 5.5 (max with fallback) con 64.8%. El mejor modelo no perteneciente a Anthropic es GPT-6 Astra (max) con 42.2%
➤ Los modelos de OpenAI lideran en precisión, citando el historial sin exagerar ni alucinar: los modelos de OpenAI ocupan los 27 mejores puntajes de precisión, liderados por GPT-6.1 Sol (max) con 96.7%, pero responden menos preguntas de manera completa: GPT-6.1 Sol (max) es completo en el 40.0% de las preguntas
Nos gustaría agradecer a Wisedocs por construir MLCR y por su colaboración en llevarlo a Artificial Analysis