La metodología MLCR-AA actualizada tiene las siguientes especificaciones:
➤ Los modelos reciben un system prompt que enmarca la tarea como una revisión de historial médico, con la pregunta colocada después del historial médico completo de ~25k a ~64k tokens
➤ A menos que una pregunta especifique su propio formato, los modelos responden cada parte de la pregunta en un solo párrafo, dando su conclusión y la evidencia de respaldo del historial. Con longitudes de respuesta ahora consistentes entre modelos, ya no aplicamos la prueba de concisión
➤ La evaluación utiliza un panel de tres jueces modelo: GPT-6.1 Sol, Claude Opus 5.5 y Grok 4.7, todos con esfuerzo medio. Cada juez enumera cualquier afirmación que contradiga el historial médico y cualquier punto clave de la respuesta de referencia que la respuesta omita, y una respuesta aprueba cuando la mayoría de los jueces no enumeran nada de esto. Los tres jueces llegan al mismo veredicto en el 69% de las respuestas, frente al 48% con el panel anterior
➤ Cada pregunta se ejecuta tres veces, y reportamos la media entre las repeticiones
Las puntuaciones en la tabla de clasificación actualizada no son directamente comparables con los resultados anteriores de MLCR-AA. MLCR-AA no es un componente del Artificial Analysis Intelligence Index.