Die aktualisierte MLCR-AA-Methodik hat die folgenden Spezifikationen:
➤ Die Modelle erhalten einen Systemprompt, der die Aufgabe als Überprüfung medizinischer Akten rahmt, wobei die Frage nach der vollständigen ~25k bis ~64k Token umfassenden medizinischen Akte platziert ist
➤ Sofern eine Frage kein eigenes Format vorgibt, beantworten die Modelle jeden Teil der Frage in einem Absatz und nennen ihre Schlussfolgerung sowie die unterstützenden Belege aus der Akte. Da die Antwortlängen nun über alle Modelle hinweg konsistent sind, wenden wir den Kürze-Test nicht mehr an
➤ Die Bewertung erfolgt durch ein Drei-Modell-Jurypanel bestehend aus GPT-6.1 Sol, Claude Opus 5.5 und Grok 4.7, alle mit mittlerem Aufwand. Jeder Richter listet jede Aussage auf, die der medizinischen Akte widerspricht, sowie jeden Kernpunkt der Referenzantwort, den die Antwort verpasst, und eine Antwort besteht, wenn eine Mehrheit der Richter weder das eine noch das andere auflistet. Alle drei Richter kommen bei 69% der Antworten zum selben Urteil, gegenüber 48% beim vorherigen Panel
➤ Jede Frage wird dreimal durchlaufen, und wir berichten den Mittelwert über die Wiederholungen
Die Punkte auf der aktualisierten Rangliste sind nicht direkt mit früheren MLCR-AA-Ergebnissen vergleichbar. MLCR-AA ist kein Bestandteil des Artificial Analysis Intelligence Index.