Wir haben MLCR-AA aktualisiert, unsere Rangliste für Wisedocs' Medical Long Context Reasoning benchmark, mit Claude Sonnet 5.5 und GPT-6 Astra nun gleichauf auf Platz #1
Wir haben aktualisiert, wie MLCR-AA Modelle auf @wisedocsai's benchmark abfragt und bewertet, um besser widerzuspiegeln, wie die Prüfung medizinischer Akten in der Praxis erfolgt. Modelle werden nun als medizinische Aktenprüfer abgefragt und gebeten, jeden Teil einer Frage in einem Absatz mit ihrem Fazit und den unterstützenden Belegen aus der Akte zu beantworten. Antworten werden von einem neuen Gremium aus drei Modellen bewertet, und wir haben alle 60 Experten-Referenzantworten gegen ihre Quellakten geprüft und 15 verfeinert.
Claude Sonnet 5.5 (max with fallback) von @AnthropicAI und GPT-6 Astra (max) von @OpenAI liegen gleichauf an der Spitze mit 41,7%, gefolgt von GPT-6.1 Sol (max) mit 38,3%. Qwen3.8 2.4T A95B von @Alibaba_Qwen ist das führende Open-Weights-Modell mit 30,6%.
Zentrale Ergebnisse des aktualisierten MLCR-AA:
➤ Die Prüfung medizinischer Akten ist weiterhin weit von gelöst entfernt: Eine Antwort besteht nur, wenn sie sowohl vollständig als auch korrekt ist, kein Modell besteht mehr als 42% der Fragen und das Median-Modell besteht weniger als 15%
➤ Anthropic-Modelle führen bei Vollständigkeit und erreichen das Fazit des Experten mit der richtigen medizinischen Argumentation: Claude-Modelle belegen die Top 18 der Vollständigkeitswerte über alle Modelle und Aufwandstufen, die wir getestet haben, angeführt von Claude Sonnet 5.5 (max with fallback) mit 64,8%. Das beste Nicht-Anthropic-Modell ist GPT-6 Astra (max) mit 42,2%
➤ OpenAI-Modelle führen bei Genauigkeit und zitieren die Akte ohne Übertreibung oder Halluzination: OpenAI-Modelle belegen die Top 27 der Genauigkeitswerte, angeführt von GPT-6.1 Sol (max) mit 96,7%, beantworten aber weniger Fragen vollständig: GPT-6.1 Sol (max) ist bei 40,0% der Fragen vollständig
Wir möchten Wisedocs dafür danken, dass sie MLCR entwickelt haben und für ihre Zusammenarbeit bei der Bereitstellung für Artificial Analysis