Bei MLCR-AA und HealthBench Professional liefern Anthropic-Modelle die vollständigsten Antworten, aber OpenAI-Modelle sind genauer und prägnanter
Wir haben 14 Modelle verglichen, die sowohl Ergebnisse auf MLCR-AA, unserem Leaderboard für den Medical Long Context Reasoning Benchmark von @wisedocsai, als auch auf HealthBench Professional von @OpenAI vorweisen. MLCR-AA bewertet Antworten zu langen Krankenakten anhand von Vollständigkeit (Abdeckung jedes Kernpunkts der Expertenantwort) und Genauigkeit (keine Aussage, die der Akte widerspricht), und der Punktestand setzt beides voraus. HealthBench Professional bewertet Antworten an Kliniker anhand von von Ärzten erstellten Rubriken: Die Rohpunktzahl ist der Anteil der erzielten Rubrikpunkte, während die längenangepasste Punktzahl längere Antworten bestraft.
Wichtigste Erkenntnisse:
➤ Anthropic-Modelle führen bei Vollständigkeit und Rohpunktzahl: Claude Sonnet 5.5, Opus 5.5 und Fable 5.1 (alle max with fallback) von @AnthropicAI belegen die Top-3-Plätze bei den MLCR-AA-Vollständigkeitswerten, etwa 19-23 Punkte vor dem besten OpenAI-Modell, und Opus und Sonnet erzielen die höchsten HealthBench Professional-Rohpunktzahlen (71,4% und 70,8%), knapp vor GPT-6 Astra (69,7%)
➤ OpenAI-Modelle führen bei Genauigkeit und Prägnanz: OpenAI-Modelle halten die Top-MLCR-AA-Genauigkeitswerte. Längere Antworten werden seltener als genau beurteilt, da jede zusätzliche Aussage eine weitere Gelegenheit darstellt, der Akte zu widersprechen: Anthropic-Modelle schreiben pro Antwort etwa 4-6x mehr als OpenAI-Modelle und erreichen 19-61% bei der Genauigkeit gegenüber 89-97%
➤ Die Lücke schließt sich bei Punktzahlen, die beides belohnen: GPT-6 Astra (max) teilt sich Platz #1 auf MLCR-AA mit Claude Sonnet 5.5 und führt knapp bei der längenangepassten HealthBench Professional-Punktzahl, während Claude Opus 5.5 von Platz #1 bei der Rohpunktzahl auf Platz #6 bei der längenangepassten Punktzahl fällt