Wir starten Leaderboards für HealthBench und HealthBench Professional, zwei Benchmarks, die bewerten, wie KI-Modelle in realistischen Gesundheitsgesprächen antworten
HealthBench und HealthBench Professional sind Benchmarks von @OpenAI, die Modellantworten auf realistische Gesundheitsgespräche anhand von von Ärzten erstellten Rubriken bewerten.
HealthBench testet Modelle an 5,000 Gesundheitsgesprächen mit Alltagsnutzern und Gesundheitsfachkräften. Diese decken sieben Themen ab, von Notfallüberweisungen bis hin zur globalen Gesundheit, und jedes Rubrikkriterium fällt unter eine von fünf Achsen: Genauigkeit, Vollständigkeit, Kommunikationsqualität, Kontextbewusstsein und Befolgen von Anweisungen. HealthBench Professional ist ein kleinerer Satz von 525 Gesprächen, die – anders als bei HealthBench – alle mit Klinikern geführt werden. Diese umfassen Konsultations-, Schreib- und Rechercheaufgaben und enthalten adversarielle sowie schwierige Gespräche, die Modelle herausfordern sollen.
Wir berichten sowohl über die Rohpunktzahl (den Anteil der erreichten Rubrikpunkte) als auch über die längenadjustierte Punktzahl, die OpenAI angibt. Die längenadjustierte Punktzahl senkt die Punktzahl von Antworten, die länger als 2,000 Zeichen sind, und erhöht die Punktzahl kürzerer. Konsistent mit OpenAIs ursprünglicher Implementierung werden die Antworten von GPT-5.4 (low) (HealthBench Professional) und GPT-4.1 (HealthBench) bewertet.
Wichtige Ergebnisse für HealthBench Professional:
➤ GPT-6 Astra und GPT-6.1 Sol führen das Leaderboard an: GPT-6 Astra (max) erzielt 66.0% auf der längenadjustierten Punktzahl, vergleichbar mit GPT-6.1 Sol (max, 65.1%) und vor Claude Sonnet 5.5 (max with fallback, 63.0%)
➤ OpenAI-Modelle bilden die gesamte Score vs. Cost per Task Pareto-Frontier: Die Pareto-Frontier besteht aus GPT-6 Luna (max, 61.9%, $0.004 pro Aufgabe) über GPT-6 Sol (max, 62.3%, $0.036) und GPT-6.1 Sol (max, 65.1%, $0.047) bis hin zu GPT-6 Astra (max, 66.0%, $0.27). GPT-6 Luna (max) liegt 4 Punkte unter GPT-6 Astra (max) bei weniger als 2% der Kosten
➤ Claude Opus 5.5 und Claude Fable 5.1 erhalten die größten Längenabzüge: Beide haben im Durchschnitt ~5,900 Zeichen pro Antwort, fast das 3-Fache der 2,000-Zeichen-Grenze, und verlieren nach der Anpassung über 11 Punkte. Claude Opus 5.5 (max with fallback) hat die höchste Rohpunktzahl (71.4%), fällt aber auf den sechsten Platz (59.9%). GPT-6 Sol (max) ist das einzige Modell mit durchschnittlich weniger als 2,000 Zeichen (~1,600) und das einzige, dessen Punktzahl steigt
Wichtige Ergebnisse für HealthBench:
➤ Claude Sonnet 5.5 führt HealthBench an: Claude Sonnet 5.5 (max with fallback) erzielt 62.1% auf der längenadjustierten Punktzahl, vor DeepSeek V4.1 Flash (max, 60.9%) und GPT-6.1 Sol (max, 58.5%)
➤ GPT-6 Luna, DeepSeek V4.1 Flash und Claude Sonnet 5.5 bilden die Score vs. Cost per Task Pareto-Frontier: GPT-6 Luna (max) erzielt 54.6% bei $0.002 pro Aufgabe und DeepSeek V4.1 Flash (max) erzielt 60.9% bei $0.005 pro Aufgabe. Claude Sonnet 5.5 (max with fallback) hat durchschnittliche Kosten pro Aufgabe von $0.08, ~16-mal teurer als DeepSeek V4.1 Flash für einen ~1-Punkte-Anstieg der Punktzahl
➤ Kürzere Antworten tauschen Vollständigkeit gegen Kommunikationsqualität: Jedes HealthBench-Rubrikelement ist mit einer von fünf Achsen versehen. Vollständigkeit prüft, ob eine Antwort alle wichtigen Informationen enthält, während Kommunikationsqualität prüft, ob sie klar, gut strukturiert und in der richtigen Länge und Detailtiefe abgefasst ist. GPT-6 Sol (max) schreibt die kürzesten Antworten (~1,000 Zeichen) und hat die höchste Rohpunktzahl bei Kommunikationsqualität (81%), aber die niedrigste Vollständigkeitspunktzahl (34%). Claude Sonnet 5.5 (max with fallback) führt bei Vollständigkeit (63%)
