MLCR-AAとHealthBench Professionalでは、Anthropicのモデルは最も完全な回答を示すが、OpenAIのモデルはより正確かつ簡潔である

MLCR-AAとHealthBench Professionalでは、Anthropicのモデルは最も完全な回答を示すが、OpenAIのモデルはより正確かつ簡潔である

我々は、@wisedocsaiのMedical Long Context ReasoningベンチマークのリーダーボードであるMLCR-AAと、@OpenAIのHealthBench Professionalの両方に結果がある14のモデルを比較した。MLCR-AAは、長い医療記録に関する回答を、完全性(専門家の回答のすべての要点を網羅しているか)と正確性(記録に矛盾する主張がないか)で評価し、そのスコアは両方を必要とする。HealthBench Professionalは、臨床医への回答を医師が作成したルーブリックに基づいて評価する。生のスコアは獲得したルーブリック項目の割合であり、長さ調整スコアは長い回答にペナルティを課す。

主なポイント:

➤ Anthropicのモデルは完全性と生スコアで首位： @AnthropicAIのClaude Sonnet 5.5、Opus 5.5、Fable 5.1(いずれもmax with fallback)がMLCR-AAの完全性スコアの上位3位を占め、最高のOpenAIモデルを約19〜23ポイント上回る。また、OpusとSonnetはHealthBench Professionalの最高の生スコア(71.4%と70.8%)を記録し、GPT-6 Astra(69.7%)をわずかに上回る

➤ OpenAIのモデルは正確性と簡潔さで首位： OpenAIのモデルはMLCR-AAの正確性スコアの上位を占めている。長い回答は正確と判定されにくい。主張が1つ増えるごとに、記録と矛盾する機会が1つ増えるためである。AnthropicのモデルはOpenAIのモデルより1回答あたり約4〜6倍多く書き、正確性スコアは19〜61%に対しOpenAIは89〜97%

➤ 両方を評価するスコアでは差が縮まる： GPT-6 Astra(max)はMLCR-AAでClaude Sonnet 5.5と同率1位となり、HealthBench Professionalの長さ調整スコアでもわずかに首位に立つ。一方、Claude Opus 5.5は生スコアでの1位から長さ調整では6位に落ちる