MLCR-AA와 HealthBench Professional에서 Anthropic 모델이 가장 완전한 답변을 제공하지만 OpenAI 모델이 더 정확하고 간결합니다

MLCR-AA와 HealthBench Professional에서 Anthropic 모델이 가장 완전한 답변을 제공하지만 OpenAI 모델이 더 정확하고 간결합니다

우리는 @wisedocsai의 Medical Long Context Reasoning 벤치마크 리더보드인 MLCR-AA와 @OpenAI의 HealthBench Professional 양쪽에 결과가 있는 14개 모델을 비교했습니다. MLCR-AA는 긴 의료 기록에 대한 답변을 완전성(전문가 답변의 모든 핵심 포인트를 다루는지)과 정확성(기록과 모순되는 주장이 없는지)으로 채점하며, 점수에는 두 요소가 모두 요구됩니다. HealthBench Professional은 임상의에 대한 회신을 의사가 작성한 루브릭 기준으로 채점합니다: 원점수는 획득한 루브릭 포인트의 비율이며, 길이 조정 점수는 더 긴 답변에 감점을 부여합니다.

핵심 요약:

➤ Anthropic 모델은 완전성과 원점수에서 선두: @AnthropicAI의 Claude Sonnet 5.5, Opus 5.5, Fable 5.1 (모두 max with fallback)가 MLCR-AA 완전성 점수 상위 3위를 차지했으며, 최고의 OpenAI 모델보다 약 19-23점 앞서고, Opus와 Sonnet은 HealthBench Professional 원점수 최고 기록(71.4%와 70.8%)을 세우며 GPT-6 Astra(69.7%)를 근소하게 앞섰습니다

➤ OpenAI 모델은 정확성과 간결성에서 선두: OpenAI 모델이 MLCR-AA 정확성 점수 상위를 차지했습니다. 더 긴 답변은 정확하다고 판정될 가능성이 낮은데, 추가되는 주장 하나하나가 기록과 모순될 또 다른 기회가 되기 때문입니다: Anthropic 모델은 OpenAI 모델보다 답변당 약 4-6배 더 많이 작성하며, 정확성 점수는 19-61% 대 89-97%를 기록했습니다

➤ 양쪽 모두를 반영하는 점수에서는 격차가 좁아집니다: GPT-6 Astra(max)는 MLCR-AA에서 Claude Sonnet 5.5와 공동 1위를 기록하고 HealthBench Professional 길이 조정 점수에서 근소하게 선두이며, Claude Opus 5.5는 원점수 1위에서 길이 조정 6위로 하락했습니다