HealthBench 및 HealthBench Professional: 현실적인 건강 대화에서 모델 평가하기
AI 모델이 현실적인 건강 대화에서 어떻게 반응하는지 평가하는 두 가지 벤치마크인 HealthBench와 HealthBench Professional의 리더보드를 공개합니다
HealthBench와 HealthBench Professional은 OpenAI의 벤치마크로, 현실적인 건강 대화에 대한 모델의 답변을 의사가 작성한 루브릭을 기준으로 채점합니다.
HealthBench는 일반 사용자 및 보건 종사자와의 5,000개 건강 대화를 통해 모델을 평가합니다. 이 대화들은 응급 이송부터 글로벌 건강까지 일곱 가지 주제를 다루며, 각 루브릭 기준은 정확성, 완전성, 의사소통 품질, 맥락 인식, 지시 이행이라는 다섯 가지 축 중 하나에 속합니다. HealthBench Professional은 525개 대화로 구성된 더 작은 규모의 세트로, HealthBench와 달리 모두 임상의와의 대화입니다. 여기에는 상담, 글쓰기, 연구 과제가 포함되며, 모델에게 도전이 되도록 설계된 적대적이고 어려운 대화들도 포함되어 있습니다.
저희는 원점수(획득한 루브릭 점수의 비율)와 OpenAI가 보고하는 길이 조정 점수를 모두 보고합니다. 길이 조정 점수는 2,000자를 초과하는 답변의 점수를 낮추고, 더 짧은 답변의 점수를 높입니다. OpenAI의 원래 구현 방식과 일관되게, 답변은 GPT-5.4 (low)(HealthBench Professional)와 GPT-4.1(HealthBench)로 채점됩니다.
HealthBench Professional 주요 결과:
➤ GPT-6 Astra와 GPT-6.1 Sol이 리더보드 상위를 차지했습니다: GPT-6 Astra (max)는 길이 조정 점수에서 66.0%를 기록했으며, GPT-6.1 Sol (max, 65.1%)과 비슷하고 Claude Sonnet 5.5 (max with fallback, 63.0%)보다 앞서 있습니다
➤ OpenAI 모델이 점수 대 작업당 비용 파레토 경계 전체를 구성합니다: 파레토 경계는 GPT-6 Luna (max, 61.9%, 작업당 $0.004)에서 GPT-6 Sol (max, 62.3%, $0.036), GPT-6.1 Sol (max, 65.1%, $0.047)을 거쳐 GPT-6 Astra (max, 66.0%, $0.27)까지 이어집니다. GPT-6 Luna (max)는 GPT-6 Astra (max)보다 4점 낮지만 비용은 2% 미만입니다
➤ Claude Opus 5.5와 Claude Fable 5.1이 가장 큰 길이 페널티를 받습니다: 두 모델 모두 답변당 평균 약 5,900자로 2,000자 기준의 거의 3배이며, 조정 후 11점 이상 손실됩니다. Claude Opus 5.5 (max with fallback)는 원점수가 가장 높지만(71.4%) 6위(59.9%)로 떨어집니다. GPT-6 Sol (max)은 평균 2,000자 미만(약 1,600자)인 유일한 모델이며, 점수가 상승하는 유일한 모델입니다
HealthBench 주요 결과:
➤ Claude Sonnet 5.5가 HealthBench 1위: Claude Sonnet 5.5 (max with fallback)는 길이 조정 점수에서 62.1%를 기록해 DeepSeek V4.1 Flash (max, 60.9%)와 GPT-6.1 Sol (max, 58.5%)보다 앞서 있습니다
➤ GPT-6 Luna, DeepSeek V4.1 Flash, Claude Sonnet 5.5가 점수 대 작업당 비용 파레토 경계를 형성합니다: GPT-6 Luna (max)는 작업당 $0.002로 54.6%를 기록하고, DeepSeek V4.1 Flash (max)는 작업당 $0.005로 60.9%를 기록합니다. Claude Sonnet 5.5 (max with fallback)의 평균 작업당 비용은 $0.08로, 약 1점의 점수 상승을 위해 DeepSeek V4.1 Flash보다 약 16배 더 비쌉니다
➤ 짧은 답변은 완전성을 의사소통 품질과 맞바꿉니다: HealthBench의 각 루브릭 항목은 다섯 가지 축 중 하나로 태그가 지정됩니다. 완전성은 답변이 중요한 정보를 모두 포함하는지 확인하고, 의사소통 품질은 답변이 명확하고 잘 구조화되어 있으며 적절한 길이와 상세 수준으로 작성되었는지 확인합니다. GPT-6 Sol (max)은 가장 짧은 답변(약 1,000자)을 작성하며 원점수 기준 의사소통 품질 점수는 가장 높지만(81%) 완전성 점수는 가장 낮습니다(34%). Claude Sonnet 5.5 (max with fallback)는 완전성(63%)에서 선두입니다
전체 리더보드는 여기에서 확인하세요:
➤ HealthBench Professional: https://artificialanalysis.ai/evaluations/healthbench-professional
➤ HealthBench: https://artificialanalysis.ai/evaluations/healthbench