Wisedocs의 Medical Long Context Reasoning 벤치마크를 위한 우리 리더보드인 MLCR-AA를 업데이트했습니다. 이제 Claude Sonnet 5.5와 GPT-6 Astra가 공동 1위 점수를 기록합니다
우리는 @wisedocsai의 벤치마크에서 MLCR-AA가 모델에 프롬프트를 제공하고 채점하는 방식을 업데이트하여 실무에서 의료 기록 검토가 수행되는 방식을 더 잘 반영하도록 했습니다. 이제 모델은 의료 기록 검토자로서 프롬프트를 받고, 질문의 각 부분에 대해 결론과 기록에서 뒷받침하는 근거를 한 단락으로 답하도록 요청받습니다. 답변은 새로운 3개 모델 심사 패널에 의해 채점되며, 우리는 60개의 전문가 참조 답변 전체를 원본 기록과 대조하여 검토하고 15개를 다듬었습니다.
@AnthropicAI의 Claude Sonnet 5.5(max with fallback)와 @OpenAI의 GPT-6 Astra(max)가 41.7%로 공동 1위이며, 그 뒤를 이어 GPT-6.1 Sol(max)이 38.3%를 기록했습니다. @Alibaba_Qwen의 Qwen3.8 2.4T A95B는 30.6%로 오픈 웨이트 모델 중 선두입니다.
업데이트된 MLCR-AA의 주요 결과:
➤ 의료 기록 검토는 여전히 해결되기까지 멀었다: 답변이 통과하려면 완전하고 정확해야 하며, 어떤 모델도 질문의 42%를 넘지 못했고 중앙값 모델은 15% 미만을 통과했습니다
➤ Anthropic 모델은 완전성에서 선두를 차지하며 올바른 의료 추론으로 전문가의 결론에 도달합니다: 우리가 테스트한 모든 모델과 노력 수준에서 Claude 모델이 상위 18개 완전성 점수를 모두 보유하고 있으며, 64.8%를 기록한 Claude Sonnet 5.5(max with fallback)가 그 선두입니다. 최고의 비(非)Anthropic 모델은 42.2%를 기록한 GPT-6 Astra(max)입니다
➤ OpenAI 모델은 정확성에서 선두를 차지하며 과장이나 환각 없이 기록을 인용합니다: OpenAI 모델이 상위 27개 정확성 점수를 보유하고 있으며, 96.7%를 기록한 GPT-6.1 Sol(max)이 선두이지만, 더 적은 수의 질문에 완전히 답변합니다: GPT-6.1 Sol(max)은 질문의 40.0%에서 완전한 답변을 제공합니다
MLCR을 구축하고 이를 Artificial Analysis에 제공하는 데 협력해 준 Wisedocs에게 감사드립니다