업데이트된 MLCR-AA 방법론은 다음과 같은 사양을 갖습니다

업데이트된 MLCR-AA 방법론은 다음과 같은 사양을 갖습니다:

➤ 모델은 과업을 의료 기록 검토로 규정하는 시스템 프롬프트를 받으며, 질문은 전체 약 25k~64k 토큰 분량의 의료 기록 뒤에 배치됩니다

➤ 질문이 자체적인 형식을 지정하지 않는 한, 모델은 질문의 각 부분을 한 문단으로 답변하며, 결론과 기록에서 뒷받침하는 근거를 제시합니다. 이제 답변 길이가 모델 간에 일관되므로, 간결성 테스트는 더 이상 적용하지 않습니다

➤ 채점은 GPT-6.1 Sol, Claude Opus 5.5, Grok 4.7로 구성된 3개 모델 심사 패널을 사용하며, 모두 medium effort로 설정됩니다. 각 심사자는 의료 기록과 모순되는 주장과 응답이 놓친 정답(참고 답변)의 핵심 요점을 나열하고, 과반수의 심사자가 어느 쪽도 나열하지 않으면 응답이 통과됩니다. 세 심사자 전부가 동일한 판정에 도달하는 비율은 답변의 69%로, 이전 패널의 48%에서 상승했습니다

➤ 모든 질문은 세 번 실행되며, 반복 전체의 평균을 보고합니다

업데이트된 리더보드의 점수는 이전 MLCR-AA 결과와 직접 비교할 수 없습니다. MLCR-AA는 Artificial Analysis Intelligence Index의 구성 요소가 아닙니다.