저희는 HLE-Diamond 리더보드, 즉 Humanity's Last Exam의 정제된 1,000문항 버전에 대한 저희의 독자적 평가를 Artificial Analysis Intelligence Index v5의 일부로 출시했습니다
HLE-Diamond는 @CAIS와 @scale_AI가 연구 커뮤니티의 의견을 반영해 원래 Humanity's Last Exam 데이터셋을 1년간 정리하고 정제한 후 공개한 것입니다. 이 벤치마크는 1,000개의 폐쇄형 질문으로 구성되어 있으며 추론과 지식이 균등하게 나뉘고, 그중 272개에는 이미지가 포함되어 있습니다.
저희는 공식 HLE 시스템 프롬프트를 사용해 도구 없이 모든 질문을 한 번씩 실행합니다. GPT-5.6 Luna (medium)가 공식 HLE 채점 프롬프트로 각 답변을 참조 답안과 대조해 채점하며, 저희는 정답으로 판정된 질문의 비율(pass@1)을 보고합니다.
핵심 요약:
➤ 현재 50%를 넘는 모델 변형은 17개(~13%)뿐입니다: Gemini 4 Carbon (high)이 69%로 선두이며, Claude Opus 5.5 (max)가 68%로 뒤를 잇습니다
➤ 모델들은 지식보다 추론에서 더 높은 점수를 받습니다: 측정된 모델의 90% 이상이 벤치마크의 추론 파트에서 더 좋은 성적을 냅니다. Gemini 4 Carbon (high)은 추론 80%, 지식 59%로 양쪽 모두 선두입니다. Claude Opus 5.5 (max)와 GPT-6 Astra (max)는 추론에서 모두 78%를 기록했으며, Opus 5.5는 지식에서 58% 대 50%로 앞서 있습니다
➤ 오픈 웨이트 모델은 30포인트 이상 뒤처져 있습니다: Kimi K3.1 Pro(웨이트 미공개)가 37%로 최고 성적의 오픈 웨이트 모델이며, MiniMax-M3.1-Flash가 28%, Kimi K3 (max)가 27%로 뒤를 잇습니다