CritPt v2가 Artificial Analysis에 출시되었습니다: CritPt 저자들이 70개의 연구 수준 물리학 챌린지 전체를 검토했으며, 이제 모델들은 코드 실행 도구를 사용해 이를 해결합니다
연구 커뮤니티의 피드백을 반영하여, CritPt 팀과 물리학 전문가 협력자들이 모든 챌린지를 검토하고 불명확한 서술, 오류, 오타를 수정했으며 채점기의 안정성을 개선했습니다. 이제 CritPt v2를 에이전트 방식으로 실행합니다: 모델은 연산 도구를 갖춘 오프라인 샌드박스에서 코드를 작성하고 실행할 수 있습니다.
10월 말에 CritPt 변경 사항을 포함하여 Intelligence Index를 업데이트할 예정입니다.
주요 내용:
➤ 최근 OpenAI 출시 모델이 리더보드 상위를 차지했습니다: GPT-6 Astra (max)와 GPT-6.1 Sol (max)이 각각 83%와 82%로 최고 점수를 기록했으며, Claude Opus 5.5 (max with fallback)가 78%, GPT-5.6 Sol (max)가 75%로 뒤를 이었습니다
➤ CritPt v2는 연구 수준 물리학 분야에서 프론티어의 빠른 발전을 보여줍니다: 2025년 8월에 출시된 GPT-5 (high)는 CritPt v2에서 29%를 기록했으며, 이는 GPT-6 Astra (max)보다 54점 낮은 수치입니다
이번 개정 작업과 지속적인 협력에 대해 @MiniHui_zhu, @MinyangTian1, @haopeng_uiuc 그리고 더 넓은 CritPt 팀에게 감사드립니다