우리는 지능을 측정했습니다. 이제 그 지능을 확인할 때입니다.
우리는 AI 모델이 상호작용형 3D 장면을 얼마나 잘 만들는지를 측정하는 새로운 벤치마크인 AA-3D를 출시합니다. 각 모델은 오프라인 샌드박스에서 에이전트 역할을 하며, 글로 작성된 요약문을 three.js 웹 페이지로 변환합니다. 인간 심사위원단은 같은 요약문으로 만들어진 장면 쌍을 비교하며, 어떤 모델이 어떤 장면을 만든지는 알지 못합니다.
AA-3D 세부 정보:
➤ 7개의 주제 영역에 걸쳐 55개의 짧은 글을 작성했으며, 이 주제 영역에는 랜드마크, 기계, 생명체, 게임, 우주가 포함됩니다. 각 글은 장면에 나타나야 할 내용과 사람들이 그 장면과 어떻게 상호작용해야 하는지를 설명하며, 나머지는 모델에게 맡겨져 있습니다.
➤ 각 모델은 최대 3시간과 250번의 회전을 수행할 수 있습니다. 그 샌드박스에는 Blender, Rapier 물리 모델, Python, 자신의 작업을 테스트할 수 있는 헤드리스 브라우저, 그리고 재료, 3D 모델, 캐릭터를 포함한 CC0 라이브러리가 있습니다.
➤ 패널들은 투표하기 전에 각 장면과 함께 최소 30초를 보냅니다. 4번 중 1번은 유효성 검사가 이루어집니다.
➤ 1,000명 이상의 패널로부터 10,000개 이상의 투표가 이루어졌으며, 이를 통해 21개 모델이 엘로 방식으로 평가되었고 95% 신뢰 구간이 산출되었습니다.
주요 발견 사항:
➤ 네 가지 모델이 통계적으로 최상위에 랭크되어 있습니다: Claude Sonnet 5.5 (1194), Claude Opus 5.5 (1190), GPT-6 Astra (1165), 그리고 Claude Fable 5.1 (1131). 나머지 세 모델의 95% 신뢰 구간은 Claude Sonnet 5.5의 구간과 겹칩니다.
➤ AA-3D Elo는 지능과 함께 상승합니다: 인공 분석 지능 지수의 각 점은 약 18 Elo(Perryson 0.92)에 해당합니다.
➤ 최적의 배치된 오픈 웨이트 모델인 키미 K3(982)와 MiMo-V2.6-Pro(977)는 11위와 12위를 기록했으며, 1위보다 200점 이상 뒤처져 있습니다.
➤ 장면의 가격은 모델에 따라 $0.20에서 $32.08까지입니다. 가장 저렴한 GPT-6 Luna는 8위를 차지합니다.
더 많은 결과와 더 많은 장면, 그리고 AA-3D가 어떻게 작동하는지에 대한 내용은 아래 스레드에서 확인할 수 있습니다.