私たちは知能を測定しました。今、それを見る時です。
AIモデルがインタラクティブな3Dシーンをどれだけうまく構築するかを示す新しいベンチマークであるAA-3Dを発表します。各モデルはオフラインサンドボックス内のエージェントとして機能し、書かれた概要文をthree.jsウェブページに変換します。人間の審査員チームが、どのモデルがどのシーンを構築したかを知らずに、同じ概要文から作られたシーン対を比較します。
AA-3Dの詳細：
➤ ランドマーク、機械、生体、ゲーム、宇宙を含む7つの分野にわたり55の短編が書かれている。各短編では、シーンが何を示すべきか、人々がどのように相互作用すべきかが述べられており、その他の部分はモデルに任されている
➤ 各モデルは最大3時間、250回のターンが可能です。サンドボックスにはBlender、Rapier物理エンジン、Python、自身の作業をテストするヘッドレスのブラウザ、そしてCC0ライブラリの素材、3Dモデル、キャラクターが含まれています。
➤パネリストは投票する前に、各シーンに対して少なくとも30秒をかけて検討する。4回に1回は検証チェックが行われる
➤ 1,000人以上のパネリストから得られた10,000以上の投票により、21モデルのEloスコアが算出され、95％の信頼区間が設定されました
主要な発見：
➤ 4つのモデルが統計的にトップに位置している：Claude Sonnet 5.5（1194）、Claude Opus 5.5（1190）、GPT-6 Astra（1165）、Claude Fable 5.1（1131）。他の3つは、Claude Sonnet 5.5の95％信頼区間と重なる。
➤ AA-3D Eloは知能によって上昇する：人工分析インテリジェンス指数の各ポイントは、約18 Elo（Pearson 0.92）に相当する
➤ 最適な配置のオープンウェイトモデル、Kimi K3 (982)とMiMo-V2.6-Pro (977)は、第11位と第12位で、首位より200点以上遅れている
➤ シーンはモデルによって0.20ドルから32.08ドルです。最も安いGPT-6 Lunaは8位に位置します
以下のスレッドで、より多くの結果、より多くのシーン、そしてAA-3Dがどのように動作するかが掲載されます。