我们测量了智力。现在就是展示它的时候了。

我们测量了智力。现在就是展示它的时候了。

我们正在推出 AA-3D，这是我们的新测试工具，用于评估人工智能模型构建交互式 3D 场景的能力。每个模型都作为离线沙盒中的代理角色运作，并将书面说明转化为 three.js 网页。由人类评委组成的小组会对比出自同一说明而构建的两组场景，且无需知道是哪种模型创建了哪组场景。

AA-3D 详情：

➤ 在七个领域中共撰写了 55 篇简报，涵盖地标、机器、生物体、游戏和太空等主题。每篇简报都说明场景应展现的内容以及人们与场景互动的方式，其余部分则留给模型处理。

➤ 每个模型最多可运行三小时，并允许进行250次旋转。其沙箱环境中包含 Blender、Rapier 物理引擎、Python 语言、用于测试自身工作的无头浏览器，以及 CC0库中的材料、3D模型和角色。

➤ 参与者在投票前至少需花费 30 秒来欣赏每个场景。每四次比较中就有一次是验证检查

➤ 来自1,000多名评审员的10,000多份投票数据根据Elo评分对21款模型进行了排序，置信区间为95%

关键发现：

➤ 有四种模型在统计上处于同一顶尖位置：Claude Sonnet 5.5 (1194)、Claude Opus 5.5 (1190)、GPT-6 Astra (1165) 和 Claude Fable 5.1 (1131)。其他三者的 95% 置信区间与 Claude Sonnet 5.5 的置信区间重叠。

➤ AA-3D Elo 随着智能提升：人工智能分析指数上的每一点价值约 18 Elo（Pearson 0.92）

➤ 位置最佳的开放式权重模型，Kimi K3 (982) 和 MiMo-V2.6-Pro (977)，分别排名第11和第12位，比第一名落后了200多分

➤ 一个场景的价格在 0.20 美元到 32.08 美元之间，具体取决于型号。最便宜的 GPT-6 Luna 排名第八

更多结果、更多场景以及 AA-3D 的工作原理将在下面的帖子中呈现。