Wir haben die Intelligenz gemessen. Jetzt ist es Zeit, sie zu sehen.
Wir starten AA-3D, unseren neuen Benchmark, um zu messen, wie gut AI-Modelle interaktive 3D-Szenen erstellen können. Jedes Modell funktioniert als Agent in einer Offline-Sandbox und wandelt einen schriftlichen Text in eine three.js-Website um. Ein menschliches Urteilskomitee vergleicht Paare von Szenen, die aus demselben Text entstanden sind, ohne zu wissen, welches Modell welche Szenen erstellt hat.
AA-3D Details:
➤ 55 geschriebene Kurzbeschreibungen in sieben Bereichen – einschließlich Denkmälern, Maschinen, lebenden Körpern, Spielen und dem Weltraum. Jede Beschreibung gibt an, was die Szene zeigen muss und wie die Menschen mit ihr interagieren sollten, und überlässt den Rest dem Modell.
➤ Jedes Modell erhält bis zu drei Stunden und 250 Drehungen. Sein Sandbox enthält Blender, Rapier-Physik, Python, einen headless Browser zum Testen des eigenen Werks sowie eine CC0-Bibliothek mit Materialien, 3D-Modellen und Charakteren
➤ Die Teilnehmer verbringen mindestens 30 Sekunden mit jeder Szene, bevor sie abstimmen. Eine Vergleichung von vier auf vier ist eine Validierungsprüfung
➤ Über 10.000 gezählte Stimmen von über 1.000 Panelisten bewerten 21 Modelle nach Elo, mit 95-prozentigen Konfidenzintervallen
Wichtige Erkenntnisse:
➤ Vier Modelle sind statistisch gleichauf an der Spitze: Claude Sonnet 5.5 (1194), Claude Opus 5.5 (1190), GPT-6 Astra (1165) und Claude Fable 5.1 (1131). Die 95%-Konfidenzintervalle der drei anderen Modelle überschneiden sich mit dem von Claude Sonnet 5.5.
➤ AA-3D Elo steigt mit Intelligenz: Jeder Punkt auf dem Artificial Analysis Intelligence Index ist etwa 18 Elo wert (Pearson 0,92)
➤ Die am besten platzierten offenen Gewichtsmodelle, Kimi K3 (982) und MiMo-V2.6-Pro (977), belegen den 11. und 12. Platz – mehr als 200 Punkte hinter dem ersten Platz
➤ Eine Szene kostet zwischen 0,20 $ und 32,08 $, je nach Modell. Das günstigste Modell, GPT-6 Luna, belegt den achten Platz
Mehr Ergebnisse, mehr Szenen und wie AA-3D funktioniert, folgen im nächsten Thread.