Hemos medido la inteligencia. Ahora es el momento de verla.
Estamos lanzando AA-3D, nuestro nuevo benchmark para medir qué tan bien los modelos de IA construyen escenas 3D interactivas. Cada modelo funciona como un agente en una sandbox offline y convierte un resumen escrito en una página web de three.js. Un panel de jueces humanos compara pares de escenas creadas con el mismo resumen, sin saber qué modelo generó cada una.
Detalles de AA-3D:
➤ 55 breves escritos en siete dominios, incluyendo marcos de referencia, máquinas, cuerpos vivos, juegos y el espacio. Cada breve indica qué debe mostrar la escena y cómo las personas deben interactuar con ella, dejando el resto para el modelo.
➤ Cada modelo recibe hasta tres horas y 250 giros. Su sandbox incluye Blender, física Rapier, Python, un navegador sin interfaz para probar su propio trabajo, y una biblioteca CC0 de materiales, modelos 3D y personajes
➤ Los participantes pasan al menos 30 segundos con cada escena antes de votar. Una comparación en cada cuatro ocurre como una verificación de validación
➤ Más de 10,000 votos contados de más de 1,000 panelistas clasificaron a 21 modelos según el Elo, con intervalos de confianza del 95%
Hallazgos clave:
➤ Cuatro modelos están estadísticamente empatados en la parte superior: Claude Sonnet 5.5 (1194), Claude Opus 5.5 (1190), GPT-6 Astra (1165) y Claude Fable 5.1 (1131). Los intervalos de confianza del 95% de los otros tres se superponen con el de Claude Sonnet 5.5
➤ AA-3D Elo aumenta con inteligencia: cada punto en el Índice de Inteligencia Analítica Artificial vale aproximadamente 18 Elo (Pearson 0.92)
➤ Los modelos de pesas abiertas colocados en la mejor posición, Kimi K3 (982) y MiMo-V2.6-Pro (977), ocupan el puesto 11º y 12º, con más de 200 puntos por detrás del primer lugar
➤ Una escena cuesta entre $0.20 y $32.08, dependiendo del modelo. La más barata, GPT-6 Luna, ocupa el octavo lugar
Más resultados, más escenas y cómo funciona AA-3D se encuentran en el hilo de abajo.