Nous avons mesuré l’intelligence. Maintenant, il est temps de la voir.
Nous lançons AA-3D, notre nouveau test pour évaluer la capacité des modèles d’IA à créer des scénarios 3D interactifs. Chaque modèle fonctionne en tant qu’agent dans un environnement hors ligne, et transforme un brief écrit en page web trois.js. Un panel de juges humains compare des paires de scénarios créés avec le même brief, sans savoir quel modèle a produit chaque scène.
AA-3D détails :
➤ 55 brefs textes rédigés dans sept domaines : monuments, machines, corps vivants, jeux et espace. Chaque texte indique ce que la scène doit montrer et comment les personnages doivent y interagir, laissant le reste au modèle
➤ Chaque modèle dispose de jusqu’à trois heures et 250 tours. Son espace de démonstration comprend Blender, la physique Rapier, Python, un navigateur sans interface pour tester ses propres travaux, ainsi qu’une bibliothèque CC0 de matériaux, de modèles 3D et de personnages
➤ Les participants passent au moins 30 secondes avec chaque scène avant de voter. Une comparaison sur quatre est un test de validation
➤ Plus de 10 000 votes comptés de plus de 1 000 panelistes ont classé 21 modèles selon le système Elo, avec des intervalles de confiance de 95%
Résultats clés :
➤ Quatre modèles sont statistiquement au même niveau en tête : Claude Sonnet 5.5 (1194), Claude Opus 5.5 (1190), GPT-6 Astra (1165) et Claude Fable 5.1 (1131). Les intervalles de confiance de 95 % des trois autres modèles couvrent ceux de Claude Sonnet 5.5
➤ AA-3D Elo augmente grâce à l’intelligence : chaque point de l’Indice d’Intelligence d’Analyse Artificielle vaut environ 18 Elo (Pearson 0,92)
➤ Les modèles de poids ouverts les mieux placés, Kimi K3 (982) et MiMo-V2.6-Pro (977), se classent respectivement 11e et 12e, à plus de 200 points derrière le premier.
➤ Un modèle coûte entre 0,20 $ et 32,08 $, en fonction du modèle. Le plus bon marché, GPT-6 Luna, se classe à la huitième place
Plus de résultats, plus de scènes, et comment fonctionne AA-3D suivent dans le thread ci-dessous.