Présentation de Code2Video-AA, notre implémentation indépendante du Code2Video Bench de HeyGen, qui évalue la capacité des modèles à créer des vidéos de marketing produit et de marque en code
Code2Video-AA teste les modèles sur 114 briefs de design, leur demandant de transformer chaque brief de marketing produit ou de marque en une composition HTML @HyperFrames_, que nous rendons en vidéo. Les sorties des modèles sont évaluées par des comparaisons par paires avec d'autres sorties de modèles selon cinq axes : Engagement, Intention du prompt, Composition, Cohérence temporelle et Soin de l'exécution. Nous utilisons les résultats de ces comparaisons pour calculer un classement Elo pour chaque axe, qui sont ensuite moyennés pour produire l'Elo global Code2Video-AA. Code2Video-AA a été réalisé en partenariat avec @HeyGen.
Claude Opus 5.5 (max with fallback, 1536) mène Code2Video-AA avec 93 points d'avance, mais coûte 3,08 $ par tâche, soit environ 10 fois plus que GPT-6.1 Sol (max, 1369), qui accuse un retard de 167 points.
Principales conclusions :
➤ Claude Opus 5.5 mène sur les cinq axes d'évaluation : Les modèles sont jugés selon 5 axes : Engagement, Intention du prompt, Composition, Cohérence temporelle et Soin de l'exécution. Claude Sonnet 5.5 (max with fallback, 1443) et GPT-6 Astra (max, 1427) sont statistiquement à égalité pour la deuxième place au score global
➤ Le coût par tâche varie de plus de 300 fois, de 0,01 $ à 3,89 $ : GPT-6.1 Sol (max), quatrième, a un coût par tâche de 0,31 $, environ 90 % inférieur à celui de Claude Opus 5.5 (max with fallback) à 3,08 $
➤ Les modèles à poids ouverts accusent un retard d'au moins 483 points : DeepSeek V4.1 Flash (max, 1053), MiMo-V2.6-Flash (1052) et MiMo-V2.6-Pro (1052) sont les meilleurs modèles à poids ouverts, à 0,01 $ à 0,08 $ par tâche
Détails de Code2Video-AA :
➤ Les modèles sont testés sur une seule réponse sans outils. Nous la rendons avec HyperFrames, sans accès au réseau
➤ Un juge (Gemini 4 Argon, high) compare des paires de vidéos selon cinq axes : engagement, intention du prompt, composition, cohérence temporelle et soin de l'exécution, le score final étant calculé à partir d'une combinaison de l'Elo de chaque axe individuel
➤ Plus de 35,000 verdicts classent 27 modèles par Elo, avec des intervalles de confiance de 95 %
Plus de résultats, des vidéos d'exemple et une explication du fonctionnement de Code2Video-AA suivent dans le fil ci-dessous