Presentamos Code2Video-AA, nuestra implementación independiente del Code2Video Bench de HeyGen, que evalúa qué tan bien los modelos crean videos de marketing de productos y marcas en código
Code2Video-AA pone a prueba los modelos en 114 briefs de diseño, encargándoles convertir cada brief de marketing de producto o marca en una composición HTML de @HyperFrames_, que renderizamos a video. Los resultados de los modelos se evalúan mediante comparaciones por pares con otros resultados de modelos en cinco ejes: Engagement, Prompt Intent, Composition, Temporal Consistency y Craft. Usamos los resultados de estas comparaciones para calcular una calificación Elo por cada eje, que luego se promedian para producir el Elo principal de Code2Video-AA. Code2Video-AA fue construido en asociación con @HeyGen.
Claude Opus 5.5 (max with fallback, 1536) lidera Code2Video-AA por 93 puntos, pero cuesta $3.08 por tarea, ~10x más que GPT-6.1 Sol (max, 1369), que queda a 167 puntos.
Hallazgos clave:
➤ Claude Opus 5.5 lidera en los cinco ejes de evaluación: Los modelos son evaluados en 5 ejes: Engagement, Prompt Intent, Composition, Temporal Consistency y Craft. Claude Sonnet 5.5 (max with fallback, 1443) y GPT-6 Astra (max, 1427) están estadísticamente empatados en segundo lugar en la puntuación general
➤ El costo por tarea varía más de 300x, desde $0.01 hasta $3.89: GPT-6.1 Sol (max), en cuarto lugar, tiene un costo por tarea de $0.31, aproximadamente 90% menor que Claude Opus 5.5 (max with fallback) a $3.08
➤ Los modelos de pesos abiertos quedan a al menos 483 puntos: DeepSeek V4.1 Flash (max, 1053), MiMo-V2.6-Flash (1052) y MiMo-V2.6-Pro (1052) son los mejores modelos de pesos abiertos, a $0.01 a $0.08 por tarea
Detalles de Code2Video-AA:
➤ Los modelos se prueban con una única respuesta sin herramientas. La renderizamos con HyperFrames, sin acceso a la red
➤ Un juez (Gemini 4 Argon, high) compara pares de videos en cinco ejes: engagement, prompt intent, composition, temporal consistency y craft, calculándose la puntuación final a partir de una combinación del Elo de cada eje individual
➤ Más de 35,000 veredictos clasifican a 27 modelos por Elo, con intervalos de confianza del 95%
Más resultados, videos de ejemplo y cómo funciona Code2Video-AA siguen en el hilo de abajo