Wir stellen Code2Video-AA vor, unsere unabhängige Implementierung von HeyGens Code2Video Bench, die bewertet, wie gut Modelle Produkt- und Markenmarketing-Videos in Code erstellen
Code2Video-AA testet Modelle anhand von 114 Design-Briefings und fordert sie auf, jedes Produkt- oder Markenmarketing-Briefing in eine @HyperFrames_ HTML-Komposition umzusetzen, die wir zu Video rendern. Die Modellausgaben werden durch paarweise Vergleiche mit anderen Modellausgaben über fünf Achsen bewertet: Engagement, Prompt Intent, Composition, Temporal Consistency und Craft. Wir verwenden die Ergebnisse dieser Vergleiche, um eine Elo-Bewertung für jede Achse zu berechnen, die dann gemittelt wird, um die offizielle Code2Video-AA-Elo zu erzeugen. Code2Video-AA wurde in Partnerschaft mit @HeyGen entwickelt.
Claude Opus 5.5 (max with fallback, 1536) führt Code2Video-AA mit 93 Punkten Vorsprung an, kostet jedoch $3.08 pro Aufgabe, etwa 10x mehr als GPT-6.1 Sol (max, 1369), das mit 167 Punkten zurückliegt.
Zentrale Erkenntnisse:
➤ Claude Opus 5.5 führt auf allen fünf Judge-Achsen: Modelle werden über 5 Achsen bewertet: Engagement, Prompt Intent, Composition, Temporal Consistency und Craft. Claude Sonnet 5.5 (max with fallback, 1443) und GPT-6 Astra (max, 1427) liegen beim Gesamtergebnis statistisch gleichauf auf dem zweiten Platz
➤ Die Kosten pro Aufgabe variieren um mehr als den Faktor 300, von $0.01 bis $3.89: GPT-6.1 Sol (max), auf Platz vier, hat Cost per Task von $0.31, etwa 90% niedriger als Claude Opus 5.5 (max with fallback) mit $3.08
➤ Modelle mit offenen Gewichten liegen mindestens 483 Punkte zurück: DeepSeek V4.1 Flash (max, 1053), MiMo-V2.6-Flash (1052) und MiMo-V2.6-Pro (1052) sind die besten Modelle mit offenen Gewichten, bei $0.01 bis $0.08 pro Aufgabe
Details zu Code2Video-AA:
➤ Modelle werden mit einer einzigen Antwort ohne Werkzeuge getestet. Wir rendern sie mit HyperFrames, ohne Netzwerkzugriff
➤ Ein Judge (Gemini 4 Argon, high) vergleicht Videopaare über fünf Achsen: engagement, prompt intent, composition, temporal consistency und craft, wobei das Endergebnis aus einer Kombination der einzelnen Achsen-Elo berechnet wird
➤ Über 35,000 Urteile ordnen 27 Modelle nach Elo ein, mit 95% Konfidenzintervallen
Weitere Ergebnisse, Beispielvideos und eine Erklärung, wie Code2Video-AA funktioniert, folgen im Thread unten