Code2Video-AAのご紹介 — HeyGenのCode2Video Benchを独自に実装したもので、モデルがどれほど優れたプロダクトおよびブランドマーケティング動画をコードで作成できるかを評価します
Code2Video-AAは114のデザインブリーフでモデルをテストし、各プロダクトまたはブランドマーケティングのブリーフを@HyperFrames_のHTMLコンポジションに変換するよう課し、それを動画としてレンダリングします。モデルの出力は、他のモデルの出力とのペアワイズ比較を通じて、5つの軸:Engagement、Prompt Intent、Composition、Temporal Consistency、Craftで評価されます。これらの比較の結果をもとに各軸のEloレーティングを算出し、その平均から見出しのCode2Video-AA Eloを算出します。Code2Video-AAは@HeyGenとの提携により構築されました。
Claude Opus 5.5(max with fallback、1536)がCode2Video-AAを93ポイント差で首位ですが、1タスクあたり$3.08とGPT-6.1 Sol(max、1369)の約10倍のコストがかかり、こちらは167ポイント差で追いかけています。
主な所見:
➤ Claude Opus 5.5は5つのジャッジ軸すべてで首位:モデルは5つの軸、Engagement、Prompt Intent、Composition、Temporal Consistency、Craftで評価されます。Claude Sonnet 5.5(max with fallback、1443)とGPT-6 Astra(max、1427)は総合スコアで統計的に2位タイ
➤ 1タスクあたりのコストは$0.01から$3.89まで300倍以上の差:4位のGPT-6.1 Sol(max)の1タスクあたりコストは$0.31で、$3.08のClaude Opus 5.5(max with fallback)より約90%低い
➤ オープンウェイトモデルは最低483ポイント差で追走:DeepSeek V4.1 Flash(max、1053)、MiMo-V2.6-Flash(1052)、MiMo-V2.6-Pro(1052)が上位のオープンウェイトモデルで、1タスクあたり$0.01〜$0.08
Code2Video-AAの詳細:
➤ モデルはツールなしの単一レスポンスでテストされます。HyperFramesでレンダリングし、ネットワークアクセスはありません
➤ ジャッジ(Gemini 4 Argon、high)が動画のペアを5つの軸:engagement、prompt intent、composition、temporal consistency、craftで比較し、最終スコアは各軸のEloを組み合わせて算出されます
➤ 35,000件を超える判定により27のモデルをEloでランキングし、95%信頼区間を付しています
さらなる結果、サンプル動画、Code2Video-AAの仕組みについては、以下のスレッドでご覧いただけます