Code2Video-AA를 소개합니다. 이는 HeyGen의 Code2Video Bench를 독자적으로 구현한 것으로, 모델이 코드로 제품 및 브랜드 마케팅 비디오를 얼마나 잘 제작하는지 평가합니다
Code2Video-AA는 114개의 디자인 브리프를 통해 모델을 테스트하며, 각 제품 또는 브랜드 마케팅 브리프를 @HyperFrames_ HTML 구성물로 변환하도록 요청하고, 이를 비디오로 렌더링합니다. 모델 출력은 다른 모델 출력과의 쌍별 비교를 통해 다섯 가지 축, 즉 Engagement, Prompt Intent, Composition, Temporal Consistency, Craft로 평가됩니다. 이러한 비교 결과를 사용해 각 축의 Elo 레이팅을 계산하고, 이를 평균하여 헤드라인 Code2Video-AA Elo를 산출합니다. Code2Video-AA는 @HeyGen과의 파트너십으로 구축되었습니다.
Claude Opus 5.5 (max with fallback, 1536)가 Code2Video-AA에서 93점 차이로 선두를 달리고 있지만, 작업당 $3.08의 비용이 들어 GPT-6.1 Sol (max, 1369)보다 약 10배 높으며, GPT-6.1 Sol은 167점 뒤처져 있습니다.
주요 발견 사항:
➤ Claude Opus 5.5는 다섯 개의 심사 축 전체에서 선두: 모델은 Engagement, Prompt Intent, Composition, Temporal Consistency, Craft의 5개 축으로 평가됩니다. Claude Sonnet 5.5 (max with fallback, 1443)와 GPT-6 Astra (max, 1427)는 전체 점수에서 통계적으로 공동 2위입니다
➤ 작업당 비용은 $0.01에서 $3.89까지 300배 이상 차이: 4위인 GPT-6.1 Sol (max)의 작업당 비용은 $0.31로, $3.08인 Claude Opus 5.5 (max with fallback)보다 약 90% 낮습니다
➤ 오픈 웨이트 모델은 최소 483점 뒤처짐: DeepSeek V4.1 Flash (max, 1053), MiMo-V2.6-Flash (1052), MiMo-V2.6-Pro (1052)가 최고 성적의 오픈 웨이트 모델이며, 작업당 비용은 $0.01에서 $0.08입니다
Code2Video-AA 세부 사항:
➤ 모델은 도구 없이 단일 응답으로 테스트됩니다. 네트워크 접근 없이 HyperFrames로 렌더링합니다
➤ 심사자(Gemini 4 Argon, high)가 다섯 가지 축, 즉 engagement, prompt intent, composition, temporal consistency, craft에 대해 비디오 쌍을 비교하며, 최종 점수는 각 개별 축의 Elo를 조합하여 계산됩니다
➤ 35,000건이 넘는 판정을 통해 27개 모델이 95% 신뢰 구간과 함께 Elo 순으로 순위가 매겨집니다
추가 결과, 예시 비디오 및 Code2Video-AA의 작동 방식은 아래 스레드에서 이어집니다