نقدم لكم Code2Video-AA، تنفيذنا المستقل لمعيار HeyGen's Code2Video Bench، الذي يقيّم مدى قدرة النماذج على إنشاء فيديوهات تسويقية للمنتجات والعلامات التجارية بالبرمجيات
يختبر Code2Video-AA النماذج عبر 114 موجهاً تصميمياً، بمهمة تحويل كل موجز تسويقي لمنتج أو علامة تجارية إلى تركيبة HTML من @HyperFrames_، والتي نعرضها كفيديو. تُقيَّم مخرجات النماذج من خلال مقارنات ثنائية مع مخرجات نماذج أخرى عبر خمسة محاور: التفاعل، ونية التوجيه، والتكوين، والاتساق الزمني، والحرفية. نستخدم نتائج هذه المقارنات لحساب تصنيف Elo لكل محور، ثم نحسب متوسطها لإنتاج تصنيف Elo الرئيسي لـ Code2Video-AA. تم بناء Code2Video-AA بالشراكة مع @HeyGen.
يتصدر Claude Opus 5.5 (max with fallback، 1536) مؤشر Code2Video-AA بفارق 93 نقطة، لكنه يكلف 3.08 دولار لكل مهمة، أي نحو 10 أضعاف تكلفة GPT-6.1 Sol (max، 1369)، الذي يتأخر بفارق 167 نقطة.
أبرز النتائج:
➤ يتصدر Claude Opus 5.5 جميع محاور التحكيم الخمسة: تُقيَّم النماذج عبر 5 محاور: التفاعل، ونية التوجيه، والتكوين، والاتساق الزمني، والحرفية. يتعادل Claude Sonnet 5.5 (max with fallback، 1443) وGPT-6 Astra (max، 1427) إحصائياً على المركز الثاني في النتيجة الإجمالية
➤ تختلف التكلفة لكل مهمة بأكثر من 300 ضعف، من 0.01 دولار إلى 3.89 دولار: يحتل GPT-6.1 Sol (max)، في المركز الرابع، تكلفة لكل مهمة قدرها 0.31 دولار، أي أقل بنحو 90% من Claude Opus 5.5 (max with fallback) البالغة 3.08 دولار
➤ تتأخر النماذج مفتوحة الأوزان بفارق لا يقل عن 483 نقطة: يُعد DeepSeek V4.1 Flash (max، 1053) وMiMo-V2.6-Flash (1052) وMiMo-V2.6-Pro (1052) أبرز النماذج مفتوحة الأوزان، بتكلفة تتراوح بين 0.01 و0.08 دولار لكل مهمة
تفاصيل Code2Video-AA:
➤ تُختبر النماذج باستجابة واحدة دون أدوات. نعرضها باستخدام HyperFrames، دون الوصول إلى الشبكة
➤ يقوم قاضٍ (Gemini 4 Argon، high) بمقارنة أزواج من الفيديوهات عبر خمسة محاور: التفاعل، ونية التوجيه، والتكوين، والاتساق الزمني، والحرفية، وتُحسب النتيجة النهائية من مزيج من تصنيف Elo لكل محور على حدة
➤ يصنّف أكثر من 35,000 حكم 27 نموذجاً وفق Elo، مع فترات ثقة 95%
المزيد من النتائج والفيديوهات النموذجية وشرح كيفية عمل Code2Video-AA في السلسلة أدناه