مرحبًا بكم في عصر الذكاء الاصطناعي المُتجسّد.
نطلق اليوم AA-Robotics v0.1، وهي معاينتنا البحثية التي تقيس أداء نماذج اللغة الرائدة في الفهم والتخطيط والعمل في العالم المادي. في v0.1، يُمنح كل نموذج التحكم في ذراع روبوتية بـ 6 محاور (5 مفاصل وقابضة) وهدفًا بسيطًا. نُصدر اليوم نتائج مهامنا الثماني الأولى.
نجد أن نماذج اللغة الرائدة ضمن أطر عمل وكلاء البرمجة أصبحت مؤخرًا قادرة على التلاعب المباشر بالأذرع الروبوتية لإنجاز مهام بسيطة. اليوم، لا تزال بطيئة ومكلفة للغاية بحيث لا تصلح لأي استخدام إنتاجي - بأداء أسوأ بنحو مرتبتين من حيث الحجم من خطوط الأساس البشرية. نتوقع أن يتغير هذا بسرعة.
يحتل GPT-6 Astra المركز الأول في AA-Robotics v0.1، يليه GPT-6.1 Sol، ثم Gemini 4 Argon وClaude Opus 5.5.
تفاصيل AA-Robotics v0.1:
➤ مهامنا الثماني الأولى تختبر مجموعة من القدرات: التحكم والبراعة (الإمساك الدقيق والتعامل مع الأشياء)، والاستدلال المكاني (كيف تتفاعل الأشياء مع بعضها) والقدرة على التكيف (كيف تستجيب النماذج لغير المتوقع)
➤ تحصل النماذج على تعليمات موجزة فقط: كيفية الاتصال بالذراع الروبوتية (عبر واجهة HTTP API بسيطة)، واسم الذراع وكيفية تقديم محاولة. ويمكنها مشاهدة المشهد عبر أربع كاميرات وكتابة وتشغيل التعليمات البرمجية للتخطيط وإرسال الحركات
➤ بمجرد أن يقدم النموذج محاولة، يتم تقييم حالته النهائية وفقًا لمعايير النجاح في المهمة. تحقق المحاولة الناجحة درجة 100؛ وتحصل المحاولة غير المكتملة على رصيد جزئي. جميع المحاولات تكون بدون أمثلة مسبقة (zero-shot)
النتائج الرئيسية:
➤ تتصدر عائلة GPT لوحة الصدارة: يحصل GPT-6 Astra على درجة 69، متقدمًا على GPT-6.1 Sol بدرجة 65 وGemini 4 Argon بدرجة 55. وتتخلف عنهما Claude Opus 5.5 (49) وClaude Fable 5.1 (46)
➤ نماذج اليوم بطيئة بشكل مذهل في مهامنا، إذ تستغرق في المتوسط حوالي 30 دقيقة لإكمال كل مهمة على الطاولة
➤ تتفاوت التكلفة بشكل كبير: يُعد GPT-6.1 Sol الأرخص بمتوسط 1.93 دولار للمهمة؛ في حين أن GPT-6 Astra، وهو الأغلى، يكلف 16.36 دولارًا، أي أكثر من ثمانية أضعاف
➤ مقارنةً بالإنسان، فإن أفضل نماذج اللغة الرائدة اليوم أبطأ بحوالي 100 مرة وأغلى بحوالي 10 أضعاف
المزيد من النتائج والمقاطع وتفاصيل كيفية عمل AA-Robotics v0.1 في السلسلة أدناه.