بالتعاون مع فرق من عدة جامعات وشركات، رتّبت 商汤 لـ GPT-6-Astra من OpenAI اختباراً كبيراً موجهاً نحو "الذكاء المجسّد". امتد هذا الاختبار على نطاق واسع — إذ شمل 12 تقييماً محاكاةً و8 منصات روبوتية حقيقية، وكان هدفه أن يكشف بوضوح ما إذا كان هذا النموذج الشهير قادراً فعلاً على أن يُخرج "دماغه" من خلف الشاشة، وأن ينمّي يدين وقدمين للعمل الحقيقي. وكانت النتيجة محرجة إلى حد ما: عند منحه شروطاً تمهيدية (بالاستعانة بالتعلم من السياق وتخفيف قيود خطوات الحركة)، حقق GPT-6-Astra درجات تقترب من الدرجة الكاملة في كثير من تقييمات الذكاء المجسّد التقليدية؛ لكن بمجرد نقله إلى روبوتات حقيقية، ومواجهة سيناريوهات تتطلب عملاً فعلياً حقيقياً مثل التلامس الدقيق والمهام الطويلة، ارتفع معدل أخطائه.
المشكلة الحقيقية ليست في "هل يستطيع الحركة"، بل في "هل يعرف أن حركته كانت صحيحة أم لا". وأشارت الدراسة إلى أن GPT-6-Astra يخطئ كثيراً في تقدير حالة النجاح أثناء العمليات الفيزيائية — فهو يظن أنه أمسك الشيء أو وضعه في مكانه، بينما قد لا يكون ذلك صحيحاً؛ وحين يخطئ، يصعب تدارك الخطأ، فضلاً عن أن كلفة التجربة والخطأ في التنفيذ على الروبوتات الحقيقية مرتفعة إلى حد مخيف، ما يجعله بعيداً بعداً غير قصير عن القدرة على النشر الفعلي في مواقع العمل. والحكم العام للفريق هو: GPT-6-Astra اجتاز بالفعل عتبة القدرات المجسّدة، لكنه لا يزال يبعد بوضوح عن التطبيق العملي.
كما كشف هذا التقييم، في الوقت نفسه، فقاعة قائمة في منظومة تقييمات الذكاء المجسّد نفسها. إذ ترى فريق 商汤 أن درجات المعايير التقليدية مضخّمة زوراً، لأنها بعيدة جداً عن احتياجات المنازل الحقيقية، وأن التقييم يجب أن يُوجَّه نحو أقرب إلى الحياة اليومية. ورداً على ذلك، قدّم الفريق حله الخاص — إطار أنظمة مجسّدة SenseNova-RoboRSI. وتكمن فكرته الذكية في أنه لا يحتاج إلى تحديث أوزان النموذج الأساسي، بل يعتمد على التغذية الراجعة من التنفيذ ليجعل الروبوت يتحسن "بشكل ذاتي تكراري"، محسّناً أداءه باستمرار؛ وقد تم التحقق من فعالية هذا النهج في عدة تقييمات محاكاة. وبعبارة واحدة: حين يحصل النموذج الكبير على الدرجة الكاملة في ورقة الاختبار لكنه يتصرف ببلاهة في الواقع، فإن ما يحتاج القطاع إلى معالجته قد لا يكون النماذج فحسب، بل أيضاً المسطرة التي تقيسها.