المحاكاة، التي طالما كانت ساحة الاختبار للروبوتات المتعلمة المشي والتنقل والقفز، أصبحت الآن تساعد الباحثين على تعليم الروبوتات مهام تتطلب لمسة أدق: محاذاة التروس، وتوصيل الكابلات، وتجميع المكونات الصغيرة.
والتحول من الحركة إلى التلاعب يحتل مركز الصدارة هذا الأسبوع في مؤتمر تعلّم الروبوتات (CoRL) في أوستن بولاية تكساس، إلى جانب صعود روبوتات الوكلاء — وهو نموذج جديد يدمج وكلاء الحدود الفائقة لإنشاء كود قابل للتفسير لأنظمة الروبوتات الفيزيائية.
في مؤتمر CoRL، تقدم NVIDIA تقنيات روبوتات مفتوحة جديدة، بما في ذلك نماذج الفعل العالمية، وأدوات المحاكاة، والمعايير المرجعية، وسير عمل الوكلاء.
ورقتان من NVIDIA ضمن ست ورقات نهائية من بين آلاف المشاركات لجوائز أفضل ورقة في مؤتمر CoRL:
- GRAIL (توليد الحركة والتلاعب للروبوتات البشرية من النماذج العالمية)، التي تقدم خط أنابيب رقمي لتوليد أصول 3D والمشاهد الجاهزة للمحاكيات لتعلّم الروبوتات.
- RoboTTT: Context Scaling for Robot Policies، التي تقدم نموذج روبوت ووصفة تدريب توسّع السياق البصري الحركي بثلاثة مراتب حجمية beyond سياسات الحد الفائق الحالية دون زيادة زمن الاستدلال.
تساعد هذه التطورات الباحثين على تدريب الروبوتات على مهام معقدة، وتقييم أدائها عبر ظروف متغيرة، واستخدام الإخفاقات لتوجيه التعلم الإضافي — بما يبني الدقة والقدرة على التكيف والاستقلالية اللازمة للانتقال من العروض المخبرية إلى النشر الصناعي.
تعمل NVIDIA مع شركاء مثل Ambi Robotics، وBosch Research، Dexmate، وDyna Robotics، وFieldAI، وFlexion، وNoitom Robotics، وSiemens، Skild AI، وRLWRLD، وUC Berkeley، وWalden Robotics، وجامعة واشنطن لإيصال هذه التطورات إلى مجتمع الروبوتات الأوسع.
نماذج الفعل العالمية تتيح المستوى التالي من استقلالية الروبوتات
يتطلب المستوى التالي من استقلالية الروبوتات أن تدرك الروبوتات محيطها، وتتوقع كيف ستغيّر أفعالها البيئة، وتنفذ مهام معقدة متعددة الخطوات بدرجة عالية من الدقة. نماذج الفعل العالمية تتيح ذلك بالضبط.
في مؤتمر CoRL، تقدم NVIDIA GR00T 2، وهو نموذج فعل عالمي مفتوح من الحدود الفائقة مبني على NVIDIA Cosmos. تم تدريب النموذج على بيانات متنوعة من الروبوتات والبشر، بما في ذلك 100,000 ساعة من بيانات NVIDIA مفتوحة المصدر للمنظور الذاتي البشري، ويمكّن النموذج الروبوتات من تعلم مهارات التلاعب الماهر. تشمل الميزات الرئيسية:
- الأداء الفوري من العلبة: أكمل 40 من 50 مهمة مقيّمة مرة واحدة على الأقل دون عروض توضيحية خاصة بالمهمة.
- نقل المهارات: يتعلم من العروض التوضيحية البشرية وينقل المهارات بين أجسام روبوتية مختلفة دون عروض توضيحية من الروبوتات
- التعميم مع القليل من البيانات: حقق متوسط نجاح 71% عبر 50 مهمة بمجرد عرض توضيحي واحد لكل مهمة، وارتفع إلى 95% مع خمسة عروض.
- التحكم في الوكلاء: يمكن لوكلاء الذكاء الاصطناعي استخدام واجهة البرمجة التطبيقية لـ GR00T 2 والأدوات الداعمة لتشغيل المهارات بالتتابع والتعافي من الأخطاء.
يحتل GR00T 2 حاليًا مرتبةً بين أفضل ثلاثة نماذج في جميع فئات نماذج الرؤية-اللغة-العمل ونماذج العالم-العمل لمعايير RoboCasa365 وRoboLab وRoboDojo وMolmoSpaces، مع تحقيق انتصارات متعددة في لوحات المتصدرين.
تختبر شركة Nexuni النموذج للتعامل مع الغسيل الروبوتي، وتطبق شركة Foxconn نموذج GR00T 2 في أتمتة المصانع لتصنيع الخوادم، بينما تقوم Siemens بتقييمه عبر حالات الاستخدام الصناعية.
تستخدم شركة MicroAGI نموذج GR00T 2، بعد تدريبه عبر التعلم المعزز، لتنفيذ تبديل كابلات الإيثرنت باستخدام ذراع روبوتية من نوع YAM. ويقوم أسلوبها في الروبوتات الوكيلية بأتمتة إنشاء ومعايرة بيئات المحاكاة باستخدام Isaac Lab 3.0 وNewton، حيث يُدرَّب السياسة. وسيُستعرض سير عمل الروبوتات الوكيلية في مؤتمر CoRL.
تدريب الروبوتات القادرة يتطلب بيانات متنوعة. وتزوّد سير عمل NVIDIA المفتوحة والنماذج الباحثين بأدوات أفضل لجمع البيانات وتوثيقها:
- للباحثين الذين يبنون مجموعات بيانات لتدريب الروبوتات، يحوّل سير عمل Video to Data المفتوح الجديد من NVIDIA الفيديو البشري إلى عروض توضيحية روبوتية محاكاة، مع تحدٍ يدعو الباحثين إلى تطويره.
- نموذج NVIDIA EgoHand المفتوح — الذي يُستعرض في مؤتمر CoRL وقد حصد أكثر من 40,000 عملية تنزيل على Hugging Face خلال أسبوعين من إطلاقه — يعيد بناء حركة اليد 3D، وقد دُرِّب ببيانات من Noitom Robotics.
أين يحدث التدريب والتوسع — في المحاكاة
النموذج المدرَّب مسبقًا يمنح الروبوتات مجموعة أساسية من المهارات. وتتيح المحاكاة للباحثين تدريب المهارات وصقلها وتقييمها على نطاق واسع قبل نشرها على الروبوتات الفعلية.
NVIDIA Isaac Lab، وهو إطار عمل مفتوح المصدر لتعلّم الروبوتات، يوفر الأساس لذلك العمل. وأحدث إصداراته، Isaac Lab 3.0، يتيح للباحثين استخدام الوكلاء لإعداد بيئات التدريب بسرعة باستخدام أصول جاهزة للمحاكاة، والتبديل بين مُحلَّلات الفيزياء NVIDIA PhysX و مُحلَّل فيزياء Newton، واختيار أجهزة العرض للتدريب القائم على الإدراك، وتطبيق مكتبة جديدة للتدريب اللاحق بالتعزيز المعزز على النماذج الأساسية مثل GR00T.
الفيزياء الدقيقة أمر بالغ الأهمية لنقل المهارات المتعلَّمة من المحاكاة إلى الروبوت الحقيقي. وال تكامل الأوثق مع Newton، وهو محرك فيزياء مفتوح المصدر، يتيح الآن لـ Isaac Lab نمذجة الأجسام القابلة للتشوه مثل الكابلات والأقمشة، إضافة إلى الأنظمة المفصلية المعقدة مثل الأيدي الروبوتية ذات المفاصل التفاعلية المتعددة.
التكامل مع Newton يحاكي كيفية تشوه حبة فراولة تحت قبضة الروبوت.
معًا، يجمع Isaac Lab وNewton بين الفيزياء الدقيقة والنطاق الواسع لتمكين الباحثين من تدريب آلاف الروبوتات المحاكاة بالتوازي. في معيار مرجعي للتحكم الرشيق القائم على الرؤية، حقق Isaac Lab 3.0 مع Newton معدل إنتاجية تدريب يصل إلى 2.5 ضعف إنتاجية Isaac Lab 2.3 مع PhysX.
Isaac Lab يدعم محاكاة الروبوتات باستخدام Newton وNVIDIA PhysX.
يتوسع المطورون في قدرات Newton. في مؤتمر CoRL، أعلنت Skild AI عن Scalable Throughput-optimized Engine for Embodied Learning، أو STEEL، وهو مُحلَّل فيزياء جديد للأجسام الصلبة مبني على Newton لتسريع تدريب الروبوتات باستخدام Isaac Lab.
مُحلِّل STEEL من Skild AI.
استعرضت Flexion كيف يساعد Isaac Lab وNewton في تدريب Reflect، وهو نموذج ذكاء الروبوتات الخاص بها الذي يجمع بين الاستدلال والتحكم بالجسم كاملًا.
تستخدم Flexion Newton للتعلم المعزز مع Isaac Lab.
تستخدم FieldAI محرك Newton — إضافة إلى Isaac Lab وIsaac Sim المبنيين على مكتبات NVIDIA Omniverse — لتدريب سياسات الروبوتات والتحقق منها للنشر في بيئات واقعية غير منظمة. وستعرض Dyna Robotics كيف تساعد المحاكاة المتوازية في Isaac Lab على تدريب وحدات التحكم بالجسم كاملًا لروبوتها شبه الإنساني Taku للعمل في المستودعات والفنادق وخدمات الطعام.
تستخدم Walden Robotics ميزة العرض الواقعي في Isaac Sim لتدريب روبوتها متعدد الأغراض وتقييمه في بيئات افتراضية للتصنيع والخدمات اللوجستية، بينما تستكشف Dexmate كيف يمكن للوكلاء البرمجيين التدرَّب على استراتيجيات التحكم وصقلها في Isaac Sim قبل تنفيذها على روبوتها Vega.
AlphaNIST، المبني في Isaac Lab، يوضح كيف يمكن للممارسة الفعالة أن تترجم إلى دقة عالية. تتعلم سياسة واحدة جميع المهام الـ 20 على لوح مهام التجميع NIST Assembly Task Board، حيث تتعامل مع قطع بحجم المليمترات باستخدام إشارة نجاح ثنائية فقط (نعم أو لا). يحقق معدل نجاح تدريب يتجاوز 98%، مقارنة بـ 81% للسياسات المنفصلة لكل مهمة، مستخدمًا وقت معالجة رسومية أقل بنحو 39 مرة.
يستخدم AlphaNIST إطار Isaac Lab لتدريب سياسة روبوت واحدة على 20 مهمة دقيقة على لوح مهام التجميع NIST Assembly Task Board.
وخلف تلك النتائج هو Success-Guided Samplingأو SGS، من جامعة واشنطن وNVIDIA. تركّز الطريقة التدريب على المهام التي ينجح فيها السياسة نحو نصف الوقت تقريبًا، موجّهة التدريب نحو المهارات التي ما يزال يتعلمها. مع SGS، يمكن لتدريب الروبوتات التوسع إلى ما يزيد على مليون بيئة متوازية.
تستخدم كلية الحوسبة وTexas Robotics في جامعة تكساس في أوستن Isaac Sim وIsaac Lab لتدريب المهارات الروبوتية في المحاكاة، مما يتيح للطلاب البدء في التطوير قبل توفر العتاد المادي.
معايير صناعية جديدة لتقييم الروبوتات
تعلم مهارة هو تحدٍ واحد. أداؤها بموثوقية عبر ظروف متغيرة هو تحدٍ آخر.
NVIDIA Isaac Lab-Arenaوهو إطار مفتوح المصدر للتقييم الموسّع للسياسات، يمكّن المطورين من تكوين تقييمات متنوعة وقابلة للتكرار، ثم تشغيل السياسات عبر آلاف الاختلافات بالتوازي. تكشف التحليلات الظروف التي تسبب الإخفاقات، فيعرف الباحثون ما يجب إصلاحه في جولة التدريب التالية. المعاينة للمطورين من أحدث إصداراته، 0.4، تصل في CoRL.
DexBench وVABAR، معياران مفتوحان جديدان، هما من أوائل المعايير المصممة لقياس البراعة الروبوتية والقدرة على التكيف عبر المهام الصناعية باستخدام Isaac Lab-Arena وNewton.
DexBenchالمُطوَّر من قبل RLWRLD بالتعاون مع NVIDIA، ينقل تقييم البراعة من سطح الطاولة إلى سير العمل في العالم الحقيقي. بُني باستخدام NVIDIA Isaac Lab-Arena، ويضم 15 مهمة عبر أربعة مشاهد تمتد على البيع بالتجزئة واللوجستيات والتصنيع والضيافة، لاختبار التعميم عبر اختلافات في الكائنات والمكان والفيزياء.
تقيم شركة Genesis AI وشركة mimic robotics وغيرهما من شركاء الصناعة منصة DexBench من خلال الوصول المبكر.
يمكن للفرق تشغيل DexBench على منصة Manifold، وهي منصة التقييم الخاصة بشركة Bifrost لتوسيع نطاق محاكاة الروبوتات، دون أي إعداد مطلوب، مع تحليل مدمج للفشل وأرصدة مجانية للتقييمات الأولية.
VABAR — معيار الأتمتة التغييرية للروبوتات الوكيلة (Variational Automation Benchmark for Agentic Robotics) — من جامعة كاليفورنيا في بيركلي وNVIDIA، تقيّم الروبوتات عبر ست مهام صناعية. وتحمل كل منها تنويعات موحدة، ومستويات صعوبة، ومقاييس نجاح.
توضح مهمة محاكاة لفرز الأدوات كيفية تقييم VABAR لمهارات التلاعب بالروبوت في سير العمل الصناعية.
الوكلاء يحوّلون المهارات إلى برامج روبوتية
يتطلب إتمام المهمة بنجاح أن تنسق الروبوتات مهارات متعددة وأن تتكيف عند حدوث خطأ ما. ولا يزال بناء برامج موثوقة لهذه المهام متعددة الخطوات تحديًا قائمًا.
تساعد الروبوتات الوكيلة (Agentic robotics) في حل هذا التحدي.
تابعة لجامعة كاليفورنيا في بيركلي Graph-as-Policy الجديد يستخدم إطار عمل (GaP) الوكلاء لربط المهارات الفردية في برامج للروبوتات. ويختبر هؤلاء الوكلاء هذه البرامج باستخدام تقنيات المحاكاة مفتوحة المصدر NVIDIA Isaac ويحسّنونها بناءً على الإخفاقات. ويساعد ذلك الباحثين على توسيع نطاق التطوير ببيانات أقل مع الحفاظ على قابلية تفسير البرامج ليتمكن المهندسون من مراجعتها والتحقق منها قبل النشر.
يستخدم GaP الوكلاء والمحاكاة لتحويل مهارات الروبوت الفردية إلى أفعال منسقة، مثل مسح كاونتر البار.
«بالنسبة لي، الروبوتات الوكيلة هي أكثر تطور تكنولوجي مثير منذ ظهور الإنترنت عام 1995»، قال كين غولدبرغ، أستاذ الروبوتات في جامعة كاليفورنيا بيركلي ومسؤول رئيسي في مشروعَي VABAR وGaP.
Ambi Robotics، كما أن Bosch Research وSiemens تستكشفان تقنية GaP في سير عمل الروبوتات الوكيلة الخاصة بهما عبر سيناريوهات صناعية متنوعة.
تعرف على المزيد من خلال الانضمام إلى NVIDIA في CoRL.