أطلقت شركة Kyutai، بالتعاون مع Inria ومدرسة École des Ponts، REKI، وهو نموذج بحجم 2.4B للرؤية-لغة-فعل (VLA) للتحكم الآلي في الروبوت. نموذج REKI للرؤية-لغة-فعل مُدرَّب مسبقًا على بيانات عامة فقط. كما يحمل ذاكرة منخفضة التكلفة لماضيه القريب. في ثلاثة معايير خارج نطاق التوزيع، تفوّق عليه فقط نماذج بحجم نحو ضعف حجمه. جميع الأوزان متاحة على Hugging Face اليوم.
الخلاصة سريعًا
- الحجم: 2.4B معامل (2.2B نموذج VLM من Qwen3.5-2B + 0.2B خبير أفعال بمطابقة التدفق). تغطي الذاكرة آخر 3 إطارات متباعدة بمقدار 1 ثانية.
- يعمل على: تم اختباره على 1 NVIDIA H100. زمن قدره 21.8 ms لكل مقطع أفعال، مع التجميع (compiled)، من 2 كاميرا بدقة 256×256. تُشحن الأوزان بصيغة BF16. لم تُعلن عن أي نسخ مُكمَّمة.
- الأداء: الأفضل بين نماذج VLA المدرَّبة مسبقًا على بيانات عامة في LIBERO-Plus وRoboTwin Clean2Rand.
- الأفضل: 90.4% على LIBERO-Plus، وهي النتيجة الأعلى في مقارنة Kyutai.
- الأسوأ: 38.4% على RoboCasa365، وهو أداء متأخر بكثير عن Xiaomi-Robotics-1 (57.4%).
ما هو REKI؟
REKI هو نموذج رؤية-لغة-فعل من Kyutai يحوّل مشاهد الكاميرا وتعليمة إلى أفعال روبوتية. يجمع نموذجًا أساسيًا Qwen3.5-2B عمود فقري مع خبير أفعال بحجم 200M معامل. يولّد الخبير أجزاء الأفعال عبر flow matching، مدمجة في 10 خطوات Euler. حالة الروبوت وزمن التدفق (flow time) يدخلان عبر adaptive RMSNorm. ولكل تخطيط لحالة الروبوت شبكة MLP حالة صغيرة خاصة به.
كيف تعمل ذاكرة REKI؟
معظم نماذج VLA تعمل على الإطار الحالي وحده. أما أساليب الذاكرة السابقة فتُدخل الإطارات الماضية إلى نموذج VLM، أو تفرد التدريب، أو تضيف وحدات. كل خيار يضيف تكلفة.
بدلاً من ذلك، يضع REKI الذاكرة داخل خبير الأفعال. قبل رموز أفعال كل إطار توجد 32 رمز سجل (register tokens) مُتعلَّمة رموز سجل. تحضر هذه الرموز عبر الانتباه المتقاطع إلى المُحفِّز المرمَّز ومشاهد ذلك الإطار. كما تحضر عبر الانتباه الذاتي إلى سجلات الإطارات السابقة.
لا تقرأ السجلات رموز الأفعال أبدًا. لذا فهي تعتمد على المشاهدات فقط، وليس على زمن التدفق أو حالة الروبوت. وتُحسب مرة واحدة لكل إطار وتُخزَّن في نافذة متدحرجة.
التكلفة صغيرة، وفق صفحة المشروع:
- تضيف قراءة السجلات المخزّنة مؤقتًا 0.1 مللي ثانية إلى مقطع مدته 21.8 مللي ثانية.
- تستخدم الذاكرة المخبئية نحو 2 ميبيبايت من ذاكرة وحدة معالجة الرسومات عن كل إطار سابق.
- يحزم التدريب نافذة من 3 إطارات في تمريرة مجمّعة واحدة (1).
تعالج الذاكرة أيضًا نمط فشل معينًا. من دونها، غالبًا ما تتأرجح الأذرع بين وضعيتين (2). في RoboTwin، تنخفض الحلقات المتأرجحة من 18.6% إلى 4.1% مع الذاكرة. تعزو Kyutai ذلك إلى الالتباس الإدراكي.
كيف يؤدي REKI في المعايير المرجعية؟
يُدرَّب REKI مسبقًا مرة واحدة، ثم يُضبَط بدقة لكل معيار مرجعي على حدة. النتائج أدناه مأخوذة من بطاقة النموذج وصفحة المشروع.
- LIBERO-Plus: بمعدل 90.4%، متقدمًا على Qwen-RobotManip (89.0%) وπ0.5 (85.7%).
- RoboTwin Clean2Rand: بمعدل 65.8%، متأخرًا فقط عن Qwen-RobotManip (68.5%).
- RoboCasa365: بمعدل 38.4%، متقدمًا على RLDX-1 (36.0%) وQwen-RobotManip (35.9%).
- LIBERO (4 مجموعات): 97.6%.
- RoboTwin 2.0 سهل / صعب: 85.9% / 84.6%.
التدريب المسبق أكثر فائدة خارج التوزيع. يضيف 13.8 نقطة على Clean2Rand و30.3 في ظل الفوضى (2). تضيف الذاكرة 1.5 نقطة على LIBERO-Plus و5.4 على RoboCasa365.
كيف يقارن REKI بـ VLAs الأخرى؟
| الميزة | REKI (Kyutai) | Qwen-RobotManip (Qwen) | π0.5 (Physical Intelligence) | ABot-M0 (AMAP) |
|---|---|---|---|---|
| الحجم الإجمالي | 2.4B | 4.7B (حسب Kyutai) | 3.3B (حسب Kyutai) | 4.6B (حسب Kyutai) |
| النموذج الأساسي VLM | Qwen3.5-2B | Qwen3.5-4B | مبني على Gemma | غير مُفصح عنه |
| بيانات التدريب المسبق | العامة فقط | مفتوحة المصدر + فيديو بشري | تتضمن بيانات روبوت خاصة | مفتوح المصدر (UniACT) |
| الذاكرة | 32 سجلاً، 3 إطارات | المتغير السياقي | لا شيء | لا شيء |
| LIBERO-Plus | 90.4 | 89.0 | 85.7 (تقييم Kyutai) | 80.5 |
| RoboTwin Clean2Rand (المتوسط) | 65.8 | 68.5 | 63.8 | 55.7 |
| RoboCasa365 | 38.4 | 35.9 | 16.9 | لم يُفصح عنه |
| زمن استجابة H100 بعد الترجمة البرمجية | 21.8 مللي ثانية | لم يُفصح عنه | 33.8 مللي ثانية (openpi، Kyutai) | 46.1 ms (Kyutai) |
| الأوزان | مفتوح، CC BY-NC-SA 4.0 | غير مُصدَر | مفتوح، مستودع Apache-2.0 | مفتوح، مستودع Apache-2.0 |
ملاحظات: تعني Clean2Rand أن المتوسطات محسوبة من 6 شروط في الجدول 5 من تقرير Qwen-RobotManip. يذكر تقرير Qwen نتيجة π0.5 البالغة 84.4 على LIBERO-Plus.
على أي بيانات دُرّب REKI؟
يحتوي المزيج على 1.0B إطارًا بالإضافة إلى 12.2M عينة رؤية-لغة. يوفر التحكم عن بُعد في الروبوتات الحقيقية 639.8M إطارًا، والمحاكاة 193.9M، والفيديو البشري من منظور الشخص الأول 170.9M. تشمل المصادر DROID وBridgeData V2 وAgiBot World وEgoDex وEgoVerse. جرى التدريب المسبق على مدى 200,000 خطوة على 32 وحدة معالجة رسومات H100. تحافظ Kyutai على اصطلاح التحكم الأصلي لكل مجموعة بيانات بدلاً من إعادة تعيين الإجراءات.
كيف تنشر REKI؟
ست نقاط تفتيش مدرجة في القائمة: النموذج الأساسي المدرّب مسبقًا بالإضافة إلى نسخ مضبوطة بدقة لـ LIBERO وRoboTwin (2 نسختين) وRoboCasa365 وRoboCasa-GR1. يستخدم النشر على الروبوت الحقيقي بروتوكول LeRobot async-inference gRPC. على ذراع UR5، جرى ضبط REKI بدقة لمدة 3k خطوة (1 ساعة) على 50 عرضًا توضيحيًا لكل مهمة.
نسخ الكودfrom reki import RekiPolicy
policy = RekiPolicy.from_pretrained("kyutai/reki-2b-libero", device="cuda")
policy.reset() # clears the register cache at episode start
actions = policy.predict(images={"camera_top": img0, "camera_wrist_left": img1},
state=proprio, task="put the bowl on the plate")أبرز النقاط
- REKI هو نموذج VLA بحجم 2.4B دُرّب مسبقًا على بيانات عامة فقط.
- يحصل على 90.4% على LIBERO-Plus، وهو الأعلى في مقارنة Kyutai.
- توفر 32 رمز تسجيل مخزنًا مؤقتًا ذاكرة مقابل 0.1 ms إضافية.
- تقلل الذاكرة التذبذبات من 18.6% إلى 4.1% على RoboTwin.
- الأوزان مفتوحة لكن غير تجارية (CC BY-NC-SA 4.0).
اطلع على الورقة البحثية, صفحة المشروع, أوزان النموذج و مستودع GitHub. كل الفضل للباحث في هذا المشروع. كما لا تتردد في متابعتنا على Twitter ولا تنسَ الانضمام إلى 150k+ML SubReddit والاشتراك في نشرتنا البريدية. مهلاً! هل أنت على تيليجرام؟ يمكنك الآن الانضمام إلينا على تيليجرام أيضًا.
ظهر المقال تعرّف على Kyutai REKI: نموذج VLA بحجم 2.4B الذي يحقق ذاكرة فعّالة لروبوتات المناولة أولاً على MarkTechPost.