IT之家 رسالة 15 أكتوبر: أطلقت شركة Jieyue (阶跃) اليوم رسمياً أوزان Step5Preview. يشمل هذا الإطلاق: أوزان النموذج بصيغتي BF16 و FP8، ومدونة تقنية، وأدوات تطوير مفتوحة المصدر مرفقة.
ووفقًا للتعريف الرسمي، صُمم Step 5 Preview للمهام الوكيلة (Agent) طويلة المدى، ويعتمد بنية MoE متفرقة بإجمالي معاملات يبلغ 600B، بينما تُنشَّط 27B فقط من المعاملات لكل توكن، ويدعم نافذة سياق تصل إلى 100万 توكن، ويدعم أصلًا المدخلات النصية والبصرية، ويُظهر أداءً بارزًا في سيناريوهات مثل البرمجة بالذكاء الاصطناعي، وهندسة البرمجيات، والعمل المعرفي المتخصص، والمال. مؤخرًا، احتل Step 5 Preview المرتبة الثانية عالميًا في قوائم OpenRouter للاستدعاءات الأسبوعية واليومية.
حاليًا، توفرت أوزان النموذج على Hugging Face وModelScope، مع توفير دعم تكيّف لمنصات شرائح متعددة وأطر استدلال متنوعة. ويمكن للمطورين نشر خدمات API متوافقة مع واجهات OpenAI عبر vLLM أو SGLang، كما يمكنهم استخدام Transformers للاستدلال دون اتصال بالإنترنت، وإدماج النموذج في بياناتهم وأدواتهم وأنظمتهم الخاصة لبناء وكلاء أذكياء وتطبيقات وسير عمل وخدمات.
لاحظت IT之家 أن المدونة التقنية التي نشرتها الشركة رسميًا بالتزامن تشرح كيف يدعم Step 5 Preview مهام وكيلة أطول وأكثر تعقيدًا من خلال التحسين التكاملي بين البنية والتدريب. وتشمل التصاميم الرئيسية:
بنية ضيقة عميقة من 92 طبقة: توفر مسارات حسابية أعمق للاستدلال الضمني متعدد القفزات، مع التحكم في حجم المعاملات وتكلفة الحوسبة.
Sparse GQA: تقلل التكلفة الحسابية لسياق المليون توكن من خلال الفهرسة على مستوى الكتل ودمج الحساب المتفرق. ومن بين ذلك، يمكن للفهرسة على مستوى كتل الـ 8 توكنات أن تخفض تكلفة الفهرسة واختيار top-k إلى 1/8 من قيمتها الأصلية.
تدريب أكثر استقرارًا: الحفاظ على دقة FP32 في الحالات والمعاملات الحرجة، مع اقتطاع تدرجات دقيق التفعيل، للتخفيف من النمو الشاذ للتفعيلات وذِرَل التدرجات في الشبكات العميقة.
بيئات قابلة للتحقق بمليون مستوى: تغطي هندسة البرمجيات، والاستدلال العلمي، وتطوير التعلم الآلي، والعمل المعرفي المتخصص، مع معايرة مستمرة لصعوبة المهام وتنوعها وموثوقية التقييم.
تعلم معزز للمهام طويلة المدى: دمج ضغط السياق في تدريب السياسات من طرف إلى طرف، بحيث يتعلم الوكيل تنظيم حالة المهمة ومواصلة التنفيذ؛ مع إسناد مكافآت أكثر دقة لتحسين فعالية التعلم في المسارات الطويلة.