IT之家، وفقًا لبيانات تاريخ 5 نوفمبر، أصدرت شركة بيدو نموذج الذاكرة الكبيرة ERNIE تحديثًا يُسمى ERNIE-5.5-Flash-Base، حيث تم الكشف عن أوزان نهاية التدريب المسبق لـ ERNIE 5.5 Flash.
هذا نموذج لغة MoE النادر، بإجمالي معاملات 280B، مع تفعيل 14B لكل توكين، وقد تم التدريب المسبق من الصفر على 33.5T توكين؛ أطول سياق تدريب يصل إلى 128K، ويحتوي على دعم تعديل دقيق واستدلال بسياق يبلغ 1M توكين.
لم يخضع الوزن الذي تم نشره هذه المرة للتدريب الأولي أو التدريب اللاحق، ويمكن استخدامه كنقطة انطلاق مشتركة لدراسات التكيف مع المجال، وتعديل التعليمات البسيط، والتعلم المعزز.
قالت السلطات الرسمية إن نموذج Base هو مجرد نقطة انطلاق. سيتم إصدار ERNIE 5.5 Flash بعد التدريب.
ERNIE-5.5-Flash-Base تم تدريبه مسبقاً من الصفر على 33.5T من الكلمات، باستخدام محسِّن Muon ودقة مختلطة FP8. يغطي نص التدريب المسبق مجالات ولغات متنوعة، مع التركيز على بناء ثلاثة اتجاهات رئيسية.
بيانات الصفحة الإلكترونية: استخراج صفحات الويب متعددة اللغات، استخلاص النصوص بدقة عالية، وتصفية الجودة متعددة الأبعاد مدفوعة بالنماذج.
بيانات الكود: تم تصفية كود المستودع والصفحات الإلكترونية دون فلترة الكود، وإزالة التكرار، وتصنيف الجودة، مع إضافة بيانات مثل الاكتتابات، والمشاكل، وطلبات السحب، ومراجعة الكود، والاختبارات المولدة تلقائيًا، والتصحيحات التي تم التحقق منها من خلال CI، وغيرها من البيانات المتعلقة بتطور وتنفيذ البرمجيات.
بيانات النصوص الطويلة: نصوص طبيعية طويلة مختارة، تسلسلات نصية مختلطة بنصوص تدعم البحث ذات الدلالات المتشابهة، بالإضافة إلى بيانات البحث المركبة، والأسئلة والأجوبة القائمة على الاستشهادات، والأسئلة والأجوبة المتعددة الانتقالات.
وفقًا للتقديم، تم تصميم نظام التدريب وهيكل النموذج معًا. يستخدم محسِّن التحسين نوع Muon الموزع: عند حجم بضعة آلاف من وحدات المعالجة، يتم دمج الاتصالات العابرة للأجهزة بين معاملات Dense ومعاملات MoE في اتصال مجمع واحد، مما يقلل من التأخير والاضطراب العبر الأجهزة. يستخدم مشغل الانتباه FlashMask-4 القائم على CuTe-DSL، ويدعم هيكلين SM90 وSM100، مع إمكانية تحديد قيمة head dim عند 576 (qk) / 512 (v) كحد أقصى، ويمكن استخدامه مباشرةً في حساب الرأس العرضي بـ 512 بعد لطبقة HCA.
IT Home يقدم بيانات التقييم وروابط المشاريع المفتوحة:
تم تقييم نموذج WENCI Large على 30 مقياسًا اختبارية لـ ERNIE-5.5-Flash-Base، وشمل ذلك سبع مجالات للقدرات مثل الشمولية والمعرفة والعلوم والاستدلال والتعدد اللغوي والكود والسياق الطويل، كما تم تضمين نتائج نموذج Base بنفس الحجم DeepSeek-V4-Flash-Base وHy3-preview-Base وMiMo-V2.5-Base، وجميع النماذج الأربعة تعتمد على نقاط التحقق التي تم نشرها علنًا لكل منها، وتستخدم نفس إطار التقييم.
الـERNIE-5.5-Flash-Base يتصرف بشكل جيد في جميع أبعاد القدرات؛ أما فيما يتعلق بالسياق الطويل، فبينما تم تركيز الانتباه على 37 طبقة من الأطوار الـ43 بعد ضغطها بمقدار 128 مرة، فإن 6 طبقات من MLA-DSA كافية لدعم البحث بدقة دقيقة. يمكن رؤية الجدول الكامل في بطاقة نموذج Hugging Face.
مدونة التقنية: https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
Hugging Face (FP8): https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
Hugging Face (BF16): https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16
مثال التعديل الدقيق (Megatron-Bridge): https://github.com/NVIDIA-NeMo/Megatron-Bridge/tree/main/examples/models/ernie55