نتائج Muse Spark Open، نموذج ميتا المفتوح الأوزان المُصدر حديثًا بحجم 816B (42B نشط)، متاحة الآن على AA-AgentPerf. في اختبارنا الأولي، يصل النموذج إلى ما يصل إلى ~150M tokens/s إنتاجية لكل ميغاواط من الطاقة المستخدمة على 4x من بطاقات NVIDIA GB300 أو B300
يسجل Muse Spark Open 39 على مؤشر Artificial Analysis Intelligence Index. وهو نموذج MoE بـ62 طبقة، منها 46 تستخدم انتباه النافذة المنزلقة بحجم 2,048-token، مما يقلل متطلبات ذاكرة KV cache عند سياق 1M بنسبة ~75% مقارنة بالانتباه الكامل. نشرت ميتا نقطة تفتيش NVFP4 ونشرت AMD نقطة تفتيش MXFP4، ونستخدمهما لعتاد NVIDIA وAMD على التوالي
النتائج الأولية:
➤ تتقدم NVIDIA B300 وGB300، إذ تصل كل منهما إلى ~150M tokens/s لكل ميغاواط في إعدادات موجهة نحو الإنتاجية (سرعة أقل لكل مستخدم). تتفوق GB300 عند سرعات إخراج أعلى (~108M مقابل ~92M عند 100 tok/s)، لكن كليهما لم يُختبر حتى الآن إلا في إعدادات تقديم مجمعة، ونخطط لأن تتسع فجوة GB300 على B300 مع الإعدادات متعددة العقد غير المجمعة
➤ إعدادات التقديم تتحسن بسرعة. على نفس عقدة B300، تقدم إعدادات SGLang المضبوطة من NVIDIA ~1.6-1.8x من الإنتاجية لكل ميغاواط مقارنة بإعدادات cookbook الأسبوع الأول عند 50-100 tok/s. تأتي المكاسب من نشر TP4 وفاصل prefill-decode مضبوط لكل مستوى تزامن، على حساب وقت أطول حتى أول توكن
➤ يصل AMD MI355X إلى 70M tokens/s لكل ميغاواط عند 65 tok/s، أي ~0.9x من B200 بين 65 و100 tok/s. وقد رفع تحديث وصفة AMD بتاريخ 22 أكتوبر (فواصل prefill-decode والمجدول، ومزيد من عمليات tokenizer العاملة، ومزيد من KV cache للطبقات كاملة الانتباه) خطها إلى ~1.7x لكل ميغاواط مقارنة بالوصفة السابقة
نواصل اختبار إعدادات تقديم Muse Spark Open، بما في ذلك التفكيك متعدد العقد، وسنحدّث لوحة الصدارة أسبوعيًا بأفضل النتائج والإعدادات التي عُثر عليها حتى الآن. سننشر أيضًا مراجعات أعمق للتقدم المحرز في تحسين النوى ومحركات الاستدلال والإعدادات لـMuse Spark Open