Ergebnisse von Muse Spark Open, Metas neu veröffentlichtem Open-Weights-Modell mit 816B (42B aktiv), sind jetzt live auf AA-AgentPerf verfügbar. In unseren ersten Tests erreicht das Modell bis zu ~150M tokens/s Durchsatz pro MW verbrauchter Leistung auf 4x NVIDIA GB300- oder B300-GPUs
Muse Spark Open erzielt 39 auf dem Artificial Analysis Intelligence Index. Es ist ein MoE mit 62 Schichten, von denen 46 eine Sliding-Window-Attention mit 2,048 Token nutzen, was den KV-Cache-Bedarf bei 1M Kontext um ~75% gegenüber voller Attention reduziert. Meta hat einen NVFP4-Checkpoint veröffentlicht und AMD einen MXFP4-Checkpoint, die wir jeweils für die NVIDIA- bzw. AMD-Hardware verwenden
Erste Ergebnisse:
➤ NVIDIA B300 und GB300 führen, beide erreichen ~150M tokens/s pro MW in durchsatzorientierten (niedrigere Geschwindigkeit pro Nutzer) Konfigurationen. GB300 liegt bei höheren Ausgabegeschwindigkeiten vorn (~108M vs. ~92M bei 100 tok/s), aber beide wurden bisher nur in aggregierten Serving-Konfigurationen getestet, und wir erwarten, dass GB300's Vorsprung vor B300 mit Multi-Node-Disaggregated-Konfigurationen wächst
➤ Die Serving-Konfigurationen verbessern sich schnell. Auf demselben B300-Knoten liefern NVIDIAs abgestimmte SGLang-Konfigurationen ~1.6-1.8x den Durchsatz pro MW der Cookbook-Konfigurationen der Launch-Woche bei 50-100 tok/s. Die Gewinne stammen aus TP4-Deployments und einem pro Concurrency abgestimmten Prefill-Decode-Intervall, auf Kosten einer längeren Zeit bis zum ersten Token
➤ AMD MI355X erreicht 70M tokens/s pro MW bei 65 tok/s, ~0.9x B200 zwischen 65 und 100 tok/s. AMDs Rezept-Update vom 22. Oktober (Prefill-Decode- und Scheduler-Intervalle, mehr Tokenizer-Worker, mehr KV-Cache für Full-Attention-Schichten) hob seine Kurve um ~1.7x pro MW gegenüber dem früheren Rezept an
Wir testen weiterhin Serving-Konfigurationen für Muse Spark Open, einschließlich Multi-Node-Disaggregation, und werden die Rangliste jede Woche mit den besten bisher gefundenen Ergebnissen und Konfigurationen aktualisieren. Wir werden auch ausführlichere Rezensionen der Fortschritte bei der Optimierung von Kernels, Inferenz-Engines und Konfigurationen für Muse Spark Open veröffentlichen