Les résultats de Muse Spark Open, le tout nouveau modèle à poids ouverts 816B (42B actifs) de Meta, sont désormais disponibles sur AA-AgentPerf. Dans nos tests initiaux, le modèle atteint jusqu'à ~150M tokens/s de débit par MW de puissance consommée sur 4x NVIDIA GB300 ou B300 GPUs
Muse Spark Open obtient 39 sur l'Artificial Analysis Intelligence Index. C'est un MoE avec 62 couches, dont 46 utilisent une attention à fenêtre glissante de 2,048 tokens, réduisant le besoin en cache KV à 1M de contexte d'environ ~75% par rapport à l'attention complète. Meta a publié un checkpoint NVFP4 et AMD a publié un checkpoint MXFP4, que nous utilisons respectivement pour les matériels NVIDIA et AMD
Résultats initiaux :
➤ Les NVIDIA B300 et GB300 mènent, chacune atteignant ~150M tokens/s par MW dans des configurations orientées débit (vitesse par utilisateur plus faible). La GB300 prend l'avantage à des vitesses de sortie plus élevées (~108M vs ~92M à 100 tok/s), mais les deux n'ont jusqu'ici été testées que dans des configurations de service agrégées, et nous nous attendons à ce que l'avance de la GB300 sur la B300 s'accroisse avec des configurations multi-nœuds désagrégées
➤ Les configurations de service s'améliorent rapidement. Sur le même nœud B300, les configurations SGLang optimisées de NVIDIA offrent ~1.6-1.8x le débit par MW des configurations du cookbook de la semaine de lancement à 50-100 tok/s. Les gains proviennent des déploiements TP4 et d'un intervalle préfill-décode ajusté par niveau de concurrence, au prix d'un temps plus long jusqu'au premier token
➤ L'AMD MI355X atteint 70M tokens/s par MW à 65 tok/s, soit ~0.9x la B200 entre 65 et 100 tok/s. La mise à jour de la recette d'AMD du 22 octobre (intervalles prefill-décode et ordonnanceur, plus de workers de tokenizer, plus de cache KV pour les couches à attention complète) a augmenté sa courbe d'environ ~1.7x par MW par rapport à la recette précédente
Nous continuons de tester les configurations de service de Muse Spark Open, y compris la désagrégation multi-nœuds, et nous mettrons à jour le classement chaque semaine avec les meilleurs résultats et configurations trouvés à ce jour. Nous publierons également des analyses plus approfondies des progrès réalisés dans l'optimisation des kernels, des moteurs d'inférence et des configurations pour Muse Spark Open