Los resultados de Muse Spark Open, el nuevo modelo de pesos abiertos de 816B (42B activos) recién lanzado por Meta, ya están disponibles en AA-AgentPerf. En nuestras pruebas iniciales, el modelo alcanza hasta ~150M tokens/s de throughput por MW de potencia consumida en 4x GPUs NVIDIA GB300 o B300
Muse Spark Open obtiene 39 en el Artificial Analysis Intelligence Index. Es un MoE con 62 capas, de las cuales 46 usan atención de ventana deslizante de 2,048 tokens, reduciendo el requisito de caché KV en contexto de 1M en ~75% frente a la atención completa. Meta publicó un checkpoint NVFP4 y AMD publicó un checkpoint MXFP4, que usamos para el hardware NVIDIA y AMD respectivamente
Resultados iniciales:
➤ NVIDIA B300 y GB300 lideran, cada una alcanzando ~150M tokens/s por MW en configuraciones orientadas al throughput (menor velocidad por usuario). GB300 se adelanta a velocidades de salida más altas (~108M vs ~92M a 100 tok/s), pero ambas solo se han probado hasta ahora en configuraciones de servicio agregadas, y esperamos que la ventaja de GB300 sobre B300 crezca con configuraciones desagregadas multi-nodo
➤ Las configuraciones de servicio están mejorando rápidamente. En el mismo nodo B300, las configuraciones SGLang ajustadas por NVIDIA entregan ~1.6-1.8x el throughput por MW de las configuraciones cookbook de la semana de lanzamiento a 50-100 tok/s. Las ganancias provienen de despliegues TP4 y un intervalo de prefill-decode ajustado por concurrencia, a costa de un mayor tiempo hasta el primer token
➤ AMD MI355X alcanza 70M tokens/s por MW a 65 tok/s, ~0.9x B200 entre 65 y 100 tok/s. La actualización de la receta de AMD del 22 de octubre (intervalos de prefill-decode y del planificador, más trabajadores de tokenizador, más caché KV para las capas de atención completa) elevó su línea ~1.7x por MW frente a la receta anterior
Seguimos probando configuraciones de servicio de Muse Spark Open, incluida la desagregación multi-nodo, y actualizaremos la tabla de clasificación cada semana con los mejores resultados y configuraciones encontrados hasta ahora. También publicaremos análisis más profundos sobre los avances logrados en la optimización de kernels, motores de inferencia y configuraciones para Muse Spark Open