Meta가 새로 공개한 816B(42B 활성) 오픈 웨이트 모델 Muse Spark Open의 결과가 AA-AgentPerf에 공개되었습니다. 초기 테스트에서 이 모델은 4x NVIDIA GB300 또는 B300 GPU에서 소비 전력 1MW당 최대 ~150M tokens/s의 처리량을 달성했습니다
Muse Spark Open은 Artificial Analysis Intelligence Index에서 39점을 기록했습니다. 이 모델은 62개 레이어를 가진 MoE로, 그중 46개 레이어는 2,048-token 슬라이딩 윈도우 어텐션을 사용하여 1M 컨텍스트에서 KV 캐시 요구량을 풀 어텐션 대비 ~75% 절감합니다. Meta는 NVFP4 체크포인트를, AMD는 MXFP4 체크포인트를 공개했으며, 각각 NVIDIA 및 AMD 하드웨어에 사용했습니다
초기 결과:
➤ NVIDIA B300과 GB300이 선두이며, 각각 처리량 지향(낮은 사용자당 속도) 구성에서 1MW당 ~150M tokens/s에 도달합니다. GB300은 더 높은 출력 속도에서 앞서나갑니다(100 tok/s에서 ~108M vs ~92M), 하지만 두 모델 모두 아직 집계(aggregated) 서빙 구성으로만 테스트되었으며, GB300이 B300에 대한 우위는 멀티 노드 분리(disaggregated) 구성에서 더 벌어질 것으로 예상합니다
➤ 서빙 구성은 빠르게 개선되고 있습니다. 동일한 B300 노드에서 NVIDIA의 튜닝된 SGLang 구성은 50-100 tok/s에서 출시 주차 cookbook 구성 대비 1MW당 ~1.6-1.8x의 처리량을 제공합니다. 이러한 이득은 TP4 배치와 동시성별로 튜닝된 prefill-decode 간격에서 나오며, 첫 토큰까지의 시간이 길어지는 비용이 따릅니다
➤ AMD MI355X는 65 tok/s에서 1MW당 70M tokens/s에 도달하며, 65~100 tok/s 구간에서 B200의 ~0.9x 수준입니다. AMD의 10월 22일 레시피 업데이트(prefill-decode 및 스케줄러 간격, 더 많은 tokenizer 워커, 풀 어텐션 레이어를 위한 더 많은 KV 캐시)는 이전 레시피 대비 1MW당 ~1.7x의 성능 향상을 가져왔습니다
저희는 멀티 노드 분리(disaggregation)를 포함한 Muse Spark Open 서빙 구성 테스트를 계속 진행하고 있으며, 매주 지금까지 발견된 최고의 결과와 구성으로 리더보드를 업데이트할 예정입니다. 또한 Muse Spark Open을 위한 커널, 추론 엔진 및 구성 최적화에서 이루어진 진전에 대한 심층 리뷰도 발행할 예정입니다