메타 슈퍼인텔리전스 랩스(Meta Superintelligence Labs)가 공개했습니다 Muse Spark Open, 즉 자사 Muse Spark 모델의 오픈 웨이트 버전을 공개했습니다. Muse Spark Open은 토큰당 42B개의 파라미터를 활성화하는 816B 파라미터 Mixture-of-Experts 모델입니다. 텍스트, 이미지, 비디오, 오디오 입력을 받아 텍스트를 반환하며, 1M 토큰 컨텍스트 윈도우를 갖추고 있습니다. Meta 팀 그렇다고 주장합니다 지금까지 나온 미국 오픈 웨이트 모델 중 가장 뛰어난 성능을 갖춘 모델이 될 것으로 보입니다. 개발자에게 진짜 소식은 배포 측면에 있습니다. NVFP4 빌드가 Apple M5 Ultra Mac Studio 2대에서 구동됩니다.
요약
- 크기: 816B 전체 / 42B 활성 파라미터(256개 전문가, 토큰당 8개 활성화); 1M 토큰 컨텍스트.
- 실행 환경: MLX를 통한 Mac Studio 2대(M5 Ultra, 각 512 GB); NVFP4를 갖춘 Blackwell Ultra GPU 4개 또는 H200 8개; Unsloth 2-bit GGUF를 통한 약 300 GB 구성.
- 성능: 에이전트형 도구 사용에 강점이 있으며, 코딩 분야에서는 대형 오픈 모델들 사이에서 중간 수준입니다.
- 최고: MCP-Atlas 89.2로 Meta의 비교 표에서 최고 점수를 기록했습니다.
- 최악: Terminal-Bench 2.1에서 76.4를 기록하며, Kimi K3(85.0), GLM 5.3(83.9), Qwen3.8(82.0)에는 뒤졌습니다.
Muse Spark Open란 무엇인가요?
Muse Spark Open은 코딩 및 장기 에이전트 작업을 위해 구축된 Meta의 네이티브 멀티모달 MoE 모델입니다. 가중치는 다음과 함께 제공됩니다. BF16 그리고 NVFP4 Hugging Face에서 공개되었습니다. 공개 버전은 추가적인 안전 후속 학습(safety post-training)을 받았습니다. Meta 팀은 이를 통해 시스템 수준의 가드레일 없이도 더 견고해졌다고 밝혔습니다.
아키텍처는 어떻게 작동하나요?
해당 모델 카드 에는 62개의 레이어와 8192의 히든 차원이 기재되어 있습니다. 각 MoE 레이어는 256개의 전문가(expert)를 보유하고 있으며, top-k 라우팅이 토큰당 8개를 활성화합니다. 어텐션은 grouped-query 방식으로, 128개의 쿼리 헤드와 16개의 KV 헤드를 사용합니다. 별도의 1.8B 파라미터 규모의 Perception Encoder가 시각 입력을 처리합니다. 어휘 집합은 202,048개의 토큰으로 구성되어 있으며, 학습 데이터는 100개 이상의 언어를 포괄합니다.
추론 깊이는 reasoning_effort을(를) 통해 low, medium, high 또는 xhigh로 설정됩니다. 기본값은 xhigh입니다.
Muse Spark Open은 벤치마크에서 어떤 성과를 보이나요?
Meta는 이를 Kimi K3, GLM 5.3, Qwen3.8-2.4T-A95B 등과 최대 추론 노력(maximum reasoning effort)에서 비교한다. 가장 강력한 성과는 도구 사용과 지식 신뢰성 분야에서 나타났습니다:
- MCP-Atlas: 89.2로, Qwen3.8(84.5)과 GLM 5.3(84.2)을 앞섰습니다.
- JobBench: 61.8로 GLM 5.3(61.4)을 근소한 차이로 앞섰습니다.
- HLE-Diamond, 도구 없음: 26.1로, Kimi K3의 22.2와 비교된다.
- AA 전지(Omniscience): 25점으로, Meta의 표에서 최고 점수입니다.
- 도구를 사용한 ZeroBench: 50.0로, Kimi K3의 41.0과 비교된다.
코딩은 약점이다. Terminus 2 하니스를 사용한 Terminal-Bench 2.1에서 이 모델은 76.4를 기록한다. Kimi K3는 85.0에 도달하고, GLM 5.3은 83.9, Qwen3.8은 82.0을 기록한다. Artificial Analysis Intelligence Index 점수는 39로, GLM 5.3(45), Kimi K3(44), Qwen3.8(40)보다 뒤처져 있다. 따라서 “가장 뛰어난 미국 모델”이라는 표현은 유지되지만, 전체적으로는 중국 오픈 모델들이 여전히 앞서 있다.
일부 경쟁사 점수는 자체 보고된 수치입니다. 평가 방법론 각 출처를 나열합니다.
Muse Spark Open에는 어떤 하드웨어가 필요한가요?
Meta의 개발자 가이드, BF16 가중치는 약 1.6 TB입니다. NVFP4는 전문가(expert)만 양자화하여 약 530 GB에 도달합니다. 모델 카드는 NVFP4에는 최소 700 GB, BF16에는 2 TB의 VRAM을 권장합니다.
- 데이터 센터: 4개의 Blackwell Ultra GPU 또는 8개의 H200에서 구동되는 NVFP4.
- 데스크톱: 512 GB를 각각 장착한 M5 Ultra Mac Studio 2대를 Thunderbolt 5로 RDMA와 함께 연결했습니다. MLX 텐서 병렬화는 모든 층을 두 대의 머신에 걸쳐 분할합니다.
- 워크스테이션: Unsloth Dynamic GGUFs 2비트까지 낮추면 약 300 GB의 결합 메모리에 들어갑니다.
개발자는 어디에서 실행할 수 있나요?
첫날 지원 엔진에는 SGLang, vLLM, TensorRT-LLM, Hugging Face Transformers, MLX, llama.cpp 및 Unsloth가 포함됩니다. 호스팅 API는 Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter 및 Together AI에서 제공됩니다. OpenRouter 입력 토큰 1M당 $1.25, 출력 토큰 1M당 $4.25를 책정하고 있습니다.
두 개의 초안(draft) 모델이 디코딩을 가속화합니다: SGLang용 DFlash V2와 vLLM용 DSpark입니다. Meta는 AMD MI355X에서 DFlash V2로 3.7배의 단일 요청 처리량을 보고했습니다. 파인튜닝은 TorchTitan, Hugging Face TRL 및 NVIDIA NeMo AutoModel에서 작동합니다.
Muse Model License는 무엇을 허용합니까?
그 Muse 모델 라이선스 사용, 파인튜닝, 증류 및 재배포를 허용합니다. 2가지 조건이 가장 중요합니다:
- 제품에는 “Built with Muse Spark Open” 문구를 표시해야 합니다.
- 연 매출(12개월 기준)이 $20M를 초과하는 Model-as-a-Service 제공업체는 Meta와 별도의 계약을 체결해야 합니다.
내부 사용, 연구, 그리고 자체 제품 기능을 구동하는 용도는 매출 조항의 적용을 받지 않습니다.
Muse Spark Open vs Kimi K3 vs GLM 5.3 vs Qwen3.8
| 기능 | Muse Spark Open | Kimi K3 | GLM 5.3 | Qwen3.8-2.4T-A95B |
|---|---|---|---|---|
| 총 파라미터 | 816B | 2.8T | 753B | 2.4T |
| 활성 파라미터 | 42B | 104B | ~40B | 95B |
| 컨텍스트 | 1M | 1,048,576 | 1,048,576 | 262,144 네이티브, 최대 1,010,000 |
| 입력 | 텍스트, 이미지, 비디오, 오디오 | 텍스트, 이미지, 비디오 | 텍스트 | 텍스트 |
| 라이선스 | Muse Model License | Kimi K3 License | glm-5.3 라이선스 | qwen3.8-max 라이선스 |
| 공개된 가중치 | BF16, NVFP4 | MXFP4 (QAT) | BF16, FP8 | BF16 |
| AA Intelligence Index (Meta 제공) | 39 | 44 | 45 | 40 |
| Terminal-Bench 2.1, Terminus 2 (Meta 제공) | 76.4 | 85.0 | 83.9 | 82.0 |
| MCP-Atlas (Meta 제공) | 89.2 | 82.3 | 84.2 | 84.5 |
| Toolathlon Verified (벤더) | 72.8 | 76.5 | 73.0 | 72.5 |
| HLE with tools (벤더) | 61.0 | 56.0 | 62.5 | 56.2 |
| DeepSWE 1.1 (벤더, 자체 하네스) | 60 | 67.5 | 66.9 | 56.6 |
| 데스크톱 구성 | 2x M5 Ultra Mac Studio | 공개되지 않음 | 공개되지 않음 | 공개되지 않음 |
핵심 요약
- 총 816B, 활성 42B, 1M 컨텍스트, 텍스트/이미지/비디오/오디오 입력.
- MCP-Atlas (89.2)와 JobBench (61.8)에서 Meta의 오픈 모델 표를 선도합니다.
- Terminal-Bench 2.1 (76.4)에서는 Kimi K3, GLM 5.3, Qwen3.8에 뒤처집니다.
- NVFP4 빌드는 MLX를 통해 2대의 M5 Ultra Mac Studio에서 실행됩니다.
- 대부분 무료; 매출 $20M 초과 MaaS 제공업체는 별도 계약 필요.
다음을 확인해 보세요: 모델 가중치, 연구 블로그, 개발자 가이드 그리고 평가 방법론. 이 프로젝트의 연구자에게 모든 공은 돌아갑니다. 또한 언제든지 저희를 팔로우해 주세요. 트위터 그리고 저희 150k+ ML 서브레딧 및 구독하기 뉴스레터 구독. 잠깐만요! 텔레그램 쓰시나요? 이제 텔레그램에서도 저희와 함께하실 수 있습니다.
해당 게시물은 Meta, 816B 오픈 웨이트 MoE 모델 Muse Spark Open 공개: 1M 컨텍스트 지원 최초 게재: MarkTechPost.