MarkTechPost更新于

Meta 发布 Muse Spark Open:拥有 1M 上下文的 816B 开放权重 MoE 模型

Meta发布开放权重MoE模型Muse Spark Open,总参数816B、每token激活42B,支持1M上下文与文本图像视频音频输入。不过其编码基准偏弱,且年收入超$20M的MaaS服务商需与Meta另签协议。

Meta超级智能实验室已发布 Muse Spark Open,即其 Muse Spark 模型的开放权重版本。Muse Spark Open 是一个 816B 参数的混合专家模型,每个 token 激活 42B 参数。它接受文本、图像、视频和音频输入,返回文本,并拥有 1M token 的上下文窗口。Meta 团队 声称它 成为迄今为止最强大的美国开放权重模型。对开发者而言,真正的新闻是部署:NVFP4 版本可在 2 台 Apple M5 Ultra Mac Studios 上运行。

TL;DR(太长不看版)

  • 尺寸: 816B总参数 / 42B激活参数(256个专家,每个token激活8个);1M token上下文。
  • 运行平台: 2台Mac Studio(M5 Ultra,各512 GB)通过MLX运行;4块Blackwell Ultra GPU或8块H200搭配NVFP4;约300 GB的配置通过Unsloth 2-bit GGUF运行。
  • 性能: 在智能体工具使用方面表现出色;在编码方面处于大型开源模型的中游水平。
  • 最佳: MCP-Atlas 89.2,这是Meta比较表中的最高分。
  • 最差: Terminal-Bench 2.1 上得分 76.4,落后于 Kimi K3(85.0)、GLM 5.3(83.9)和 Qwen3.8(82.0)。

什么是 Muse Spark Open?

Muse Spark Open 是 Meta 推出的原生多模态 MoE 模型,专为编程和长程智能体工作而构建。其权重以 BF16 以及 NVFP4 在 Hugging Face 上。开放版本接受了额外的安全后训练。Meta 团队表示,这使得它在没有系统级防护机制的情况下也更加稳健。

该架构是如何运作的?

该 模型卡 包含62层,隐藏维度为8192。每个MoE层拥有256个专家,top-k路由每个token激活8个。注意力采用分组查询,有128个查询头和16个KV头。一个独立的1.8B参数感知编码器负责处理视觉输入。词表包含202,048个token,训练数据覆盖超过100种语言。

推理深度通过设置 reasoning_effort:low、medium、high 或 xhigh。默认值为 xhigh。

Muse Spark Open 在基准测试中表现如何?

Meta将其与Kimi K3、GLM 5.3、Qwen3.8-2.4T-A95B等模型在最大推理力度下进行了比较。 其最强的结果体现在工具使用和知识可靠性方面:

  • MCP-Atlas: 89.2,领先于Qwen3.8(84.5)和GLM 5.3(84.2)。
  • JobBench: 61.8,以微弱优势领先于GLM 5.3(61.4)。
  • HLE-Diamond,无工具: 26.1,而Kimi K3为22.2。
  • AA Omniscience: 25,是Meta表格中的最高分。
  • ZeroBench带工具: 50.0,而Kimi K3为41.0。

编程是弱点。在采用Terminus 2 harness的Terminal-Bench 2.1上,其得分为76.4。Kimi K3达到85.0,GLM 5.3得分为83.9,Qwen3.8得分为82.0。其Artificial Analysis Intelligence Index为39。这落后于GLM 5.3(45)、Kimi K3(44)和Qwen3.8(40)。因此“最强美国模型”成立,但中国的开放模型在整体上仍然领先。

一些竞争对手的分数为自行报告;该 评估方法学 列出了每个来源。

Muse Spark Open需要什么硬件?

根据Meta的 开发者指南,BF16权重大约是1.6 TB。NVFP4仅对专家部分进行量化,大小接近530 GB。模型卡片建议NVFP4至少需要700 GB显存,BF16需要2 TB。

  • 数据中心: NVFP4可运行在4块Blackwell Ultra GPU或8块H200上。
  • 桌面: 2台各512 GB的M5 Ultra Mac Studio,通过支持RDMA的Thunderbolt 5连接。 MLX 张量并行将每一层拆分到两台机器上。
  • 工作站: Unsloth Dynamic GGUFs 低至2-bit的版本可放入约300 GB的合计内存中。

开发者可以在哪里运行它?

首日支持的引擎包括SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、MLX、llama.cpp和Unsloth。托管API已在Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter和Together AI上线。 OpenRouter 每1M输入token的价格为1.25美元,每1M输出token的价格为4.25美元。

两个草稿模型可加速解码:用于SGLang的DFlash V2和用于vLLM的DSpark。Meta报告称,DFlash V2在AMD MI355X上实现了3.7倍的单请求吞吐量。微调支持TorchTitan、Hugging Face TRL和NVIDIA NeMo AutoModel。

Muse Model License 允许什么?

该 Muse Model License 允许使用、微调、蒸馏和再分发。2 个条件最为重要:

  • 产品必须显示“Built with Muse Spark Open”。
  • Model-as-a-Service提供商若12个月收入超过$20M,则需要与Meta签订单独协议。

内部使用、研究以及为您自己的产品功能提供支持可豁免收入条款。

Muse Spark Open vs Kimi K3 vs GLM 5.3 vs Qwen3.8

特性Muse Spark OpenKimi K3GLM 5.3Qwen3.8-2.4T-A95B
总参数量816B2.8T753B2.4T
激活参数量42B104B~40B95B
上下文1M1,048,5761,048,576262,144 原生,最高可达 1,010,000
输入文本、图像、视频、音频文本、图像、视频文本文本
许可证Muse 模型许可证Kimi K3 许可证glm-5.3 licenseqwen3.8-max license
发布的权重BF16、NVFP4MXFP4 (QAT)BF16、FP8BF16
AA Intelligence Index(经 Meta)39444540
Terminal-Bench 2.1, Terminus 2(经 Meta)76.485.083.982.0
MCP-Atlas(经 Meta)89.282.384.284.5
Toolathlon Verified(厂商)72.876.573.072.5
HLE with tools(厂商)61.056.062.556.2
DeepSWE 1.1(厂商,自有测试框架)6067.566.956.6
桌面配置2x M5 Ultra Mac Studio未披露未披露未披露

关键要点

  • 总参数 816B,激活参数 42B,1M 上下文,支持文本/图像/视频/音频输入。
  • 在 MCP-Atlas(89.2)和 JobBench(61.8)上领先 Meta 的开放模型榜单。
  • 在 Terminal-Bench 2.1(76.4)上落后于 Kimi K3、GLM 5.3 和 Qwen3.8。
  • NVFP4 版本可通过 MLX 在 2 台 M5 Ultra Mac Studio 上运行。
  • 对大多数用户免费;收入超过$20M的MaaS提供商需要签订协议。


请查看 模型权重, 研究博客, 开发者指南 以及 评估方法。所有功劳归于该项目的 reseARC。此外,欢迎在 Twitter 上关注我们,别忘了加入我们的 150k+ML SubReddit 并订阅 我们的新闻通讯。等等!你用 Telegram 吗? 现在你也可以在 Telegram 上加入我们了。

这篇文章 Meta 发布 Muse Spark Open:具有 1M 上下文的 816B 开放权重 MoE 首发于 MarkTechPost.

原始出处

MarkTechPost

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准