预发布 / 持续构建版本：这是实验性构建版本，不是稳定版本。
model: 添加 Muse Spark Open（文本、视觉和音频）(#30616) * model: 添加 Muse Spark Open（文本、视觉和音频） Muse Spark Open 是一个潜在空间 MoE：残差流保持在 8192， 而 256 个专家位于 4096，其周围有下投影和上投影， 采用带修正偏置的 top-8 sigmoid 路由。注意力机制将三个滑动层 （2048 窗口，带 rope）与一个不带 rope 的全局层交错排列， 并带有 sigmoid 输出门和无权重的 QK-norm。 残差保持范数不变，其门控在转换时被折叠。 视觉部分复用 Muse Glimmer 塔。音频是一个因果卷积 金字塔，没有注意力机制也没有频谱图，四个阶段分别将 16、6、 5 和 4 个样本折叠进通道维度，每 80 ms 的 24 kHz 音频对应一个嵌入。 量化器将潜在投影和注意力门保持在 Q8_0，约占权重的 1% 多一点，因为整个残差流 都要经过它们，而低位类型曾使输出变成重复循环。 模型保存器写入 post norm epsilon，该架构 已在 test-llama-archs 中注册。 Co-authored-by: Xuan Son Nguyen Co-authored-by: Pedro Cuenca * Muse Spark: 移除多余的 forward expand * Muse Spark: 移除多余的 forward expand 并精简注释 * Update src/llama-quant.cpp Co-authored-by: Sigbjørn Skjæret * Update src/llama-graph.cpp Co-authored-by: Sigbjørn Skjæret * Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret * Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret * Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret * Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret --------- Co-authored-by: Xuan Son Nguyen Co-authored-by: Pedro Cuenca Co-authored-by: Sigbjørn Skjæret网站： - https://llama.app
证明（Attestations）： - https://github.com/ggml-org/llama.cpp/attestations/56481361
macOS/iOS： - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64，启用 KleidiAI) 已禁用 - macOS Intel (x64) - iOS XCFramework
Linux： - Ubuntu x64（CPU） - Ubuntu arm64（CPU） - Ubuntu s390x（CPU） - Ubuntu x64（Vulkan） - Ubuntu arm64（Vulkan） - Ubuntu x64（CUDA 12） - CUDA 12.8 库 - Ubuntu x64（CUDA 13） - CUDA 13.4 库 - Ubuntu arm64（CUDA 13） - CUDA 13.4 库 - Ubuntu x64（ROCm 10.0） - Ubuntu x64（OpenVINO） - Ubuntu x64（SYCL FP32） - Ubuntu x64（SYCL FP16） - Linux arm64（Snapdragon：CPU、Adreno GPU、Hexagon NPU） - 设置指南
Android： - Android arm64（CPU） - Android arm64（Snapdragon：CPU、Adreno GPU、Hexagon NPU） - 设置指南
Windows 版本： - Windows x64（CPU 版本） - Windows arm64（CPU 版本） - Windows arm64（OpenCL Adreno 版本） - Windows x64（CUDA 12 版本） - CUDA 12.4 DLL 文件 - Windows x64（CUDA 13 版本） - CUDA 13.4 DLL 文件 - Windows arm64（CUDA 13 版本） - CUDA 13.4 DLL 文件 - Windows x64（Vulkan 版本） - Windows arm64（Vulkan 版本） - Windows x64（OpenVINO 版本） - Windows x64（SYCL 版本） - Windows x64（ROCm 10.0 版本）
openEuler： - 已禁用 - openEuler x86 架构（310p） - openEuler x86 架构（910b，ACL Graph） - openEuler aarch64 架构（310p） - openEuler aarch64 架构（910b，ACL Graph）
UI： - UI