llama.cpp Releases2026-10-16 08:18 UTC+8

[Pre-Release / Continuous-Build] b11671

[Pre-Release / Continuous-Build] model: Muse Spark Open hinzufügen (Text, Vision und Audio) (#30616) * model: Muse Spark Open hinzufügen (Text, Vision und Audio) Muse Spark Open ist ein MoE im latenten Raum: Der…

Pre-Release / Continuous-Build: Dies ist ein experimenteller Build, keine stabile Veröffentlichung.

model: Muse Spark Open hinzufügen (Text, Vision und Audio) (#30616) * model: Muse Spark Open hinzufügen (Text, Vision und Audio) Muse Spark Open ist ein MoE im latenten Raum: Der Residual-Stream bleibt bei 8192, während die 256 Experten in 4096 liegen, mit einer Projektion nach unten und oben um sie herum, top-8-Sigmoid-Routing mit einem Korrektur-Bias. Attention verschachtelt drei Sliding-Layer mit einem 2048-Fenster und rope für einen globalen Layer ohne rope, mit einem Sigmoid-Output-Gate und einem gewichtslosen QK-norm. Residuen erhalten die Norm, ihr Gate wird zur Konvertierungszeit eingefaltet. Vision verwendet den Muse-Glimmer-Tower wieder. Audio ist eine kausale konvolutionale Pyramide ohne Attention und ohne Spektrogramm, vier Stufen falten 16, 6, 5 und 4 Samples in die Channel-Dimension, ein Embedding pro 80 ms bei 24 kHz. Der Quantizer hält die latenten Projektionen und das Attention-Gate bei Q8_0, etwas über 1 % der Gewichte, da der gesamte Residual-Stream durch sie hindurchläuft und die Low-Bit-Typen die Ausgabe in eine sich wiederholende Schleife verwandelten. Der Model Saver schreibt den Post-Norm-Epsilon-Wert, und die Architektur ist in test-llama-archs registriert. Co-authored-by: Xuan Son Nguyen Co-authored-by: Pedro Cuenca * Muse Spark: das redundante forward expand entfernen * Muse Spark: das redundante forward expand entfernen und die Kommentare straffen * Update src/llama-quant.cpp Co-authored-by: Sigbjørn Skjæret * Update src/llama-graph.cpp Co-authored-by: Sigbjørn Skjæret * Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret * Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret * Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret * Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret --------- Co-authored-by: Xuan Son Nguyen Co-authored-by: Pedro Cuenca Co-authored-by: Sigbjørn Skjæret

Webseite: - https://llama.app

Attestierungen: - https://github.com/ggml-org/llama.cpp/attestations/56481361

macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI aktiviert) DISABLED - macOS Intel (x64) - iOS XCFramework

Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA-12.8-Bibliotheken - Ubuntu x64 (CUDA 13) - CUDA-13.4-Bibliotheken - Ubuntu arm64 (CUDA 13) - CUDA-13.4-Bibliotheken - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Einrichtungsanleitung