사전 릴리스 / 지속 빌드: 이것은 실험적인 빌드이며 안정 릴리스가 아닙니다.
model: add Muse Spark Open (text, vision and audio) (#30616) * model: add Muse Spark Open (text, vision and audio) Muse Spark Open는 잠재 공간 MoE입니다: residual stream은 8192를 유지하면서 256개의 전문가는 4096에 존재하며, 이들을 감싸는 down/up projection과 correction bias가 있는 top-8 sigmoid 라우팅이 적용됩니다. Attention은 rope가 없는 1개의 글로벌 레이어를 위해 rope와 함께 2048 window를 사용하는 세 개의 sliding layer를 교차 배치하며, sigmoid 출력 게이트와 weightless QK-norm을 갖습니다. Residual은 norm을 보존하며, 그 게이트는 변환 시점에 fold됩니다. Vision은 Muse Glimmer 타워를 재사용합니다. Audio는 attention과 spectrogram이 없는 인과적(convolutional) 피라미드 구조로, 16, 6, 5, 4 샘플을 channel dim으로 fold하는 4개 단계를 거치며 24 kHz 기준 80 ms당 하나의 embedding을 생성합니다. Quantizer는 잠재 projection과 attention gate를 Q8_0(전체 가중치의 약 1% 조금 넘는 양)으로 유지하는데, 전체 residual stream이 이들을 통과하고 low-bit 타입이 출력을 반복 루프로 만들었기 때문입니다. Model saver는 post norm epsilon을 기록하며, 이 arch는 test-llama-archs에 등록되어 있습니다. Co-authored-by: Xuan Son Nguyen Co-authored-by: Pedro Cuenca * Muse Spark: drop the redundant forward expand * Muse Spark: drop the redundant forward expand and tighten the comments * Update src/llama-quant.cpp Co-authored-by: Sigbjørn Skjæret * Update src/llama-graph.cpp Co-authored-by: Sigbjørn Skjæret * Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret * Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret * Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret * Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret --------- Co-authored-by: Xuan Son Nguyen Co-authored-by: Pedro Cuenca Co-authored-by: Sigbjørn Skjæret웹사이트: - https://llama.app
증명(Attestations): - https://github.com/ggml-org/llama.cpp/attestations/56481361
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 활성화) DISABLED - macOS Intel (x64) - iOS XCFramework
리눅스: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 라이브러리 - Ubuntu x64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
안드로이드: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
윈도우(Windows): - 윈도우(Windows) x64 (CPU) - 윈도우(Windows) arm64 (CPU) - 윈도우(Windows) arm64 (OpenCL Adreno) - 윈도우(Windows) x64 (CUDA 12) - CUDA 12.4 DLL 파일 - 윈도우(Windows) x64 (CUDA 13) - CUDA 13.4 DLL 파일 - 윈도우(Windows) arm64 (CUDA 13) - CUDA 13.4 DLL 파일 - 윈도우(Windows) x64 (Vulkan) - 윈도우(Windows) arm64 (Vulkan) - 윈도우(Windows) x64 (OpenVINO) - 윈도우(Windows) x64 (SYCL) - 윈도우(Windows) x64 (ROCm 10.0)
openEuler: - DISABLED - openEuler x86 (310p) 대상 - openEuler x86 (910b, ACL Graph) 대상 - openEuler aarch64 (310p) 대상 - openEuler aarch64 (910b, ACL Graph) 대상
UI: - UI