llama.cpp ReleasesPublication de la source

[Pré-release / build continu] b11861

Pré-release / build continu : il s'agit d'un build expérimental, et non d'une version stable.

Pré-release / build continu : il s'agit d'un build expérimental, et non d'une version stable.

minimax-m3 : transmission des échelles de quantification au graphe (corrige #31063) (#31097) Le passage générique d'échelles dans llama-model.cpp charge les tenseurs scale2 NVFP4 par expert (ffn_{up,gate,down}_exps_s) et les échelles MXFP8 par tenseur pour le FFN dense et l'expert partagé, mais minimax-m3.cpp n'en transmettait aucune au graphe. build_moe_ffn() les initialise par défaut à nullptr, de sorte que build_lora_mm_id() ignorait entièrement sa branche w_s et les poids des experts routés ressortaient global_scale fois trop grands, noyant le résidu (G rapporté ~= 15123 pour M3.1 Flash) et produisant un charabia de tokens. Transmettez tous les tenseurs d'échelles aux trois sites d'appel, en suivant le motif utilisé par flint et les autres modèles MoE compatibles NVFP4. Co-authored-by: origin-labs-ai

Site Web : - https://llama.app

Attestations : - https://github.com/ggml-org/llama.cpp/attestations/59462199

macOS/iOS : - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI activé) DÉSACTIVÉ - macOS Intel (x64) - XCFramework iOS

Linux : - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - Bibliothèques CUDA 12.8 - Ubuntu x64 (CUDA 13) - Bibliothèques CUDA 13.4 - Ubuntu arm64 (CUDA 13) - Bibliothèques CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon : CPU, GPU Adreno, NPU Hexagon) - guide d'installation

Android : - Android arm64 (CPU) - Android arm64 (Snapdragon : CPU, GPU Adreno, NPU Hexagon) - guide d'installation

Windows : - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - DLLs CUDA 12.4 - Windows x64 (CUDA 13) - DLLs CUDA 13.4 - Windows arm64 (CUDA 13) - DLLs CUDA 13.4 - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)

openEuler : - DÉSACTIVÉ - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)

UI : - UI

Source originale

llama.cpp Releases

À propos du contenu

La publication originale et les droits appartiennent à la source.

Traduction automatique · Consultez l’original