llama.cpp Releases2026-10-15 12:50 UTC+8Mis à jour le 2026-10-16 10:08 UTC+8

[Pré-version / build continu] b11636

[Pré-version / build continu] sycl : réordonnancement du code IQ3 (#29107) * sycl : réordonnancement persistant des poids IQ3_S/IQ3_XXS pour le décodage et le prefill SYCL Ajout de dispositions de poids réordonnés…

Pré-version / build continu : il s'agit d'un build expérimental, pas d'une version stable.

sycl : réordonnancement du code IQ3 (#29107) * sycl : réordonnancement persistant des poids IQ3_S/IQ3_XXS pour le décodage et le prefill SYCL Ajout de dispositions de poids réordonnés persistantes pour IQ3_S et IQ3_XXS. Les poids sont réordonnés une seule fois au chargement ; les produits scalaires MMVQ réordonnés parcourent ensuite des super-blocs denses avec dp4a et une expansion de signe SWAR au lieu de collecter des bits depuis la disposition standard entrelacée. La déquantification tenant compte du réordonnancement alimente les GEMM de prefill par lots afin que le traitement des prompts bénéficie du même avantage. Renforcement également de la vérification de build oneDNN : un package DNNL manquant ou un build DNNL CPU-only échoue désormais au moment de la configuration au lieu de produire silencieusement un backend dégradé. Mesuré sur Intel Arc Pro B70 avec Qwen3.8-27B-GSQ-RCO-IQ3_S (MTP), -ngl 999 -b 4096 -ub 1024 -fa sur : tg256 @ 0 ctx 12.92 -> 23.54 tok/s (+82%) tg256 @ 9,216 12.33 -> 21.69 tok/s (+76%) tg256 @ 64,000 9.76 -> 14.91 tok/s (+53%) pp8192 833.9 -> 833.6 tok/s (stable) Qwen3.5-9B Q4_K_M / Q3_K_M restent inchangés à l'intérieur du bruit (plus grand écart -0.5% pp, tg stable), donc les quantifications standard ne sont pas affectées. L'élargissement de la fusion GLU MMVQ et la fusion rms_norm+scale ne font volontairement pas partie de ce changement ; master les intègre déjà via #28931. * suppression de l'attente à la demande de la relecture * sycl : correction de la fin de ligne de fusion.cpp

Site web : - https://llama.app

Attestations : - https://github.com/ggml-org/llama.cpp/attestations/56116978

macOS/iOS : - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI activé) DÉSACTIVÉ - macOS Intel (x64) - iOS XCFramework

Linux : - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - Bibliothèques CUDA 12.8 - Ubuntu x64 (CUDA 13) - Bibliothèques CUDA 13.4 - Ubuntu arm64 (CUDA 13) - Bibliothèques CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon : CPU, GPU Adreno, NPU Hexagon) - guide d'installation