llama.cpp ReleasesPublication de la source2026-10-20 21:48 UTC+8

[Pré-version / build continu] b11756

Pré-version / build continu : il s'agit d'un build expérimental, et non d'une version stable.

server : transmission de id_slot à travers la conversion Anthropic /v1/messages (#28554) * server : transmission de id_slot à travers la conversion Anthropic /v1/messages server_chat_convert_anthropic_to_oai copie une petite liste blanche de paramètres courants de la requête Anthropic vers le corps interne au format OAI et omettait id_slot. Tous les autres endpoints de complétion respectent id_slot ; un proxy qui épingle une session sur le slot détenant son cache KV a besoin de la même chose sur /v1/messages, sinon il bascule silencieusement vers la sélection automatique de slot et, sur les modèles hybrides/récurrents, paie un re-prefill complet. Ajoute un test vérifiant qu'une requête avec id_slot défini est servie par ce slot, observé via GET /slots. * server : raccourcissement des commentaires * suppression du test --------- Co-authored-by : Xuan Son Nguyen

Site web : - https://llama.app

Attestations : - https://github.com/ggml-org/llama.cpp/attestations/57810098

macOS/iOS : - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI activé) DÉSACTIVÉ - macOS Intel (x64) - iOS XCFramework

Linux : - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - Bibliothèques CUDA 12.8 - Ubuntu x64 (CUDA 13) - Bibliothèques CUDA 13.4 - Ubuntu arm64 (CUDA 13) - Bibliothèques CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon : CPU, GPU Adreno, NPU Hexagon) - guide d'installation