llama.cpp Releases2026-10-14 04:16 UTC+8Mis à jour le 2026-10-16 14:49 UTC+8

[Pré-release / build continu] b11597

[Pré-release / build continu] graph : ignorer la tête LM pour les embeddings pooled (#30445) * graph : ignorer la tête LM pour les embeddings pooled Un contexte qui extrait des embeddings pooled produit un vecteur par…

Pré-release / build continu : il s'agit d'un build expérimental, pas d'une version stable.

graph : ignorer la tête LM pour les embeddings pooled (#30445) * graph : ignorer la tête LM pour les embeddings pooled Un contexte qui extrait des embeddings pooled produit un vecteur par séquence, mais chaque modèle développait toujours sa tête LM, ainsi le graphe calculait n_vocab logits par token et le contexte conservait un buffer hôte pour ceux-ci. Les modèles ne déclarent désormais que t_logits, et set_outputs() le développe sauf si le contexte extrait des embeddings avec un type de pooling autre que NONE. Comme la bascule modifie la forme du graphe pour un contexte pooled, set_embeddings() planifie une re-réservation dans ce cas. * graph : supprimer le développement redondant de t_embd Prise en compte de la revue de @CISC : avec les embeddings activés, build_pooling() développe déjà sa sortie pour chaque type de pooling, et un graphe de décodeur sans embeddings ne lit pas t_embd, donc set_outputs() ne développe que t_logits. * graph : ajouter build_logits() pour la sortie de la tête LM Prise en compte de la revue de @ggerganov : la tête LM est développée par un build_logits() dédié, appelé depuis llama_model::build_graph() comme build_pooling(), et set_outputs() se contente de marquer à nouveau les sorties. * graph : appeler build_logits() avant build_sampling() Prise en compte de la revue de @ggerganov : build_sampling() lit t_logits, donc la tête LM est construite en premier. Un contexte pooled saute alors aussi les couches de sampling, puisqu'il n'a aucun logits à partir desquels échantillonner. * nit

Site web : - https://llama.app

Attestations : - https://github.com/ggml-org/llama.cpp/attestations/55574302

macOS/iOS : - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI activé) DÉSACTIVÉ - macOS Intel (x64) - XCFramework iOS

Linux : - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - Bibliothèques CUDA 12.8 - Ubuntu x64 (CUDA 13) - Bibliothèques CUDA 13.4 - Ubuntu arm64 (CUDA 13) - Bibliothèques CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon : CPU, GPU Adreno, NPU Hexagon) - guide d'installation