llama.cpp ReleasesPublication de la source2026-10-20 16:18 UTC+8

[Pré-version / build continu] b11752

Pré-version / build continu : il s'agit d'un build expérimental, pas d'une version stable.

tests : rendre la sélection du routeur MoE indépendante du bruit des backends (#30818) * tests : rendre la sélection du routeur MoE indépendante du bruit des backends Les scores du routeur sont dans l'intervalle [0, 1), donc un tirage aléatoire peut laisser le dernier expert (ou groupe d'experts) encore sélectionné et le premier écarté à égalité dans le bruit entre les backends. Ils routent alors un token vers des experts différents et les logits diffèrent de 4e-3 au lieu des 5e-7 habituels. Beam est la seule arch ici avec un vrai top-k (8 experts, 2 utilisés) et un top-k par groupe (4 groupes, 2 utilisés), c'est donc la seule concernée : 2 graines sur 20 ont échoué sur un M2 Ultra, les autres archs MoE sélectionnent 2 sur 2 et ne peuvent pas être à égalité. Remplir le biais de sélection avec une rampe de pas 2 pour donner à chaque expert une plage de scores qui lui est propre, ce qui fait du top-k une fonction du seul index de l'expert. Le biais n'affecte que la sélection, les poids proviennent toujours des probs non biaisées, donc la sortie MoE conserve sa magnitude. Beam correspond désormais à la référence CPU à 4e-7 près pour les 160 graines. Assisted-by : pi:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) * tests : distinguer le CPU et le GPU d'un SoC Apple dans le tableau des périphériques Les deux périphériques rapportent la même description (« Apple M2 Ultra » ici), donc la colonne device du tableau de tests comportait deux lignes indiscernables et une ligne en échec n'indiquait pas si le périphérique Metal ou le CPU hôte l'avait produite. Ajouter le nom du périphérique, qui est aussi ce que prend -b, à moins que la description soit déjà le nom. Assisted-by : pi:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB)

Site web : - https://llama.app

Attestations : - https://github.com/ggml-org/llama.cpp/attestations/57707819

macOS/iOS : - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI activé) DÉSACTIVÉ - macOS Intel (x64) - iOS XCFramework

Linux : - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - Bibliothèques CUDA 12.8 - Ubuntu x64 (CUDA 13) - Bibliothèques CUDA 13.4 - Ubuntu arm64 (CUDA 13) - Bibliothèques CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon : CPU, GPU Adreno, NPU Hexagon) - guide d'installation