llama.cpp ReleasesPublicación de la fuente2026-10-20 16:18 UTC+8

[Pre-release / compilación continua] b11752

Pre-release / compilación continua: esta es una compilación experimental, no una versión estable.

tests : hacer que la selección del router MoE sea independiente del ruido del backend (#30818) * tests : hacer que la selección del router MoE sea independiente del ruido del backend Las puntuaciones del router están en el rango [0, 1), por lo que una tirada aleatoria puede dejar al último experto (o grupo de expertos) aún seleccionado y al primero descartado empatados dentro del ruido entre los backends. Entonces enrutan un token a expertos distintos y los logits difieren en 4e-3 en lugar de los 5e-7 habituales. Beam es la única arquitectura aquí con un top-k real (8 expertos, 2 usados) y un top-k de grupos (4 grupos, 2 usados), por lo que es la única que se encuentra con esto: 2 de 20 semillas fallaron en un M2 Ultra, las otras arquitecturas MoE seleccionan 2 de 2 y no pueden empatar. Rellene el sesgo de selección con una rampa de paso 2 para dar a cada experto un rango de puntuación propio, lo que convierte el top-k en una función solo del índice del experto. El sesgo afecta solo a la selección, los pesos siguen viniendo de las probs sin sesgar, así que la salida del MoE conserva su magnitud. Beam ahora coincide con la referencia de CPU dentro de 4e-7 para todas las 160 semillas. Assisted-by: pi:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) * tests : distinguir la CPU y la GPU de un SoC de Apple en la tabla de dispositivos Ambos dispositivos reportan la misma descripción ("Apple M2 Ultra" aquí), por lo que la columna de dispositivo de la tabla de pruebas tenía dos filas indistinguibles y una fila fallida no decía si la produjo el dispositivo Metal o la CPU del host. Añada el nombre del dispositivo, que también es lo que toma -b, a menos que la descripción ya sea el nombre. Assisted-by: pi:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB)

Sitio web: - https://llama.app

Atestaciones: - https://github.com/ggml-org/llama.cpp/attestations/57707819

macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI habilitado) DISABLED - macOS Intel (x64) - iOS XCFramework

Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - Bibliotecas CUDA 12.8 - Ubuntu x64 (CUDA 13) - Bibliotecas CUDA 13.4 - Ubuntu arm64 (CUDA 13) - Bibliotecas CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - guía de configuración