Pre-release / build continuo: esta es una compilación experimental, no una versión estable.
sycl: reordenación de código IQ3 (#29107) * sycl: reordenación persistente de pesos IQ3_S/IQ3_XXS para decode y prefill de SYCL Añade diseños de pesos reordenados persistentes para IQ3_S e IQ3_XXS. Los pesos se reordenan una vez en el momento de la carga; los productos escalares MMVQ reordenados recorren entonces super-bloques densos con dp4a y expansión de signo SWAR en lugar de recopilar bits del diseño estándar entrelazado. La desuantización consciente del reordenamiento alimenta las GEMM de prefill por lotes, de modo que el procesamiento de prompts obtiene el mismo beneficio. También se refuerza la comprobación de compilación de oneDNN: un paquete DNNL ausente o una compilación DNNL solo para CPU ahora falla en tiempo de configuración en lugar de producir silenciosamente un backend degradado. Medido en Intel Arc Pro B70 con Qwen3.8-27B-GSQ-RCO-IQ3_S (MTP), -ngl 999 -b 4096 -ub 1024 -fa en: tg256 @ 0 ctx 12.92 -> 23.54 tok/s (+82%) tg256 @ 9,216 12.33 -> 21.69 tok/s (+76%) tg256 @ 64,000 9.76 -> 14.91 tok/s (+53%) pp8192 833.9 -> 833.6 tok/s (plano) Qwen3.5-9B Q4_K_M / Q3_K_M permanecen sin cambios dentro del ruido (mayor delta -0.5% pp, tg plano), por lo que las cuantizaciones estándar no se ven afectadas. La ampliación de la fusión GLU de MMVQ y la fusión rms_norm+scale no forman parte intencionalmente de este cambio; master ya las incluye mediante #28931. * eliminando la espera según lo solicitado en la revisión * sycl : corregir finales de línea de fusion.cppSitio web: - https://llama.app
Atestaciones: - https://github.com/ggml-org/llama.cpp/attestations/56116978
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI habilitado) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - Bibliotecas CUDA 12.8 - Ubuntu x64 (CUDA 13) - Bibliotecas CUDA 13.4 - Ubuntu arm64 (CUDA 13) - Bibliotecas CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, GPU Adreno, NPU Hexagon) - guía de configuración
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, GPU Adreno, NPU Hexagon) - guía de configuración
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - DLLs de CUDA 12.4 - Windows x64 (CUDA 13) - DLLs de CUDA 13.4 - Windows arm64 (CUDA 13) - DLLs de CUDA 13.4 - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DISABLED - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
UI: - UI