Pre-release / compilación continua: esta es una compilación experimental, no una versión estable.
vulkan : copiar el KV f16 con stride una sola vez en AMD para que las lecturas se repartan entre los canales de memoria (#27703) * vulkan : copiar el KV f16 con stride una sola vez para que las lecturas se repartan entre los canales de memoria Assisted-by: Claude (Opus 4.8 / Opus 5) * tests : cubrir la copia del KV f16 al scratch Assisted-by: Claude (Opus 4.8 / Opus 5) * vulkan : limitar la copia del KV f16 al scratch a AMD Assisted-by: Claude (Opus 4.8 / Opus 5) * vulkan : reutilizar el shader de copia genérico para el llenado del scratch del KV f16 La cláusula f16 solo necesita una copia con stride, no una desuantización, así que se elimina el shader dedicado y se despacha en su lugar el pipeline de copia existente. La copia se describe en el orden de memoria de origen, de modo que el acceso con stride recae en las escrituras, que fluyen en stream, en lugar de en las lecturas, que se concentrarían en unos pocos canales de memoria. Assisted-by: Claude (Opus 4.8 / Opus 5 / Fable 5) * vulkan : extender la copia del KV con stride al scratch a bf16 Assisted-by: Claude Opus 5 * vulkan : limpiar los comentarios Assisted-by: Claude Opus 5 * consolidar los shaders de copia * desactivar en RDNA4 --------- Co-authored-by: Ruben OrtlamSitio web: - https://llama.app
Atestaciones: - https://github.com/ggml-org/llama.cpp/attestations/56251780
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI habilitado) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - bibliotecas CUDA 12.8 - Ubuntu x64 (CUDA 13) - bibliotecas CUDA 13.4 - Ubuntu arm64 (CUDA 13) - bibliotecas CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, GPU Adreno, NPU Hexagon) - guía de configuración
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, GPU Adreno, NPU Hexagon) - guía de configuración
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA 12.4 DLLs - Windows x64 (CUDA 13) - CUDA 13.4 DLLs - Windows arm64 (CUDA 13) - CUDA 13.4 DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DISABLED - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
IU: - IU