Pre-release / build continuo: esta es una compilación experimental, no una versión estable.
llama: corregir la carrera de datos de dispersión del k-pool en secuencias compartidas (#29994) * llama: volver a agrupar cada rep del k-pool compartido una sola vez Con celdas compartidas cada pool se vuelve a agrupar, y dado que las claves agrupadas siempre están dispersas, los pools que un seq_cp comparte entre secuencias escribían la misma fila rep desde varias entradas de dispersión, una carrera de datos en el backend de CPU. Marcar cada rep una sola vez: las secuencias que comparten leen la misma fila a través de pool_cells. * llama: exigir seq_cp de secuencia completa en la memoria idx híbrida El estado recurrente siempre se copia completo independientemente del rango, y una celda del k-pool compartida por una copia parcial podría llevar dos agrupaciones de pool con una única fila agrupada. Cada llamador copia secuencias completas, así que rechazar los rangos parciales en lugar de soportarlos. * llama: eliminar el modo cache_safe del k-pool Con seq_cp de secuencia completa, las secuencias que comparten celdas también comparten sus pools, de modo que la fila agrupada de un rep compartido es válida para todas. Marcar cada rep una sola vez en cada ubatch en lugar de volver a agrupar todo mientras las celdas están compartidas, lo que elimina el escaneo de compartición y los workarounds de stale-all en seq_rm, state_read y state_drop. seq_cp ahora solo invalida el destino.Sitio web: - https://llama.app
Atestaciones: - https://github.com/ggml-org/llama.cpp/attestations/53070668
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI habilitado) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - Bibliotecas de CUDA 12.8 - Ubuntu x64 (CUDA 13) - Bibliotecas de CUDA 13.4 - Ubuntu arm64 (CUDA 13) - Bibliotecas de CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, GPU Adreno, NPU Hexagon) - guía de configuración
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, GPU Adreno, NPU Hexagon) - guía de configuración
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - DLLs de CUDA 12.4 - Windows x64 (CUDA 13) - DLLs de CUDA 13.4 - Windows arm64 (CUDA 13) - DLLs de CUDA 13.4 - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DISABLED - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
UI: - UI