Pre-release / compilación continua: esta es una compilación experimental, no una versión estable.
server: guardar solo los estados de slot restaurables en la caché de prompts (#30498) * server: guardar solo los estados de slot restaurables en la caché de prompts El bucle de guardado de slots inactivos almacena cada slot inactivo cuando comienza una tarea, mientras que solo las tareas de completion restauran desde la caché de prompts. Los estados de rerank, embedding, decision e infill llenan la caché hasta su límite sin que nunca se lean de vuelta, y los slots ya almacenados en la caché se ofrecen de nuevo en cada inicio de tarea. Cada slot ahora rastrea con cache_pending si su estado es restaurable y falta en la caché: una liberación de completion o una restauración explícita de slot lo activa, prompt_save lo consume, prompt_clear lo restablece. Ambas rutas de guardado comparten esta regla, y la ruta LRU solo restaura para tareas de completion. * server: probar que los slots de decision omiten la caché de prompts Las tareas de decision nunca marcan su slot como almacenable en caché, por lo que al iniciar nuevas tareas no se deben guardar sus slots inactivos en la caché de prompts en RAM, con o sin una caché KV unificada. * server: restaurar cualquier tarea que reutilice desde la caché de prompts Las tareas de embedding y rerank nunca reutilizan su estado, por lo que sus slots se limpian al liberarse como los slots hijos y la caché solo contiene estados que una tarea posterior puede restaurar. Las tareas de infill y decision ahora también restauran desde la caché, lo que reemplaza la bandera cache_pending. Los modelos de decision desactivan la caché de prompts a menos que se pase --cache-ram, dado que sus estados rara vez se repiten.Sitio web: - https://llama.app
Atestaciones: - https://github.com/ggml-org/llama.cpp/attestations/56156929
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI habilitado) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - Bibliotecas de CUDA 12.8 - Ubuntu x64 (CUDA 13) - Bibliotecas de CUDA 13.4 - Ubuntu arm64 (CUDA 13) - Bibliotecas de CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - guía de configuración
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - guía de configuración
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - DLLs de CUDA 12.4 - Windows x64 (CUDA 13) - DLLs de CUDA 13.4 - Windows arm64 (CUDA 13) - DLLs de CUDA 13.4 - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DISABLED - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
UI: - UI