llama.cpp ReleasesPublicación de la fuente

[Pre-release / compilación continua] b11756

Pre-release / compilación continua: esta es una compilación experimental, no una versión estable.

Pre-release / compilación continua: esta es una compilación experimental, no una versión estable.

server : pasar id_slot a través de la conversión de Anthropic /v1/messages (#28554) * server : pasar id_slot a través de la conversión de Anthropic /v1/messages server_chat_convert_anthropic_to_oai copia una pequeña lista blanca de parámetros comunes de la solicitud de Anthropic al cuerpo interno estilo OAI y dejó fuera id_slot. Todos los demás endpoints de completion respetan id_slot; un proxy que fija una sesión al slot que contiene su caché KV necesita lo mismo en /v1/messages, o cae silenciosamente a la selección automática de slot y, en modelos híbridos/recurrentes, paga un re-prefill completo. Añade una prueba que afirma que una solicitud con id_slot establecido es atendida por ese slot, observado mediante GET /slots. * server : acortar comentarios * rm test --------- Co-authored-by: Xuan Son Nguyen

Website: - https://llama.app

Attestations: - https://github.com/ggml-org/llama.cpp/attestations/57810098

macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED - macOS Intel (x64) - iOS XCFramework

Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - Bibliotecas CUDA 12.8 - Ubuntu x64 (CUDA 13) - Bibliotecas CUDA 13.4 - Ubuntu arm64 (CUDA 13) - Bibliotecas CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, GPU Adreno, NPU Hexagon) - guía de configuración

Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, GPU Adreno, NPU Hexagon) - guía de configuración

Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA 12.4 DLLs - Windows x64 (CUDA 13) - CUDA 13.4 DLLs - Windows arm64 (CUDA 13) - CUDA 13.4 DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)

openEuler: - DISABLED - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)

UI: - UI

Fuente original

llama.cpp Releases

Notas sobre el contenido

La publicación original y los derechos pertenecen a la fuente.

Traducción automática · Consulte el original