사전 릴리스 / 연속 빌드: 이는 실험적 빌드이며 안정 릴리스가 아닙니다.
server: 복원 가능한 슬롯 상태만 프롬프트 캐시에 저장 (#30498) * server: 복원 가능한 슬롯 상태만 프롬프트 캐시에 저장 idle-slot 저장 루프는 작업이 시작될 때마다 모든 유휴 슬롯을 저장하는 반면, completion 작업만 프롬프트 캐시에서 복원합니다. Rerank, embedding, decision 및 infill 상태는 캐시 한도까지 채워지지만 다시 읽히는 일이 없으며, 이미 캐시된 슬롯은 작업이 시작될 때마다 다시 제공됩니다. 이제 각 슬롯은 cache_pending으로 자신의 상태가 복원 가능하며 캐시에 없는지 추적합니다: completion 릴리스 또는 명시적인 슬롯 복원이 이를 설정하고, prompt_save가 이를 소비하며, prompt_clear가 이를 재설정합니다. 두 저장 경로 모두 이 규칙을 공유하며, LRU 경로는 completion 작업에 대해서만 복원합니다. * server: decision 슬롯이 프롬프트 캐시를 건너뛰는지 테스트 Decision 작업은 자신의 슬롯을 캐시 가능으로 표시하지 않으므로, 통합 KV 캐시 사용 여부와 관계없이 새 작업을 시작할 때 유휴 슬롯을 RAM 프롬프트 캐시에 저장해서는 안 됩니다. * server: 재사용하는 모든 작업을 프롬프트 캐시에서 복원 Embedding 및 rerank 작업은 자신의 상태를 재사용하지 않으므로, 해당 슬롯은 child 슬롯처럼 릴리스 시 삭제되며 캐시에는 이후 작업이 복원할 수 있는 상태만 유지됩니다. 이제 Infill 및 decision 작업도 캐시에서 복원하며, 이것이 cache_pending 플래그를 대체합니다. Decision 모델은 --cache-ram이 지정되지 않는 한 프롬프트 캐시를 비활성화합니다. 그 상태는 잘 반복되지 않기 때문입니다.웹사이트: - https://llama.app
증명(Attestations): - https://github.com/ggml-org/llama.cpp/attestations/56156929
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 활성화) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 라이브러리 - Ubuntu x64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA 12.4 DLL들 - Windows x64 (CUDA 13) - CUDA 13.4 DLL들 - Windows arm64 (CUDA 13) - CUDA 13.4 DLL들 - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DISABLED - openEuler x86 (310p) 대상 - openEuler x86 (910b, ACL Graph) 대상 - openEuler aarch64 (310p) 대상 - openEuler aarch64 (910b, ACL Graph) 대상
UI: - UI