사전 릴리스 / 연속 빌드: 이는 실험적인 빌드이며 안정적인 릴리스가 아닙니다.
server : Anthropic /v1/messages 변환을 통해 id_slot 전달 (#28554) * server : Anthropic /v1/messages 변환을 통해 id_slot 전달 server_chat_convert_anthropic_to_oai는 Anthropic 요청에서 소수의 공통 파라미터 화이트리스트를 내부 OAI 스타일 본문으로 복사하며 id_slot은 제외했습니다. 다른 모든 completion 엔드포인트는 id_slot을 존중합니다. 세션을 KV 캐시가 있는 슬롯에 고정하는 프록시는 /v1/messages에서도 동일한 기능이 필요하며, 그렇지 않으면 자동 슬롯 선택으로 조용히 폴백되고, hybrid/recurrent 모델의 경우 전체 재프리필(re-prefill) 비용을 치르게 됩니다. id_slot이 설정된 요청이 해당 슬롯에서 처리되는지 확인하는 테스트를 추가하며, 이는 GET /slots를 통해 관찰됩니다. * server : 주석 축약 * 테스트 제거 --------- Co-authored-by: Xuan Son Nguyen웹사이트: - https://llama.app
증명(Attestations): - https://github.com/ggml-org/llama.cpp/attestations/57810098
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 활성화) 비활성화됨 - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 라이브러리 - Ubuntu x64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
윈도우: - 윈도우 x64 (CPU) - 윈도우 arm64 (CPU) - 윈도우 arm64 (OpenCL Adreno) - 윈도우 x64 (CUDA 12) - CUDA 12.4 DLL 파일 - 윈도우 x64 (CUDA 13) - CUDA 13.4 DLL 파일 - 윈도우 arm64 (CUDA 13) - CUDA 13.4 DLL 파일 - 윈도우 x64 (Vulkan) - 윈도우 arm64 (Vulkan) - 윈도우 x64 (OpenVINO) - 윈도우 x64 (SYCL) - 윈도우 x64 (ROCm 10.0)
openEuler: - DISABLED - openEuler x86(310p) 환경 - openEuler x86(910b, ACL Graph) 환경 - openEuler aarch64(310p) 환경 - openEuler aarch64(910b, ACL Graph) 환경
UI: - UI