사전 릴리스 / 지속 빌드: 이것은 실험적인 빌드이며 안정 릴리스가 아닙니다.
llama: 공유 시퀀스에서 k-pool scatter 데이터 경합 수정 (#29994) * llama: 공유된 각 k-pool rep을 한 번만 re-pool 셀이 공유되면 모든 pool이 re-pool되며, pooled 키는 항상 흩어져 있으므로 seq_cp가 시퀀스들 간에 공유하는 pool들이 여러 scatter 항목에서 동일한 rep 행을 기록했습니다. 이는 CPU 백엔드에서의 데이터 경합입니다. 각 rep을 한 번만 마킹합니다: 공유하는 시퀀스들은 pool_cells를 통해 동일한 행을 읽습니다. * llama: 하이브리드 idx 메모리에서 전체 시퀀스 seq_cp 단정 recurrent 상태는 범위와 무관하게 항상 전체가 복사되며, 부분 복사로 공유된 k-pool 셀은 하나의 pooled 행으로 두 개의 pool 그룹을 가질 수 있습니다. 모든 호출자가 전체 시퀀스를 복사하므로 부분 범위를 지원하는 대신 거부합니다. * llama: k-pool cache_safe 모드 제거 전체 시퀀스 seq_cp에서는 셀을 공유하는 시퀀스들이 pool도 공유하므로, 공유된 rep의 pooled 행은 모두에게 유효합니다. 셀이 공유되는 동안 모든 것을 re-pool하는 대신 모든 ubatch에서 각 rep을 한 번만 마킹하며, 이는 공유 스캔과 seq_rm, state_read, state_drop의 stale-all 우회책을 제거합니다. seq_cp는 이제 대상만 stale 처리합니다.웹사이트: - https://llama.app
증명서(Attestations): - https://github.com/ggml-org/llama.cpp/attestations/53070668
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 활성화) 비활성화(DISABLED) - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 라이브러리 - Ubuntu x64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
윈도우(Windows): - Windows x64 (CPU) 버전 - Windows arm64 (CPU) 버전 - Windows arm64 (OpenCL Adreno) 버전 - Windows x64 (CUDA 12) 버전 - CUDA 12.4 DLL 모음 - Windows x64 (CUDA 13) 버전 - CUDA 13.4 DLL 모음 - Windows arm64 (CUDA 13) 버전 - CUDA 13.4 DLL 모음 - Windows x64 (Vulkan) 버전 - Windows arm64 (Vulkan) 버전 - Windows x64 (OpenVINO) 버전 - Windows x64 (SYCL) 버전 - Windows x64 (ROCm 10.0) 버전
openEuler: - DISABLED - openEuler x86 (310p) 환경 - openEuler x86 (910b, ACL Graph) 환경 - openEuler aarch64 (310p) 환경 - openEuler aarch64 (910b, ACL Graph) 환경
UI: - UI