사전 출시 / 연속 빌드: 이는 실험적인 빌드이며 안정적인 릴리스가 아닙니다.
cuda, hip: GDN chunked kernel (#29353) * cuda, hip: GDN chunked kernel Ported-from: https://github.com/tetherto/qvac-fabric-llm.cpp/pull/257 Source-commit: 53f0027d8070715fe9ad2131f3201bb0001d4eed Co-authored-by: Aman Gupta * 이전 빌드 수정 * 리뷰 반영 수정 * cuda: 테스트된 Ampere 및 Ada GPU에서 GDN MMA 활성화 RTX 3090 및 RTX 4090 정확도 및 prefill 벤치마크 후 SM86과 SM89를 활성화합니다. 테스트되지 않은 다른 아키텍처는 기존 폴백을 유지합니다. Assisted-by: Codex * cuda : GDN MMA에서 리팩터링된 swizzle API 사용 * ggml : GDN은 n_tokens > K일 때만 최종 상태를 보장 * cuda : 짧은 GDN MMA 단계 주석 추가 --------- Co-authored-by: gianni-cor Co-authored-by: Aman Gupta웹사이트: - https://llama.app
증명(Attestations): - https://github.com/ggml-org/llama.cpp/attestations/56096976
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 활성화) 비활성화됨 - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 라이브러리 - Ubuntu x64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
윈도우(Windows): - 윈도우 x64 (CPU) - 윈도우 arm64 (CPU) - 윈도우 arm64 (OpenCL Adreno) - 윈도우 x64 (CUDA 12) - CUDA 12.4 DLL - 윈도우 x64 (CUDA 13) - CUDA 13.4 DLL - 윈도우 arm64 (CUDA 13) - CUDA 13.4 DLL - 윈도우 x64 (Vulkan) - 윈도우 arm64 (Vulkan) - 윈도우 x64 (OpenVINO) - 윈도우 x64 (SYCL) - 윈도우 x64 (ROCm 10.0)
openEuler: - DISABLED - openEuler x86 (310p) 환경 - openEuler x86 (910b, ACL Graph) 환경 - openEuler aarch64 (310p) 환경 - openEuler aarch64 (910b, ACL Graph) 환경
UI: - UI