Pre-release / continuous build: 이것은 실험적인 빌드이며 안정적인 릴리스가 아닙니다.
metal : 나머지 src0 타입들을 위한 few-row MMA mat-mul (#30065) 범용 few-row MMA 커널은 16-weight dequantizer가 있는 모든 타입에서 동작하므로, 이제 BF16, Q1_0, Q2_0, MXFP4, Q2_K, Q3_K, TQ2_0 및 IQ 타입들도 지원합니다. 각 타입은 M3 Ultra에서 현재 커널을 능가하는 행 수부터 시작합니다: TQ2_0은 5행, BF16은 4행, MXFP4, Q2_0, Q2_K 및 IQ4_NL은 3행, 나머지는 2행입니다. test-backend-ops perf -o MUL_MAT, m=4096, k=14336, M3 Ultra, 이 변경 대비 master의 시간 (각각 두 번의 교차 실행 평균): 임계값부터 8행까지 0.23에서 0.98, 9행에서 16행에서는 0.24에서 0.33, 1행 및 512행에서는 0.99에서 1.01.웹사이트: - https://llama.app
Attestations: - https://github.com/ggml-org/llama.cpp/attestations/53605242
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 활성화) 비활성화됨 - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 라이브러리 - Ubuntu x64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설치 가이드
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설치 가이드
Windows: - Windows x64(CPU)용 - Windows arm64(CPU)용 - Windows arm64(OpenCL Adreno)용 - Windows x64(CUDA 12)용 - CUDA 12.4 DLL - Windows x64(CUDA 13)용 - CUDA 13.4 DLL - Windows arm64(CUDA 13)용 - CUDA 13.4 DLL - Windows x64(Vulkan)용 - Windows arm64(Vulkan)용 - Windows x64(OpenVINO)용 - Windows x64(SYCL)용 - Windows x64(ROCm 10.0)용
openEuler: - DISABLED - openEuler x86 (310p) 버전 - openEuler x86 (910b, ACL Graph) 버전 - openEuler aarch64 (310p) 버전 - openEuler aarch64 (910b, ACL Graph) 버전
UI: - UI