Pre-release / kontinuierlicher Build: Dies ist ein experimenteller Build, kein stabilere Release.
Metall: wenigzeilige MMA-Mat-Mul für die verbleibenden src0-Typen (#30065) Das allgemeine wenigzeilige MMA-Kernel funktioniert für jeden Typ mit einem 16-gewichtigen Dequantizer – daher kann es nun auch BF16, Q1_0, Q2_0, MXFP4, Q2_K, Q3_K, TQ2_0 und die IQ-Typen verwenden. Jeder Typ beginnt bei der Zeilenanzahl, bei der er gegen die aktuellen Kernels auf einer M3 Ultra übertrifft: 5 Zeilen für TQ2_0, 4 für BF16, 3 für MXFP4, Q2_0, Q2_K und IQ4_NL, und 2 für die anderen Typen. test-backend-ops perf -o MUL_MAT, m=4096, k=14336, M3 Ultra, Zeit dieser Änderung über den Master (Mittelwert zweier interleavierter Läufe): 0,23 bis 0,98 vom Schwellenwert bis zu 8 Zeilen, 0,24 bis 0,33 bei 9 bis 16 Zeilen und 0,99 bis 1,01 bei 1 und 512 Zeilen.Webseite: - https://llama.app
Attestationen: - https://github.com/ggml-org/llama.cpp/attestations/53605242
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI aktiviert) DEACTIVIERT - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 Bibliotheken - Ubuntu x64 (CUDA 13) - CUDA 13.4 Bibliotheken - Ubuntu arm64 (CUDA 13) - CUDA 13.4 Bibliotheken - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno-GPU, Hexagon-NPU) - Setup-Guide
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno-GPU, Hexagon-NPU) - Setup-Guide
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA 12.4 DLLs - Windows x64 (CUDA 13) - CUDA 13.4 DLLs - Windows arm64 (CUDA 13) - CUDA 13.4 DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DEACTIVIERT - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
UI: - UI