Pre-Release / Continuous Build: Dies ist ein experimenteller Build, keine stabile Veröffentlichung.
hexagon: optimize CPY/CONCAT — Runde 3, Ausgabe für kurze Zeilen (#30341) * hexagon: verlege das konvertierende CPY in Blöcke von Zeilen pro DMA-Deskriptor, damit kurze Zeilen nicht durch die DMA-Latenz begrenzt werden * hex-cpy: Bereinigung der cpy-Cursor-Verwaltung * hex-cpy-concat: Einführung eines threaded dma/hvx gather-row Helpers Co-authored-by: Ruslan Karymov <67752306+karusrus@users.noreply.github.com> * hex-cpy: Entfernen übrig gebliebener Zurweisungen für erweiterte Buffers * hex-cpy: Lockern der Schwelle für den Fast-Path * hex-cpy: Entfernen von skalaren Divisionen und vtcm-Zugriffen sowie Verwendung von explizitem gather_sync * hex-cpy: ordnungsgemäße Unterstützung für mdev work splitting im fastpath hinzugefügt * hex-cpy: Optimierung dichter gather-row Tasks * hex-cpy: Entrollen der gather-rows-Schleifen * hex-cpy: Fastpath für f16 hinzugefügt * hex-cpy-concat: Unterstützung für das Zusammenfassen von 3/4D-Dimensionen * hex-cpy: Double-Buffer-Unterstützung * hex-cpy: gather-rows als eigenständigerer Op herausgezogen * hex-cpy-concat: Deduplizierung der kernel-params * hex-cpy-concat: nr stufenweise reduzieren, damit es passt, statt hart zu fehlschlagen * hex-gather: div durch eine Maske ersetzt * hex-gather-rows: Bereinigung der dma-Pipeline und Entfernen der Stalls * hex-gather: Spezialisierung der compute funcs * hex-gather: Reduzierung von scalar reg.spills und func calls * hex-gather: rows-per-thread auf dem npu nicht neu berechnen * hex-build: Unterstützung für das Bauen/Installieren von allein hexagon hinzugefügt * hex-cpy-concat: redundante Barriere in concat entfernt und cpy-Barriere unter fence verschoben * hex-gather: Annotationen für dma-out * hex-mdev: alle zentralen vtcm_acquire sync states atomar gemacht (behebt zufällige Hänger in mdev-Setups) --------- Co-authored-by: Yiwei Shao Co-authored-by: Ruslan Karymov <67752306+karusrus@users.noreply.github.com>Website: - https://llama.app
Attestierungen: - https://github.com/ggml-org/llama.cpp/attestations/55095068
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI aktiviert) DEAKTIVIERT - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA-12.8-Bibliotheken - Ubuntu x64 (CUDA 13) - CUDA-13.4-Bibliotheken - Ubuntu arm64 (CUDA 13) - CUDA-13.4-Bibliotheken - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Einrichtungsanleitung
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Einrichtungsanleitung
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA-12.4-DLLs - Windows x64 (CUDA 13) - CUDA-13.4-DLLs - Windows arm64 (CUDA 13) - CUDA-13.4-DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DEAKTIVIERT - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
UI: - UI