Pre-Release / Continuous-Build: Dies ist ein experimenteller Build, keine stabile Veröffentlichung.
llama: behebe k-pool-Scatter-Datenrennen bei geteilten Sequenzen (#29994) * llama: pojede freigegebene k-pool-Reps jeweils nur einmal neu einpatchen Bei geteilten Zellen wird jeder Pool neu eingepatcht, und da die gepoolten Keys immer verstreut sind, schrieben die Pools, die ein seq_cp zwischen Sequenzen teilt, dieselbe Rep-Zeile aus mehreren Scatter-Einträgen – ein Datenrennen auf dem CPU-Backend. Markiere jede Rep nur einmal: Die sich teilenden Sequenzen lesen dieselbe Zeile über pool_cells. * llama: fordere ganzseitiges seq_cp im Hybrid-idx-Speicher Der rekurrente Zustand wird immer als Ganzes kopiert, unabhängig vom Bereich, und eine k-pool-Zelle, die von einer teilweisen Kopie geteilt wird, könnte zwei Pool-Gruppierungen mit einer einzigen gepoolten Zeile tragen. Jeder Aufrufer kopiert ganze Sequenzen, lehne also partielle Bereiche ab, statt sie zu unterstützen. * llama: entferne den k-pool-Modus cache_safe Bei ganzseitigem seq_cp teilen sich Sequenzen mit gemeinsamen Zellen auch ihre Pools, sodass die gepoolte Zeile einer geteilten Rep für alle gültig ist. Markiere jede Rep nur einmal in jedem ubatch, statt alles neu einzupatchen, solange Zellen geteilt werden; das entfernt den Sharing-Scan und die stale-all-Workarounds in seq_rm, state_read und state_drop. seq_cp staliert nun nur noch das Ziel.Website: - https://llama.app
Attestierungen: - https://github.com/ggml-org/llama.cpp/attestations/53070668
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI aktiviert) DEAKTIVIERT - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA-12.8-Bibliotheken - Ubuntu x64 (CUDA 13) - CUDA-13.4-Bibliotheken - Ubuntu arm64 (CUDA 13) - CUDA-13.4-Bibliotheken - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Einrichtungsanleitung
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Einrichtungsanleitung
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA-12.4-DLLs - Windows x64 (CUDA 13) - CUDA-13.4-DLLs - Windows arm64 (CUDA 13) - CUDA-13.4-DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DISABLED - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
UI: - UI