llama.cpp Releases

[预发布 / 持续构建版本] b11528

llama.cpp连续构建b11528修复meta后端断言问题:主机张量视图留在split内时会触发断言,影响--split-mode tensor部分卸载下的KV缓存视图。该版本为实验性预发布,并非稳定版本。

预发布 / 持续构建版本:这是一个实验性构建版本,不是稳定版本。

meta : handle host views (#30217) * meta : 处理在主机上分配的张量视图 视图共享其 view_src 的内存,因此 ggml-alloc 从不在视图所在分片的 缓冲区中分配视图 - 调度器将源复制到分片中,使用该视图的算子读取该副本。 视图节点本身是 noop,不需要自己的分片,但当它被留在 meta 分片内时, meta 后端会触发断言: - ggml_backend_meta_get_split_state() 解引用了 tensor->buffer->context - 图重建用 ggml_backend_meta_buffer_simple_tensor() 映射每个节点 当这些节点是主机张量的视图时接受它们,这也泛化了之前的 s_copy_main 变通方法。这修复了在使用 --split-mode tensor 和部分卸载时 KV 缓存视图触发的断言。 Assisted-by: pi:llama.cpp/Qwen3.8-Flash-Next * archs : 为 K2 Horizon 重新启用 sm 张量 * cont : 添加 TODO 和参考

网站: - https://llama.app

证明: - https://github.com/ggml-org/llama.cpp/attestations/54357448

macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, 启用 KleidiAI) 已禁用 - macOS Intel (x64) - iOS XCFramework

Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 库 - Ubuntu x64 (CUDA 13) - CUDA 13.4 库 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 库 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon:CPU、Adreno GPU、Hexagon NPU) - 安装指南

Android: - Android arm64 (CPU) - Android arm64 (Snapdragon:CPU、Adreno GPU、Hexagon NPU) - 安装指南

Windows 版本: - Windows x64 版(CPU) - Windows arm64 版(CPU) - Windows arm64 版(OpenCL Adreno) - Windows x64 版(CUDA 12) - CUDA 12.4 DLL 文件 - Windows x64 版(CUDA 13) - CUDA 13.4 DLL 文件 - Windows arm64 版(CUDA 13) - CUDA 13.4 DLL 文件 - Windows x64 版(Vulkan) - Windows arm64 版(Vulkan) - Windows x64 版(OpenVINO) - Windows x64 版(SYCL) - Windows x64 版(ROCm 10.0)

openEuler: - 已禁用 - openEuler x86 架构(310p) - openEuler x86 架构(910b,ACL Graph) - openEuler aarch64 架构(310p) - openEuler aarch64 架构(910b,ACL Graph)

UI: - UI

原始出处

llama.cpp Releases

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准