llama.cpp Releases更新于

[预发布版 / 持续构建版] b11574

llama.cpp 发布一个新的实验性连续构建,主要优化 Hexagon NPU 上的拷贝与拼接内核,通过按 DMA 描述符成块搬运行与双缓冲避免短行受 DMA 延迟限制,并修复 mdev 设置中的随机挂起。该构建并非稳定版本,适合端侧推理部署开发者参考。

预发布版 / 持续构建版:这是实验性构建版本,并非稳定版本。

hexagon: 优化 CPY/CONCAT — 第3轮,短行版 (#30341) * hexagon: 将转换型 CPY 按 DMA 描述符分块移动行,使短行不受 DMA 延迟限制 * hex-cpy: 清理 cpy 游标处理 * hex-cpy-concat: 引入线程化 dma/hvx gather-row 辅助程序 协作作者:Ruslan Karymov <67752306+karusrus@users.noreply.github.com> * hex-cpy: 移除对扩展缓冲区的遗留拒绝 * hex-cpy: 放宽快速路径的门槛 * hex-cpy: 移除标量除法和 vtcm 访问,改用显式 gather_sync * hex-cpy: 为快速路径添加对 mdev 工作拆分的正确支持 * hex-cpy: 优化密集 gather-row 任务 * hex-cpy: 展开 gather-rows 循环 * hex-cpy: 为 f16 添加快速路径 * hex-cpy-concat: 支持折叠 3/4D 维度 * hex-cpy: 双缓冲支持 * hex-cpy: 将 gather-rows 提取为更独立的操作 * hex-cpy-concat: 去重 kernel-params * hex-cpy-concat: 以降低 nr 来适配而不是硬性失败 * hex-gather: 用掩码替换除法 * hex-gather-rows: 清理 dma 流水线并消除停顿 * hex-gather: 特化计算函数 * hex-gather: 减少标量寄存器溢出和函数调用 * hex-gather: 不要在 npu 上重新计算 rows-per-thread * hex-build: 添加仅构建/安装 hexagon 的支持 * hex-cpy-concat: 移除 concat 中多余的屏障,并将 cpy 屏障移至 fence 之下 * hex-gather: 为 dma-out 添加注解 * hex-mdev: 使所有关键 vtcm_acquire 同步状态原子化(修复 mdev 设置中的随机挂起问题) --------- 协作作者:Yiwei Shao 协作作者:Ruslan Karymov <67752306+karusrus@users.noreply.github.com>

网站: - https://llama.app

证明(Attestations): - https://github.com/ggml-org/llama.cpp/attestations/55095068

macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, 启用 KleidiAI) 已禁用 - macOS Intel (x64) - iOS XCFramework

Linux: - Ubuntu x64(CPU) - Ubuntu arm64(CPU) - Ubuntu s390x(CPU) - Ubuntu x64(Vulkan) - Ubuntu arm64(Vulkan) - Ubuntu x64(CUDA 12) - CUDA 12.8 库 - Ubuntu x64(CUDA 13) - CUDA 13.4 库 - Ubuntu arm64(CUDA 13) - CUDA 13.4 库 - Ubuntu x64(ROCm 10.0) - Ubuntu x64(OpenVINO) - Ubuntu x64(SYCL FP32) - Ubuntu x64(SYCL FP16) - Linux arm64(骁龙:CPU、Adreno GPU、Hexagon NPU) - 安装指南

Android: - Android arm64(CPU) - Android arm64(骁龙:CPU、Adreno GPU、Hexagon NPU) - 安装指南

Windows 版本: - Windows x64(CPU 版) - Windows arm64(CPU 版) - Windows arm64(OpenCL Adreno 版) - Windows x64(CUDA 12 版) - CUDA 12.4 DLL 文件 - Windows x64(CUDA 13 版) - CUDA 13.4 DLL 文件 - Windows arm64(CUDA 13 版) - CUDA 13.4 DLL 文件 - Windows x64(Vulkan 版) - Windows arm64(Vulkan 版) - Windows x64(OpenVINO 版) - Windows x64(SYCL 版) - Windows x64(ROCm 10.0 版)

openEuler: - DISABLED - openEuler x86 版本(310p) - openEuler x86 版本(910b,ACL Graph) - openEuler aarch64 版本(310p) - openEuler aarch64 版本(910b,ACL Graph)

UI: - UI

原始出处

llama.cpp Releases

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准