llama.cpp Releases更新于

[预发布 / 持续构建版] b11636

llama.cpp预发布构建为SYCL后端加入IQ3_S/IQ3_XXS持久权重重排,在Intel Arc Pro B70上文本生成最高提升约82%而预填充持平,标准量化不受影响;注意这是实验性构建而非稳定版。

预发布 / 持续构建版:这是实验性构建,不是稳定版本。

sycl: IQ3 代码重排 (#29107) * sycl: 为 SYCL 解码和预填充持久化重排 IQ3_S/IQ3_XXS 权重 为 IQ3_S 和 IQ3_XXS 添加持久化重排后的权重布局。权重 在加载时重排一次;重排后的 MMVQ 点积随后 使用 dp4a 和 SWAR 符号扩展遍历密集的超块,而不是 从交错的标准布局中收集比特位。支持重排感知的 反量化为批量预填充 GEMM 提供数据,因此提示词处理 也能获得同样的收益。 同时加强了 oneDNN 构建检查:缺失 DNNL 包或仅支持 CPU 的 DNNL 构建现在会在配置阶段失败,而不是静默 生成降级的后端。 在 Intel Arc Pro B70 上以 Qwen3.8-27B-GSQ-RCO-IQ3_S (MTP)、 -ngl 999 -b 4096 -ub 1024 -fa 开启进行实测: tg256 @ 0 ctx 12.92 -> 23.54 tok/s (+82%) tg256 @ 9,216 12.33 -> 21.69 tok/s (+76%) tg256 @ 64,000 9.76 -> 14.91 tok/s (+53%) pp8192 833.9 -> 833.6 tok/s (持平) Qwen3.5-9B Q4_K_M / Q3_K_M 在噪声范围内无变化(最大差异 -0.5% pp,tg 持平),因此标准量化不受影响。 MMVQ GLU 融合扩展和 rms_norm+scale 融合 有意不包含在此次更改中;master 已通过 #28931 包含它们。 * 根据评审请求移除等待 * sycl : 修复 fusion.cpp 的行尾符

网站: - https://llama.app

证明(Attestations): - https://github.com/ggml-org/llama.cpp/attestations/56116978

macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, 启用 KleidiAI) 已禁用 - macOS Intel (x64) - iOS XCFramework

Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 库 - Ubuntu x64 (CUDA 13) - CUDA 13.4 库 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 库 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU) - 安装指南

Android: - Android arm64 (CPU) - Android arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU) - 安装指南

Windows 平台: - Windows x64(CPU 版) - Windows arm64(CPU 版) - Windows arm64(OpenCL Adreno 版) - Windows x64(CUDA 12 版) - CUDA 12.4 DLL 文件 - Windows x64(CUDA 13 版) - CUDA 13.4 DLL 文件 - Windows arm64(CUDA 13 版) - CUDA 13.4 DLL 文件 - Windows x64(Vulkan 版) - Windows arm64(Vulkan 版) - Windows x64(OpenVINO 版) - Windows x64(SYCL 版) - Windows x64(ROCm 10.0 版)

openEuler: - DISABLED - openEuler x86(310p 配置) - openEuler x86(910b 配置,ACL Graph) - openEuler aarch64(310p 配置) - openEuler aarch64(910b 配置,ACL Graph)

UI: - UI

原始出处

llama.cpp Releases

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准