llama.cpp Releases更新于

[预发布 / 持续构建版本] b11632

llama.cpp持续构建新增CUDA/HIP的GDN分块内核,并在RTX 3090与RTX 4090经正确性和prefill基准后启用SM86与SM89。该版本为实验性构建,未测试架构仍用回退路径。

预发布 / 持续构建版本:这是实验性构建版本,不是稳定版本。

cuda, hip: GDN chunked kernel (#29353) * cuda, hip: GDN chunked kernel Ported-from: https://github.com/tetherto/qvac-fabric-llm.cpp/pull/257 Source-commit: 53f0027d8070715fe9ad2131f3201bb0001d4eed Co-authored-by: Aman Gupta * 修复旧版本构建 * 评审修改 * cuda: 在经过测试的 Ampere 和 Ada GPU 上启用 GDN MMA 在 RTX 3090 和 RTX 4090 的正确性及 prefill 基准测试之后启用 SM86 和 SM89。其他未经测试的架构保持使用现有的回退方案。 Assisted-by: Codex * cuda : 在 GDN MMA 中使用重构后的 swizzle API * ggml : 仅当 n_tokens > K 时 GDN 才保证最终状态 * cuda : 添加简短的 GDN MMA 阶段注释 --------- Co-authored-by: gianni-cor Co-authored-by: Aman Gupta

网站: - https://llama.app

证明(Attestations): - https://github.com/ggml-org/llama.cpp/attestations/56096976

macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, 已启用 KleidiAI) 已禁用 - macOS Intel (x64) - iOS XCFramework

Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 库 - Ubuntu x64 (CUDA 13) - CUDA 13.4 库 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 库 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon:CPU、Adreno GPU、Hexagon NPU) - 安装指南

Android: - Android arm64 (CPU) - Android arm64 (Snapdragon:CPU、Adreno GPU、Hexagon NPU) - 安装指南

Windows 操作系统: - Windows x64(CPU)版本 - Windows arm64(CPU)版本 - Windows arm64(OpenCL Adreno)版本 - Windows x64(CUDA 12)版本 - CUDA 12.4 DLL 文件 - Windows x64(CUDA 13)版本 - CUDA 13.4 DLL 文件 - Windows arm64(CUDA 13)版本 - CUDA 13.4 DLL 文件 - Windows x64(Vulkan)版本 - Windows arm64(Vulkan)版本 - Windows x64(OpenVINO)版本 - Windows x64(SYCL)版本 - Windows x64(ROCm 10.0)版本

openEuler: - 已禁用 - openEuler x86 架构(310p) - openEuler x86 架构(910b,ACL Graph) - openEuler aarch64 架构(310p) - openEuler aarch64 架构(910b,ACL Graph)

界面: - 界面

原始出处

llama.cpp Releases

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准