llama.cpp Releases更新于

[预发布 / 持续构建版本] b11450

这是 llama.cpp 的持续构建版本,说明中明确标注为实验性构建而非稳定版。本次改动为 RPC 后端新增 `-sm tensor` 选项,并包含 rpc 主版本号提升等提交,由 Georgi Gerganov 参与。由于是预发布构建,其稳定性与兼容性尚未得到保证。

预发布 / 持续构建版本:这是一个实验性构建版本,不是稳定版本。

RPC:添加 `-sm tensor`(#26610) * rpc:允许 -sm tensor * 修复 apple rdma 的 flush 问题 * 将 graph_uids 移至 rpc_dispatcher * 继续:修复冲突 * 继续:停止 dispatcher 线程的自旋 * 移除 meta backend 的更改 * 添加 TODO 以简化逻辑 * rpc:提升主版本号 --------- 共同作者:Georgi Gerganov

网站: - https://llama.app

证明: - https://github.com/ggml-org/llama.cpp/attestations/53303187

macOS/iOS: - macOS Apple Silicon(arm64) - macOS Apple Silicon(arm64,已启用 KleidiAI) 已禁用 - macOS Intel(x64) - iOS XCFramework 版本

Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 库 - Ubuntu x64 (CUDA 13) - CUDA 13.4 库 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 库 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon:CPU、Adreno GPU、Hexagon NPU) - 安装指南

Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU、Adreno GPU、Hexagon NPU) - 安装指南

Windows 版本: - Windows x64(CPU)版本 - Windows arm64(CPU)版本 - Windows arm64(OpenCL Adreno)版本 - Windows x64(CUDA 12)版本 - CUDA 12.4 DLL 库 - Windows x64(CUDA 13)版本 - CUDA 13.4 DLL 库 - Windows arm64(CUDA 13)版本 - CUDA 13.4 DLL 库 - Windows x64(Vulkan)版本 - Windows arm64(Vulkan)版本 - Windows x64(OpenVINO)版本 - Windows x64(SYCL)版本 - Windows x64(ROCm 10.0)版本

openEuler: - DISABLED - openEuler x86 架构(310p) - openEuler x86 架构(910b,ACL Graph) - openEuler aarch64 架构(310p) - openEuler aarch64 架构(910b,ACL Graph)

UI: - UI

原始出处

llama.cpp Releases

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准