llama.cpp Releases更新于

[预发布版 / 持续构建版本] b11388

[预发布版 / 持续构建版本] imatrix: 为新格式 (GGUF) imatrices 计算基于激活的统计信息 (#14891) * Use activations to calculate the stats * Determine calculation mode * Compute entropy for activations * Compute cosine similarity based on activations…

预发布版 / 持续构建版本:这是一个实验性构建版本,不是稳定版本。

imatrix: 为新格式 (GGUF) imatrices 计算基于激活的统计信息 (#14891) * 使用激活值计算统计信息 * 确定计算模式 * 为激活值计算熵 * 基于激活值计算余弦相似度 * 计算 l2 范数 * 添加 compute_layer_statistics() 函数 * 更新聚合统计报告布局 * 修复当 calc_mode = 1 时打印 l2 范数的问题 * 重构变量名 * 计算聚合的(每层)l2 范数 * 更新每层激活值平方和的聚合值 * 将 ZD Score 改为双尾 * 更新报告布局 * 反转条件逻辑以符合惯例 * 重命名报告标题 * 添加 --activation-statistics 参数 * 添加 Euclidean–Cosine Score (ECS) * 添加 --activation-statistics 逻辑,避免默认情况下使 imatrix 大小翻倍 * 根据 imatrix 类型更新统计信息输出排序 * 处理外部 NextN draft 文件 (-md / --model-draft) * 重构以使用新的 llama_batch_ext Co-authored-by: compilade Co-authored-by: Sigbjørn Skjæret

网站: - https://llama.app

证明: - https://github.com/ggml-org/llama.cpp/attestations/52565482

macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, 启用 KleidiAI) 已禁用 - macOS Intel (x64) - iOS XCFramework

Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 库 - Ubuntu x64 (CUDA 13) - CUDA 13.4 库 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 库 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon:CPU、Adreno GPU、Hexagon NPU) - 设置指南

Android: - Android arm64 (CPU) - Android arm64 (Snapdragon:CPU、Adreno GPU、Hexagon NPU) - 设置指南

Windows 平台: - Windows x64(CPU 版) - Windows arm64(CPU 版) - Windows arm64(OpenCL Adreno 版) - Windows x64(CUDA 12 版) - CUDA 12.4 DLL 文件 - Windows x64(CUDA 13 版) - CUDA 13.4 DLL 文件 - Windows arm64(CUDA 13 版) - CUDA 13.4 DLL 文件 - Windows x64(Vulkan 版) - Windows x64(OpenVINO 版) - Windows x64(SYCL 版) - Windows x64(ROCm 10.0 版)

openEuler: - DISABLED - openEuler x86 架构(310p) - openEuler x86 架构(910b,ACL Graph) - openEuler aarch64 架构(310p) - openEuler aarch64 架构(910b,ACL Graph)

UI: - UI

原始出处

llama.cpp Releases

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准