预发布版 / 持续构建版本:这是一个实验性构建版本,不是稳定版本。
imatrix: 为新格式 (GGUF) imatrices 计算基于激活的统计信息 (#14891) * 使用激活值计算统计信息 * 确定计算模式 * 为激活值计算熵 * 基于激活值计算余弦相似度 * 计算 l2 范数 * 添加 compute_layer_statistics() 函数 * 更新聚合统计报告布局 * 修复当 calc_mode = 1 时打印 l2 范数的问题 * 重构变量名 * 计算聚合的(每层)l2 范数 * 更新每层激活值平方和的聚合值 * 将 ZD Score 改为双尾 * 更新报告布局 * 反转条件逻辑以符合惯例 * 重命名报告标题 * 添加 --activation-statistics 参数 * 添加 Euclidean–Cosine Score (ECS) * 添加 --activation-statistics 逻辑,避免默认情况下使 imatrix 大小翻倍 * 根据 imatrix 类型更新统计信息输出排序 * 处理外部 NextN draft 文件 (-md / --model-draft) * 重构以使用新的 llama_batch_ext Co-authored-by: compilade Co-authored-by: Sigbjørn Skjæret网站: - https://llama.app
证明: - https://github.com/ggml-org/llama.cpp/attestations/52565482
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, 启用 KleidiAI) 已禁用 - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 库 - Ubuntu x64 (CUDA 13) - CUDA 13.4 库 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 库 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon:CPU、Adreno GPU、Hexagon NPU) - 设置指南
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon:CPU、Adreno GPU、Hexagon NPU) - 设置指南
Windows 平台: - Windows x64(CPU 版) - Windows arm64(CPU 版) - Windows arm64(OpenCL Adreno 版) - Windows x64(CUDA 12 版) - CUDA 12.4 DLL 文件 - Windows x64(CUDA 13 版) - CUDA 13.4 DLL 文件 - Windows arm64(CUDA 13 版) - CUDA 13.4 DLL 文件 - Windows x64(Vulkan 版) - Windows x64(OpenVINO 版) - Windows x64(SYCL 版) - Windows x64(ROCm 10.0 版)
openEuler: - DISABLED - openEuler x86 架构(310p) - openEuler x86 架构(910b,ACL Graph) - openEuler aarch64 架构(310p) - openEuler aarch64 架构(910b,ACL Graph)
UI: - UI