llama.cpp Releases更新日

[Pre-release / continuous build] b11600

[Pre-release / continuous build] graph: no-cache attention の KQ バイアスをパディング (#30446) no-cache attention では K、V、マスクを 256 にパディングしますが、T5 は [n_tokens, n_tokens] の相対位置バイアスも加算するため、n_tokens がパディング後の幅を割り切らない限り KQ との加算が失敗します。K と V…

Pre-release / continuous build: これは実験的なビルドであり、安定版リリースではありません。

graph: no-cache attention の KQ バイアスをパディング (#30446) no-cache attention では K、V、マスクを 256 にパディングしますが、T5 は [n_tokens, n_tokens] の相対位置バイアスも加算するため、n_tokens が パディング後の幅を割り切らない限り KQ との加算が失敗します。K と V と同様に、 バイアスをマスクの KV 次元までゼロでパディングします。

Website: - https://llama.app

Attestations: - https://github.com/ggml-org/llama.cpp/attestations/55592156

macOS および iOS: - macOS Apple Silicon (arm64)向け - macOS Apple Silicon (arm64、KleidiAI 有効) 無効 - macOS Intel (x64)向け - iOS XCFramework 向け

Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 ライブラリ - Ubuntu x64 (CUDA 13) - CUDA 13.4 ライブラリ - Ubuntu arm64 (CUDA 13) - CUDA 13.4 ライブラリ - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU、Adreno GPU、Hexagon NPU) - セットアップガイド

Android: - Android arm64(CPU) - Android arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU) - セットアップガイド

Windows向け: - Windows x64(CPU)版 - Windows arm64(CPU)版 - Windows arm64(OpenCL Adreno)版 - Windows x64(CUDA 12)版 - CUDA 12.4 DLL - Windows x64(CUDA 13)版 - CUDA 13.4 DLL - Windows arm64(CUDA 13)版 - CUDA 13.4 DLL - Windows x64(Vulkan)版 - Windows arm64(Vulkan)版 - Windows x64(OpenVINO)版 - Windows x64(SYCL)版 - Windows x64(ROCm 10.0)版

openEuler: - DISABLED - openEuler x86(310p) - openEuler x86(910b、ACLグラフ) - openEuler aarch64(310p) - openEuler aarch64(910b、ACLグラフ)

UI: - UI

原文の出典

llama.cpp Releases

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください