Pre-release / 連続ビルド: これは実験的なビルドであり、安定版リリースではありません。
graph: no-cache attentionのKV次元を256にパディング (#30416) no-cacheパスは[n_tokens, n_tokens]のマスクを構築し、KとVをパディング せずに渡すため、FLASH_ATTN_EXTはK->ne[1] == n_tokensを認識します。 ヘッドサイズ512のCUDAカーネルはFATTN_KQ_STRIDEの倍数を必要とするため、 この演算はほとんどの長さでCPUにフォールバックし、-faの自動プローブ (1トークン)によってこの種のモデルではflash attentionが無効化されます。 マスクをllama_kv_cache::get_n_kvと同様にパディングし、KとVをマスクの KV次元までゼロでパディングしてください。clefは独自の因果マスクを構築し、 同じ方法でパディングします。Website: - https://llama.app
Attestations: - https://github.com/ggml-org/llama.cpp/attestations/55199687
macOSおよびiOS: - macOS Apple Silicon (arm64)向け - KleidiAIを有効にしたmacOS Apple Silicon (arm64) 無効 - macOS Intel (x64)向け - iOS向けXCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 ライブラリ - Ubuntu x64 (CUDA 13) - CUDA 13.4 ライブラリ - Ubuntu arm64 (CUDA 13) - CUDA 13.4 ライブラリ - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU、Adreno GPU、Hexagon NPU) - セットアップガイド
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU、Adreno GPU、Hexagon NPU) - セットアップガイド
Windows(ウィンドウズ): - Windows x64(CPU)版 - Windows arm64(CPU)版 - Windows arm64(OpenCL Adreno)版 - Windows x64(CUDA 12)版 - CUDA 12.4 DLL - Windows x64(CUDA 13)版 - CUDA 13.4 DLL - Windows arm64(CUDA 13)版 - CUDA 13.4 DLL - Windows x64(Vulkan)版 - Windows arm64(Vulkan)版 - Windows x64(OpenVINO)版 - Windows x64(SYCL)版 - Windows x64(ROCm 10.0)版
openEuler: - DISABLED ・openEuler x86(310p) ・openEuler x86(910b、ACL Graph) ・openEuler aarch64(310p) ・openEuler aarch64(910b、ACL Graph)
UI: - UI