llama.cpp Releases2026-10-15 12:50 UTC+8更新日 2026-10-16 10:42 UTC+8

[プレリリース / 継続的ビルド] b11636

[Pre-release / continuous build] sycl: IQ3 コードの並べ替え (#29107) * sycl: SYCL の decode と prefill 向けの永続的な IQ3_S/IQ3_XXS 重み並べ替え IQ3_S と IQ3_XXS の永続的な並べ替え済み重みレイアウトを追加します。重みはロード時に一度だけ並べ替えられ、並べ替え済みの MMVQ…

プレリリース / 継続的ビルド: これは実験的なビルドであり、安定版リリースではありません。

sycl: IQ3 コードの並べ替え (#29107) * sycl: SYCL の decode と prefill 向けの永続的な IQ3_S/IQ3_XXS 重み並べ替え IQ3_S と IQ3_XXS の永続的な並べ替え済み重みレイアウトを追加します。重みはロード時に一度だけ並べ替えられ、並べ替え済みの MMVQ ドット積は、インターリーブされた標準レイアウトからビットを集める代わりに、dp4a と SWAR 符号展開を用いて密なスーパーブロックを走査します。並べ替えを考慮した逆量子化がバッチ化された prefill GEMM に渡されるため、プロンプト処理も同じ効果を得られます。さらに oneDNN ビルドチェックを強化しました:DNNL パッケージの欠落や CPU 専用の DNNL ビルドがある場合、劣化したバックエンドを黙って生成する代わりに、configure 時に失敗するようになりました。 Intel Arc Pro B70 で Qwen3.8-27B-GSQ-RCO-IQ3_S (MTP)、 -ngl 999 -b 4096 -ub 1024 -fa on の条件で測定: tg256 @ 0 ctx 12.92 -> 23.54 tok/s (+82%) tg256 @ 9,216 12.33 -> 21.69 tok/s (+76%) tg256 @ 64,000 9.76 -> 14.91 tok/s (+53%) pp8192 833.9 -> 833.6 tok/s (横ばい) Qwen3.5-9B Q4_K_M / Q3_K_M はノイズの範囲内で変化なし(最大の差は pp で -0.5%、tg は横ばい)であり、標準クォントには影響しません。 MMVQ GLU fusion widening および rms_norm+scale fusion は意図的にこの変更には含まれていません。master には既に #28931 経由で取り込まれています。 * レビューの要請に従って wait を削除 * sycl : fusion.cpp の行末を修正

ウェブサイト: - https://llama.app

Attestations: - https://github.com/ggml-org/llama.cpp/attestations/56116978

macOS/iOS向け: - macOS Apple Silicon (arm64)向け - macOS Apple Silicon (arm64、KleidiAI を有効化) 無効(ディセーブルド) - macOS Intel (x64)向け - iOS向け XCFramework

Linux: - Ubuntu x64(CPU) - Ubuntu arm64(CPU) - Ubuntu s390x(CPU) - Ubuntu x64(Vulkan) - Ubuntu arm64(Vulkan) - Ubuntu x64(CUDA 12) - CUDA 12.8 ライブラリ - Ubuntu x64(CUDA 13) - CUDA 13.4 ライブラリ - Ubuntu arm64(CUDA 13) - CUDA 13.4 ライブラリ - Ubuntu x64(ROCm 10.0) - Ubuntu x64(OpenVINO) - Ubuntu x64(SYCL FP32) - Ubuntu x64(SYCL FP16) - Linux arm64(Snapdragon: CPU、Adreno GPU、Hexagon NPU) - セットアップガイド