プレリリース / 継続的ビルド: これは実験的なビルドであり、安定版リリースではありません。
llama: 共有シーケンスにおける k-pool scatter のデータ競合を修正 (#29994) * llama: 各共有 k-pool rep を一度だけ再プールするようにした セルが共有されている場合、すべてのプールが再プールされます。プールされたキー は常に scatter されるため、seq_cp がシーケンス間で共有しているプールは、 複数の scatter エントリから同じ rep 行を書き込み、 CPU バックエンドでデータ競合が発生していました。各 rep を一度だけマークするようにしました: 共有しているシーケンスは pool_cells を通じて 同じ行を読みます。 * llama: ハイブリッド idx メモリにおいて seq_cp がシーケンス全体を対象とすることをアサート 再帰状態は範囲にかかわらず常に全体がコピーされます。また、 部分コピーで共有された k-pool セルは、単一のプール済み行に対して 2 つのプールグルーピングを持ち得ます。すべての呼び出し元がシーケンス全体をコピーするため、 これをサポートする代わりに部分範囲を拒否します。 * llama: k-pool の cache_safe モードを削除 seq_cp がシーケンス全体を対象とするため、セルを共有するシーケンスはプールも共有します。 したがって、共有 rep のプール済み行はそれらすべてに対して有効です。セルが共有されている間に すべてを再プールする代わりに、各 ubatch で 各 rep を一度だけマークするようにしました。これにより、共有スキャンおよび seq_rm、state_read、state_drop の stale-all 対策が不要になります。 seq_cp は現在、 宛先のみを stale にします。ウェブサイト: - https://llama.app
Attestations: - https://github.com/ggml-org/llama.cpp/attestations/53070668
macOS および iOS: - macOS の Apple Silicon (arm64) - macOS Apple Silicon (arm64、KleidiAI を有効化) 無効になっている - macOS の Intel (x64) - iOS の XCFramework
Linux: - Ubuntu x64（CPU） - Ubuntu arm64（CPU） - Ubuntu s390x（CPU） - Ubuntu x64（Vulkan） - Ubuntu arm64（Vulkan） - Ubuntu x64（CUDA 12） - CUDA 12.8 ライブラリ - Ubuntu x64（CUDA 13） - CUDA 13.4 ライブラリ - Ubuntu arm64（CUDA 13） - CUDA 13.4 ライブラリ - Ubuntu x64（ROCm 10.0） - Ubuntu x64（OpenVINO） - Ubuntu x64（SYCL FP32） - Ubuntu x64（SYCL FP16） - Linux arm64（Snapdragon: CPU、Adreno GPU、Hexagon NPU） - セットアップガイド
Android: - Android arm64（CPU） - Android arm64（Snapdragon: CPU、Adreno GPU、Hexagon NPU） - セットアップガイド
Windows版: - Windows x64 (CPU)版 - Windows arm64 (CPU)版 - Windows arm64 (OpenCL Adreno)版 - Windows x64 (CUDA 12)版 - CUDA 12.4 DLLファイル - Windows x64 (CUDA 13)版 - CUDA 13.4 DLLファイル - Windows arm64 (CUDA 13)版 - CUDA 13.4 DLLファイル - Windows x64 (Vulkan)版 - Windows arm64 (Vulkan)版 - Windows x64 (OpenVINO)版 - Windows x64 (SYCL)版 - Windows x64 (ROCm 10.0)版
openEuler: - DISABLED - openEuler x86 向け(310p) - openEuler x86 向け(910b、ACL Graph) - openEuler aarch64 向け(310p) - openEuler aarch64 向け(910b、ACL Graph)
UI: - UI