llama.cpp Releases2026-10-15 15:30 UTC+8更新日 2026-10-17 13:21 UTC+8

[Pre-release / 継続的ビルド] b11642

[Pre-release / 継続的ビルド] server: 復元可能なスロット状態のみをプロンプトキャッシュに保存する (#30498) * server: 復元可能なスロット状態のみをプロンプトキャッシュに保存する…

Pre-release / 継続的ビルド: これは実験的なビルドであり、安定版リリースではありません。

server: 復元可能なスロット状態のみをプロンプトキャッシュに保存する (#30498) * server: 復元可能なスロット状態のみをプロンプトキャッシュに保存するアイドルスロットの保存ループは、タスクが開始されるたびにすべてのアイドルスロットを保存しますが、プロンプトキャッシュから復元するのはcompletionタスクのみです。Rerank、 embedding、decision、infillの状態は、一度も読み戻されることなくキャッシュの上限までキャッシュを埋め、すでにキャッシュ済みのスロットはタスクが開始されるたびに再度提供されます。各スロットは現在、cache_pendingによって自身の状態が復元可能でありキャッシュに存在しないかどうかを追跡します: completionのリリースまたは明示的なスロット復元がこれをセットし、prompt_saveがこれを消費し、prompt_clearがこれをリセットします。両方の保存パスがこのルールを共有し、LRUパスはcompletionタスクに対してのみ復元を行います。 * server: decisionスロットがプロンプトキャッシュをスキップすることのテスト Decisionタスクは自身のスロットをキャッシュ可能としてマークしないため、統合KVキャッシュの有無にかかわらず、新しいタスクの開始時にアイドルスロットをRAMのプロンプトキャッシュに保存してはなりません。 * server: 再利用する任意のタスクをプロンプトキャッシュから復元する Embeddingタスクとrerankタスクは決して状態を再利用しないため、それらのスロットは子スロットと同様にリリース時にクリアされ、キャッシュには後続のタスクが復元できる状態のみが保持されます。Infillタスクとdecisionタスクも現在はキャッシュから復元を行い、これがcache_pendingフラグを置き換えます。 decisionモデルは、--cache-ram が指定されない限りプロンプトキャッシュを無効化します。その状態はほとんど繰り返されないためです。

ウェブサイト: - https://llama.app

Attestations(証明): - https://github.com/ggml-org/llama.cpp/attestations/56156929

macOS/iOS： - macOS Appleシリコン（arm64） - macOS Appleシリコン（arm64、KleidiAIが有効）ディセーブルド - macOS Intel（x64）版 - iOS XCFramework

Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 ライブラリ - Ubuntu x64 (CUDA 13) - CUDA 13.4 ライブラリ - Ubuntu arm64 (CUDA 13) - CUDA 13.4 ライブラリ - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU、Adreno GPU、Hexagon NPU) - セットアップガイド