llama.cpp Releases更新日

[Pre-release / 継続的ビルド] b11567

[Pre-release / 継続的ビルド] llama : 推論中の計算グラフの再割り当てをレポート (#30329) ユーザーコードが ggml_backend_sched_set_realloc_callback に登録できるオプションの ggml_backend_sched_realloc_callback…

Pre-release / 継続的ビルド: これは実験的なビルドであり、安定版リリースではありません。

llama : 推論中の計算グラフの再割り当てをレポート (#30329) ユーザーコードが ggml_backend_sched_set_realloc_callback に登録できるオプションの ggml_backend_sched_realloc_callback を追加しました。これにより、グラフ用に予約されたバッファが不十分で 再予約が必要になった場合に通知を受け取れます。コールバックは、前回のスケジューリングから バックエンドの割り当てとグラフサイズが変化したかどうかをレポートします。 llama_context はスケジューラ作成時にこのコールバックを登録し(新しい llama_context::sched_new ヘルパーでラップ)、バックエンド割り当ての変更に続く再割り当てを 想定内として扱い、それ以外をグラフサイズ別にカウントします - 以前にスケジュールされた グラフから不変または変化。両方のカウンタは perf 統計内の1行でレポートされます。 Assisted-by: pi:llama.cpp/Qwen3.8-Flash-Next

ウェブサイト: - https://llama.app

Attestations: - https://github.com/ggml-org/llama.cpp/attestations/55042647

macOS/iOS の項目: - macOS Apple Silicon (arm64) 版 - macOS Apple Silicon (arm64、KleidiAI 有効) 版 無効(ディセーブル) - macOS Intel (x64) 版 - iOS XCFramework 版

Linux: - Ubuntu x64(CPU) - Ubuntu arm64(CPU) - Ubuntu s390x(CPU) - Ubuntu x64(Vulkan) - Ubuntu arm64(Vulkan) - Ubuntu x64(CUDA 12) - CUDA 12.8 ライブラリ - Ubuntu x64(CUDA 13) - CUDA 13.4 ライブラリ - Ubuntu arm64(CUDA 13) - CUDA 13.4 ライブラリ - Ubuntu x64(ROCm 10.0) - Ubuntu x64(OpenVINO) - Ubuntu x64(SYCL FP32) - Ubuntu x64(SYCL FP16) - Linux arm64(Snapdragon: CPU、Adreno GPU、Hexagon NPU) - セットアップガイド

Android: - Android arm64(CPU) - Android arm64(Snapdragon: CPU、Adreno GPU、Hexagon NPU) - セットアップガイド

Windows版: - Windows x64 (CPU) 向け - Windows arm64 (CPU) 向け - Windows arm64 (OpenCL Adreno) 向け - Windows x64 (CUDA 12) 向け - CUDA 12.4 DLL - Windows x64 (CUDA 13) 向け - CUDA 13.4 DLL - Windows arm64 (CUDA 13) 向け - CUDA 13.4 DLL - Windows x64 (Vulkan) 向け - Windows arm64 (Vulkan) 向け - Windows x64 (OpenVINO) 向け - Windows x64 (SYCL) 向け - Windows x64 (ROCm 10.0) 向け

openEuler: - DISABLED - openEuler x86 (310p) 向け - openEuler x86 (910b、ACL Graph) 向け - openEuler aarch64 (310p) 向け - openEuler aarch64 (910b、ACL Graph) 向け

UI: - UI

原文の出典

llama.cpp Releases

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください