llama.cpp Releases2026-10-15 08:32 UTC+8更新日 2026-10-16 10:56 UTC+8

[プレリリース / 継続的ビルド] b11630

[プレリリース / 継続的ビルド] ggml: バッチ入力に対する conv_1d の結果レイアウトを修正 (#28738) * ggml: バッチ入力に対する conv_1d の結果レイアウトを修正 conv_1d の背後にあるGEMMはバッチを行方向に折り込むため、その積はメモリ上では [OL, N, OC] の順で配置されますが、reshape は [OL, OC, N]…

プレリリース / 継続的ビルド: これは実験的なビルドであり、安定版リリースではありません。

ggml: バッチ入力に対する conv_1d の結果レイアウトを修正 (#28738) * ggml: バッチ入力に対する conv_1d の結果レイアウトを修正 conv_1d の背後にあるGEMMはバッチを行方向に折り込むため、その積はメモリ上では [OL, N, OC] の順で配置されますが、reshape は [OL, OC, N] を主張しています。形状は正しく、内容が転置されているため、何も検出されません: アサートも異常終了もなく、グラフはそのまま実行され、チャンネルがバッチとインターリーブされて出力されます。N == 1 の場合は両者の解釈は同じバッファを指すため、ツリー内の3つのボコーダーがこれに一度も遭遇しなかったのはそのためです。いずれも呼び出し直後に 2d へのsqueezeを行っています。実際のレイアウトにreshapeし、OC と N を元の順にpermuteします。N == 1 のパスは従来どおり直接 reshape を維持するため、現在の呼び出し元は同じグラフを構築し、余分なコピーのコストも負いません。 tests/test-conv-1d.cpp は、1回のバッチ化畳み込みを、同じ重みと同じ入力スライスから構築した N 個の単一バッチ畳み込みと比較します。7つの形状のうち5つはこの変更前は失敗し、変更後は7つすべてが合格します。N == 1 および OC == 1 はどちらでも合格します。一方の次元が 1 の場合、2つの次元を入れ替えても変化はないためです。バッチ化パスは、複数の合成レーンが単一のグラフを共有する下流のオーディオプロジェクトにとって重要です。今日のところ mtmd はボコーダーをバッチ化していません。それぞれが1つのフローをストリーミングし、呼び出し間で左コンテキストを保持していますが、レーン次元を導入するプロジェクトが現れた場合に備え、このopは正しく動作するようになりました。 * ggml: すべてのバッチサイズに対して同一の conv_1d グラフを構築する ggerganov によるレビュー指摘に対応: ggml_conv_1d の N == 1 分岐を削除。 GEMMの結果は常に [OC, N, OL] にreshapeされ、ggml_conv_2d と同様にpermuteして戻されるため、すべてのバッチサイズで同一のグラフが構築されます。N == 1 の場合、これは既に整列済みのテンソルに対する cont を1つ追加します。

ウェブサイト: - https://llama.app

Attestations: - https://github.com/ggml-org/llama.cpp/attestations/56061987

macOS と iOS: - macOS Apple Silicon（arm64）向け - macOS Apple Silicon（arm64、KleidiAI を有効化）無効 - macOS Intel（x64）向け - iOS 向け XCFramework

Linux: - Ubuntu x64(CPU) - Ubuntu arm64(CPU) - Ubuntu s390x(CPU) - Ubuntu x64(Vulkan) - Ubuntu arm64(Vulkan) - Ubuntu x64(CUDA 12) - CUDA 12.8 ライブラリ - Ubuntu x64(CUDA 13) - CUDA 13.4 ライブラリ - Ubuntu arm64(CUDA 13) - CUDA 13.4 ライブラリ - Ubuntu x64(ROCm 10.0) - Ubuntu x64(OpenVINO) - Ubuntu x64(SYCL FP32) - Ubuntu x64(SYCL FP16) - Linux arm64(Snapdragon: CPU、Adreno GPU、Hexagon NPU) - セットアップガイド