Pre-release / continuous build: これは実験的ビルドであり、安定版リリースではありません。
metal : MUL_MAT+ADD融合を修正、残余自体がMUL_MATの場合 (#30100) * metal : MUL_MAT+ADD融合を修正、残余自体がMUL_MATの場合 ggml_metal_op_mul_mat_mmaは、融合されたMUL_MAT+ADDの残余を 「opがMUL_MATでないADDオペランド」として選択します。ADDの両オペランドが 行列乗算の出力である場合 (x = W1 @ u + W2 @ v)、このテストは両方に対して 真となるため、残余は融合された行列乗算自身の、一度も書き込まれていない 出力に解決され、カーネルはそのバッファが保持する内容を何でも加算して しまいます。 融合チェック (ggml_metal_mul_mat_add_operand) はすでに同一性によって オペランドを選択しているので、エンコーダにも同じことをさせます。 Clef決定モデルはそのヘッド (proj_option_context @ ctx + proj_option_lexical @ lex、9オプション行) でこれに遭遇しました: Metal上では /v1/systemone の確率が一様分布に崩壊し (CPUバックエンドでは0.977に対し billing 0.28、Cloudflare_clef-flash Q8_0)、メモリレイアウトごとに決定論的で、 GGML_METAL_FUSION_DISABLE=1 では正しくなります。量子化の問題ではありません: 同じファイルはCPU上では正しい結果を出します。 残余が第2の行列乗算である MUL_MAT_ADD モードを test-backend-ops に追加しました; この変更前はMetalで28ケース中27ケースが失敗します (通る1ケースは f16 n=2で、MMA行のしきい値未満のため何も融合しません)。 * Update tests/test-backend-ops.cpp Co-authored-by: Georgi Gerganov --------- Co-authored-by: Georgi Gerganovウェブサイト: - https://llama.app
Attestations: - https://github.com/ggml-org/llama.cpp/attestations/53594480
macOS/iOS プラットフォーム: - macOS Apple Silicon (arm64) ビルド - macOS Apple Silicon (arm64、KleidiAIが有効) 無効になっています - macOS Intel (x64) ビルド - iOS向けのXCFramework
Linux: - Ubuntu x64（CPU） - Ubuntu arm64（CPU） - Ubuntu s390x（CPU） - Ubuntu x64（Vulkan） - Ubuntu arm64（Vulkan） - Ubuntu x64（CUDA 12） - CUDA 12.8 ライブラリ - Ubuntu x64（CUDA 13） - CUDA 13.4 ライブラリ - Ubuntu arm64（CUDA 13） - CUDA 13.4 ライブラリ - Ubuntu x64（ROCm 10.0） - Ubuntu x64（OpenVINO） - Ubuntu x64（SYCL FP32） - Ubuntu x64（SYCL FP16） - Linux arm64（Snapdragon: CPU、Adreno GPU、Hexagon NPU） - セットアップガイド
Android: - Android arm64（CPU） - Android arm64（Snapdragon: CPU、Adreno GPU、Hexagon NPU） - セットアップガイド
Windows版： - Windows x64版（CPU） - Windows arm64版（CPU） - Windows arm64版（OpenCL Adreno） - Windows x64版（CUDA 12） - CUDA 12.4 DLLファイル - Windows x64版（CUDA 13） - CUDA 13.4 DLLファイル - Windows arm64版（CUDA 13） - CUDA 13.4 DLLファイル - Windows x64版（Vulkan） - Windows arm64版（Vulkan） - Windows x64版（OpenVINO） - Windows x64版（SYCL） - Windows x64版（ROCm 10.0）
openEuler: - DISABLED - openEuler x86（310p 向け） - openEuler x86（910b、ACL Graph 向け） - openEuler aarch64（310p 向け） - openEuler aarch64（910b、ACL Graph 向け）
UI: - UI