사전 출시 / 지속 빌드: 이것은 실험적 빌드이며 안정 릴리스가 아닙니다.
metal : 잔여값이 그 자체로 MUL_MAT일 때 MUL_MAT+ADD 융합 수정 (#30100) * metal : 잔여값이 그 자체로 MUL_MAT일 때 MUL_MAT+ADD 융합 수정 ggml_metal_op_mul_mat_mma는 융합된 MUL_MAT+ADD의 잔여값을 "op가 MUL_MAT이 아닌 ADD 피연산자"로 선택합니다. ADD의 두 피연산자가 모두 행렬곱 출력일 때(x = W1 @ u + W2 @ v), 이 검사는 양쪽 모두에서 참이 되므로 잔여값이 융합된 행렬곱 자신의, 한 번도 쓰이지 않은 출력으로 해석되고 커널은 해당 버퍼에 들어 있는 무엇이든 더하게 됩니다. 융합 검사(ggml_metal_mul_mat_add_operand)는 이미 식별자 기준으로 피연산자를 선택합니다. 인코더도 동일하게 수행하도록 합니다. Clef 결정 모델이 head에서 이 문제에 걸렸습니다(proj_option_context @ ctx + proj_option_lexical @ lex, 9개 option 행): Metal에서 /v1/systemone 확률이 균등 분포 쪽으로 무너집니다(CPU 백엔드는 0.977을 주는 반면 billing은 0.28, Cloudflare_clef-flash Q8_0), 메모리 레이아웃에 따라 결정론적이며, GGML_METAL_FUSION_DISABLE=1로는 정확합니다. 양자화 문제가 아닙니다: 같은 파일이 CPU에서는 정확합니다. 잔여값이 두 번째 행렬곱인 MUL_MAT_ADD 모드를 test-backend-ops에 추가합니다. 이 변경 전에 Metal에서 28개 사례 중 27개가 실패합니다 (통과하는 하나는 f16 n=2로, MMA 행 임계값 미만이어서 아무것도 융합되지 않습니다). * Update tests/test-backend-ops.cpp Co-authored-by: Georgi Gerganov --------- Co-authored-by: Georgi Gerganov웹사이트: - https://llama.app
증명(attestations): - https://github.com/ggml-org/llama.cpp/attestations/53594480
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 활성화) 비활성화됨 - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 라이브러리 - Ubuntu x64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
윈도우(Windows): - Windows x64(CPU) 빌드 - Windows arm64(CPU) 빌드 - Windows arm64(OpenCL Adreno) 빌드 - Windows x64(CUDA 12) 빌드 - CUDA 12.4 DLL들 - Windows x64(CUDA 13) 빌드 - CUDA 13.4 DLL들 - Windows arm64(CUDA 13) 빌드 - CUDA 13.4 DLL들 - Windows x64(Vulkan) 빌드 - Windows arm64(Vulkan) 빌드 - Windows x64(OpenVINO) 빌드 - Windows x64(SYCL) 빌드 - Windows x64(ROCm 10.0) 빌드
openEuler: - DISABLED - openEuler x86 (310p) 대상 - openEuler x86 (910b, ACL Graph) 대상 - openEuler aarch64 (310p) 대상 - openEuler aarch64 (910b, ACL Graph) 대상
UI: - UI