사전 출시 / 지속 빌드: 실험적 빌드이며 안정적인 릴리스가 아닙니다.
sycl: IQ3 코드 재정렬 (#29107) * sycl: SYCL 디코드 및 프리필을 위한 persistent IQ3_S/IQ3_XXS 가중치 재정렬 IQ3_S와 IQ3_XXS에 대한 persistent 재정렬된 가중치 레이아웃을 추가합니다. 가중치는 로드 시점에 한 번 재정렬되며, 재정렬된 MMVQ 점곱은 인터리브된 표준 레이아웃에서 비트를 수집하는 대신 dp4a와 SWAR 부호 확장을 사용해 밀집된 슈퍼 블록을 순회합니다. 재정렬을 인식하는 역양자화가 배치 프리필 GEMM에 공급되어 프롬프트 처리도 동일한 이점을 얻습니다. 또한 oneDNN 빌드 검사를 강화했습니다: DNNL 패키지가 없거나 CPU 전용 DNNL 빌드인 경우 이제 조용히 성능이 저하된 백엔드를 생성하는 대신 구성 시점에 실패합니다. Qwen3.8-27B-GSQ-RCO-IQ3_S (MTP), -ngl 999 -b 4096 -ub 1024 -fa on 조건으로 Intel Arc Pro B70에서 측정한 결과: tg256 @ 0 ctx 12.92 -> 23.54 tok/s (+82%) tg256 @ 9,216 12.33 -> 21.69 tok/s (+76%) tg256 @ 64,000 9.76 -> 14.91 tok/s (+53%) pp8192 833.9 -> 833.6 tok/s (변화 없음) Qwen3.5-9B Q4_K_M / Q3_K_M은 노이즈 범위 내에서 변화가 없으며(최대 변화 -0.5% pp, tg 변화 없음), 표준 양자화는 영향을 받지 않습니다. MMVQ GLU 융합 확장 및 rms_norm+scale 융합은 의도적으로 이 변경에 포함되지 않았으며, 마스터에는 이미 #28931을 통해 반영되어 있습니다. * 리뷰 요청에 따라 wait 제거 * sycl : fusion.cpp 줄바꿈 수정웹사이트: - https://llama.app
증명(Attestations): - https://github.com/ggml-org/llama.cpp/attestations/56116978
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 활성화) 비활성화됨 - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 라이브러리 - Ubuntu x64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
윈도우(Windows): - Windows x64(CPU)용 - Windows arm64(CPU)용 - Windows arm64(OpenCL Adreno)용 - Windows x64(CUDA 12)용 - CUDA 12.4 DLL 파일 - Windows x64(CUDA 13)용 - CUDA 13.4 DLL 파일 - Windows arm64(CUDA 13)용 - CUDA 13.4 DLL 파일 - Windows x64(Vulkan)용 - Windows arm64(Vulkan)용 - Windows x64(OpenVINO)용 - Windows x64(SYCL)용 - Windows x64(ROCm 10.0)용
openEuler: - DISABLED - openEuler x86 (310p) 지원 - openEuler x86 (910b, ACL Graph) 지원 - openEuler aarch64 (310p) 지원 - openEuler aarch64 (910b, ACL Graph) 지원
UI: - UI