사전 릴리스 / 연속 빌드: 실험적 빌드이며 안정 릴리스가 아닙니다.
hexagon: tensor repacking 재작업 및 tiled/flat 양자화 및 fp 가중치 지원 (#30635) * hex-repack: need_repack 핵 제거 및 규칙 간소화 -- K-Quants의 GET_ROWS 테스트가 깨지며, 다음 라운드에서 수정 예정 tiled Q5_K를 사용하는 GET_ROWS 지원 추가 raw k-quant 텐서 지원 추가 * hex-get-rows: raw k-quant ukernel 벡터화 * hex-binary: dma-loop 스레드 함수 리팩터링 (매크로 등 불필요) * hex-quant: flat 및 tiled dequant ukernel 이동/정리 * hex-repack: F16/F32/BF16 2D 가중치의 repacking/tiling 지원 추가 * hex-get-rows: 중복 cast 제거 * hex-repack: 테스트 중 누출되던 BF16에 대한 올바른 필터링 * hex-repack: tiling 규칙 간소화 (현재 MM은 깨져 있음) * hex-repack: tiling 업데이트 후 mmid 수정 * hex-repack: 모든 flags/funcs/kernels/vars에서 repacked를 tiled로 이름 변경 * hex-mm: 여러 커널에서 valid_rows 계산 수정 * hex-mm: 미사용 hvx_mm_nx_2d_flat 제거 * hex-mm: hvx-tiled vec_dot_f16 정리 및 최적화 * hex-mm: hvx-tiled f16 matmul 추가 작업 * hex-get-rows: small src1 최적화 * hex-get-rows: get-rows 성능 회복을 위한 추가 작업 * hex-repack: run.py를 통해 GGML_HEXAGON_RT_REPACK 내보내기 * hex-mm-tiled: hmx-tiled-f16 matmul의 정확도 회귀 수정 * hex-mm: tiled_f16 검사를 일반 흐름에 통합 * hex-get-rows: supports_op 중 buffer_is_hexagon 및 tiling에 대한 죽은 검사 제거 * hex-quant: 새 dequant ukernel에서 올바른 tail 처리 * hex-get-rows: 미사용 코드 제거 및 지원 검사 정리 * hex-mm: ne1 padding/tiling 검사 정리 * hex-mm: tiled 텐서에 대한 fusion 검사 정리 * hex-repack: 중복을 줄이기 위한 간단한 can_repack 헬퍼 추가 * hex-repack: 호스트 버퍼는 절대 repack하지 않음 * hex-repack: repack 함수를 별도의 .h 및 .cpp로 분리 * hex-tensor: tiled/padded 크기를 위한 tensor 인터페이스 정리 * hex-repack: k-quant tiling 주석 업데이트 및 #defines 정리 * hex-dcache: l2/dcache dirty tracking 및 flushing 분리 * hex-tensor: 문서 업데이트 및 #defs 중복 제거 * hex-tensor: 미사용/잘못된 get_data 인터페이스 제거 * hex-get-rows: vtcm layout 빌드 정리 * tests: huge MM 테스트 비활성화 * hex-dcache: 누락된 헤더 추가웹사이트: - https://llama.app
증명(Attestations): - https://github.com/ggml-org/llama.cpp/attestations/56541220
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 활성화) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 라이브러리 - Ubuntu x64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Windows(윈도우): - Windows x64(CPU)용 - Windows arm64(CPU)용 - Windows arm64(OpenCL Adreno)용 - Windows x64(CUDA 12)용 - CUDA 12.4 DLL - Windows x64(CUDA 13)용 - CUDA 13.4 DLL - Windows arm64(CUDA 13)용 - CUDA 13.4 DLL - Windows x64(Vulkan)용 - Windows arm64(Vulkan)용 - Windows x64(OpenVINO)용 - Windows x64(SYCL)용 - Windows x64(ROCm 10.0)용
openEuler: - 비활성화됨 - openEuler x86 (310p) 구성 - openEuler x86 (910b, ACL Graph) 구성 - openEuler aarch64 (310p) 구성 - openEuler aarch64 (910b, ACL Graph) 구성
UI: - UI