사전 릴리스 / 연속 빌드: 이것은 실험적인 빌드이며 안정 릴리스가 아닙니다.
ggml: 배치 입력에 대한 conv_1d 결과 레이아웃 수정 (#28738) * ggml: 배치 입력에 대한 conv_1d 결과 레이아웃 수정 conv_1d 뒤의 GEMM은 배치를 행에 접어 넣기 때문에, 곱의 결과가 [OL, N, OC]로 메모리에 놓이는 반면 reshape는 [OL, OC, N]을 가정합니다. 형상은 맞고 내용이 전치되어 있으므로 아무것도 발동하지 않습니다: assert도 없고, abort도 없으며, 그래프는 그냥 실행되고 채널이 배치와 인터리빙되어 나옵니다. N == 1일 때는 두 해석이 같은 버퍼를 기술하므로, 트리 안의 세 보코더는 이 문제를 결코 겪지 않습니다. 이들은 모두 호출 직후 2d로 squeeze합니다. 실제 레이아웃으로 reshape하고 OC와 N을 다시 permute합니다. N == 1 경로는 직접 reshape을 유지하므로, 현재 호출자들은 같은 그래프를 만들고 추가 복사 비용을 지불하지 않습니다. tests/test-conv-1d.cpp는 하나의 배치 컨볼루션을, 같은 가중치와 같은 입력 슬라이스로 만든 N개의 단일 배치 컨볼루션과 비교합니다. 일곱 가지 지오메트리 중 다섯 가지는 이 변경 전에 실패하고, 변경 후에는 일곱 가지 모두 통과합니다. N == 1과 OC == 1은 어느 쪽이든 통과하는데, 차원 중 하나가 1일 때 두 차원을 바꿔도 아무 변화가 없기 때문입니다. 배치 경로는 여러 합성 레인이 단일 그래프를 공유하는 다운스트림 오디오 프로젝트에 중요합니다. 현재 mtmd에서는 보코더를 배치하는 곳이 없고, 각 보코더는 하나의 흐름을 스트리밍하며 호출 사이에 자신의 왼쪽 컨텍스트를 유지하지만, 어느 하나가 레인 차원을 갖게 된다면 이제 이 연산은 올바릅니다. * ggml: 모든 배치 크기에 대해 동일한 conv_1d 그래프 빌드 ggerganov의 리뷰 반영: ggml_conv_1d의 N == 1 분기를 제거합니다. GEMM 결과는 항상 [OC, N, OL]로 reshape된 후 ggml_conv_2d와 마찬가지로 다시 permute되므로, 모든 배치 크기가 같은 그래프를 빌드합니다. N == 1의 경우 이것은 이미 정렬된 텐서에 cont를 추가합니다.웹사이트: - https://llama.app
증명(Attestations): - https://github.com/ggml-org/llama.cpp/attestations/56061987
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 활성화) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 라이브러리 - Ubuntu x64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Windows: - Windows x64(CPU) 버전 - Windows arm64(CPU) 버전 - Windows arm64(OpenCL Adreno) 버전 - Windows x64(CUDA 12) 버전 - CUDA 12.4 DLL 파일 - Windows x64(CUDA 13) 버전 - CUDA 13.4 DLL 파일 - Windows arm64(CUDA 13) 버전 - CUDA 13.4 DLL 파일 - Windows x64(Vulkan) 버전 - Windows arm64(Vulkan) 버전 - Windows x64(OpenVINO) 버전 - Windows x64(SYCL) 버전 - Windows x64(ROCm 10.0) 버전
openEuler: - DISABLED - openEuler x86 (310p) 환경 - openEuler x86 (910b, ACL Graph) 환경 - openEuler aarch64 (310p) 환경 - openEuler aarch64 (910b, ACL Graph) 환경
UI: - UI