llama.cpp Releases수정일

[Pre-release / continuous build] b11567

[Pre-release / continuous build] llama : 추론 중 컴퓨트 그래프 재할당 보고 (#30329) 그래프를 위해 예약된 버퍼가 충분하지 않아 다시 예약해야 할 때 알림을 받을 수 있도록, 사용자 코드가 ggml_backend_sched_set_realloc_callback으로 등록하는 선택적 ggml_backend_sched_realloc_callback을…

Pre-release / continuous build: 이는 실험적인 빌드이며 안정 릴리스가 아닙니다.

llama : 추론 중 컴퓨트 그래프 재할당 보고 (#30329) 그래프를 위해 예약된 버퍼가 충분하지 않아 다시 예약해야 할 때 알림을 받을 수 있도록, 사용자 코드가 ggml_backend_sched_set_realloc_callback으로 등록하는 선택적 ggml_backend_sched_realloc_callback을 추가합니다. 이 콜백은 이전 스케줄링 이후 백엔드 할당과 그래프 크기가 변경되었는지를 보고합니다. llama_context는 스케줄러를 생성할 때(새로운 llama_context::sched_new 헬퍼로 감싸짐) 콜백을 등록하고, 백엔드 할당 변경에 따른 재할당은 예상된 것으로 처리하며, 나머지는 그래프 크기 기준으로 - 이전에 스케줄된 그래프에서 불변 또는 변경됨 - 집계합니다. 두 카운터는 perf 통계에서 한 줄로 보고됩니다. Assisted-by: pi:llama.cpp/Qwen3.8-Flash-Next

Website: - https://llama.app

Attestations: - https://github.com/ggml-org/llama.cpp/attestations/55042647

macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 활성화됨) DISABLED - macOS Intel (x64) - iOS XCFramework

Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 라이브러리 - Ubuntu x64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드

Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드

윈도우(Windows): - Windows x64(CPU)용 - Windows arm64(CPU)용 - Windows arm64(OpenCL Adreno)용 - Windows x64(CUDA 12)용 - CUDA 12.4 DLL - Windows x64(CUDA 13)용 - CUDA 13.4 DLL - Windows arm64(CUDA 13)용 - CUDA 13.4 DLL - Windows x64(Vulkan)용 - Windows arm64(Vulkan)용 - Windows x64(OpenVINO)용 - Windows x64(SYCL)용 - Windows x64(ROCm 10.0)용

openEuler: - DISABLED - openEuler x86 (310p) - openEuler x86 (910b, ACL 그래프) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL 그래프)

UI: - UI

원문 출처

llama.cpp Releases

내용 안내

원문 발행 및 권리는 출처에 있습니다.

기계 번역 · 원문을 참고하세요