사전 출시 / 지속 빌드: 안정적인 릴리스가 아닌 실험적 빌드입니다.
log, server: self contained colors, split child commands from logs in router mode (#29895) * log, server: 라우터 자식 라인이 자체 색상을 갖도록 수정 로거가 색상 리셋을 후행 개행 문자 뒤에 쓰기 때문에 리셋이 다음 줄을 시작합니다. 라우터 자식의 공유 파이프에서는 이 리셋이 다음 상태 명령 앞에 놓이게 되어 라우터가 해당 명령을 놓치고, 이를 우회하던 줄바꿈은 모든 진행 상황 업데이트마다 빈 로그 줄로 나타납니다. 이제 리셋이 후행 개행 문자들 앞에 오도록 하여 모든 줄이 자체 완결되고 명령이 다시 평범한 프레임으로 돌아갑니다. 라우터는 자신의 유효 색상 설정을 자식들에게 전달하며(그 출력은 라우터의 터미널에 표시됨), 리로드 시 프리셋을 비교할 때는 이 옵션을 제외합니다. * log: Windows 콘솔에서 ANSI 색상 활성화 Windows 콘솔은 가상 터미널 모드에서만 ANSI 시퀀스를 렌더링하는데, 로거를 위해 이를 켜는 곳이 없으므로 llama-server는 Windows 10 콘솔에서 원시 이스케이프 코드를 출력하는 반면, 콘솔 코드가 이를 활성화하는 llama-cli는 색상을 표시합니다. 이제 로거는 색상을 켤 때 stdout과 stderr에서 가상 터미널 모드를 활성화하고, 콘솔이 이를 렌더링할 수 없으면 색상을 끕니다. 파이프와 파일은 시퀀스를 그대로 받습니다. * server: 라우터 자식 명령을 로그와 분리 자식이 상태 명령을 로그와 동일한 파이프로 보냈기 때문에 라우터는 줄 접두어로 로그 스트림에서 명령을 골라내야 했고, 명령 앞의 미완료 쓰기가 있으면 라우터가 그 명령을 놓쳤습니다. 이것은 stdout과 stderr 분할을 요구하던 spawn 지점의 TODO를 해결합니다. 이제 자식은 stdout을 명령용으로 유지하고 stdout에 쓰이던 나머지 모든 출력을 stderr로 향하게 하며, 이는 어떤 쓰기도 일어나기 전에 수행됩니다. 라우터는 두 파이프를 모두 읽고, stdout에서 오는 명령을 처리하며, stderr를 로그로 전달하고, 명령 파이프의 다른 줄에 대해 경고합니다. * server: ngxson의 리뷰 반영 단일 server_child가 이제 진입점에서 먼저 생성되고, 그 생성자가 stdout을 명령용으로 유지합니다. 따라서 스트림은 정적 멤버가 아닌 인스턴스의 멤버가 되었고 init()은 제거되었습니다. 인스턴스는 서버로 전달되며, CLI 진입점은 자체 인스턴스를 생성합니다. * Update tools/server/server.cpp --------- Co-authored-by: Xuan-Son Nguyen웹사이트: - https://llama.app
증명(Attestations): - https://github.com/ggml-org/llama.cpp/attestations/52670797
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 활성화) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 라이브러리 - Ubuntu x64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Windows(윈도우): - Windows x64(CPU)용 - Windows arm64(CPU)용 - Windows arm64(OpenCL Adreno)용 - Windows x64(CUDA 12)용 - CUDA 12.4 DLL 파일 - Windows x64(CUDA 13)용 - CUDA 13.4 DLL 파일 - Windows arm64(CUDA 13)용 - CUDA 13.4 DLL 파일 - Windows x64(Vulkan)용 - Windows arm64(Vulkan)용 - Windows x64(OpenVINO)용 - Windows x64(SYCL)용 - Windows x64(ROCm 10.0)용
openEuler: - DISABLED - openEuler x86 (310p) 환경 - openEuler x86 (910b, ACL Graph) 환경 - openEuler aarch64 (310p) 환경 - openEuler aarch64 (910b, ACL Graph) 환경
UI: - UI