사전 릴리스 / 연속 빌드: 실험적 빌드이며 안정 릴리스가 아닙니다.
graph: 풀링된 임베딩을 위한 LM head 건너뛰기 (#30445) * graph: 풀링된 임베딩을 위한 LM head 건너뛰기 풀링된 임베딩을 추출하는 컨텍스트는 시퀀스당 하나의 벡터를 출력하지만, 모든 모델은 여전히 LM head를 확장했으므로 그래프는 토큰당 n_vocab개의 logits를 계산했고 컨텍스트는 이를 위한 호스트 버퍼를 유지했습니다. 이제 모델은 t_logits만 선언하며, 컨텍스트가 NONE이 아닌 pooling 타입으로 임베딩을 추출하지 않는 한 set_outputs()가 이를 확장합니다. 이 토글이 풀링된 컨텍스트의 그래프 형태를 변경하므로, set_embeddings()는 해당 경우 재예약(re-reserve)을 예약합니다. * graph: 중복된 t_embd 확장 제거 @CISC의 리뷰 반영: embeddings가 켜져 있으면 build_pooling()이 이미 모든 pooling 타입에 대해 출력을 확장하고, embeddings가 없는 디코더 그래프는 t_embd를 읽지 않으므로 set_outputs()는 t_logits만 확장합니다. * graph: LM head 출력을 위한 build_logits() 추가 @ggerganov의 리뷰 반영: LM head는 전용 build_logits()에 의해 확장되며, build_pooling()과 마찬가지로 llama_model::build_graph()에서 호출되고 set_outputs()는 출력만 다시 표시합니다. * graph: build_sampling() 전에 build_logits() 호출 @ggerganov의 리뷰 반영: build_sampling()은 t_logits를 읽으므로 LM head가 먼저 빌드됩니다. 풀링된 컨텍스트는 샘플링할 logits가 없으므로 샘플링 레이어도 건너뜁니다. * nit웹사이트: - https://llama.app
증명서(Attestations): - https://github.com/ggml-org/llama.cpp/attestations/55574302
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 활성화) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 라이브러리 - Ubuntu x64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Windows용: - Windows x64(CPU)용 - Windows arm64(CPU)용 - Windows arm64(OpenCL Adreno)용 - Windows x64(CUDA 12)용 - CUDA 12.4 DLL 파일 - Windows x64(CUDA 13)용 - CUDA 13.4 DLL 파일 - Windows arm64(CUDA 13)용 - CUDA 13.4 DLL 파일 - Windows x64(Vulkan)용 - Windows arm64(Vulkan)용 - Windows x64(OpenVINO)용 - Windows x64(SYCL)용 - Windows x64(ROCm 10.0)용
openEuler: - 비활성화됨 - openEuler x86 아키텍처(310p) - openEuler x86 아키텍처(910b, ACL Graph) - openEuler aarch64 아키텍처(310p) - openEuler aarch64 아키텍처(910b, ACL Graph)
UI: - UI