사전 릴리스 / 연속 빌드: 이것은 실험적인 빌드이며 안정 릴리스가 아닙니다.
model : K2 Horizon dense 및 MoVA 지원 추가 (#29535) * model: K2 Horizon gguf 변환 코드 * model: k2-horizon.cpp에서 hparams 및 텐서 로딩 * model: K2 Horizon 연산 그래프 * model: K2 Horizon 연산 그래프 조정 및 토크나이저 등록 * model: K2 Horizon 채팅 템플릿 및 safetensors 명명 대응 * unicode : K2-Horizon 사전 토크나이저 분할기 추가 K2-Horizon 정규식은 unicode_regex_split_custom에 어떤 분기도 없어 일반 std::regex 폴백으로 넘어갔고, 이는 두 가지 방식으로 실패합니다. MSVC에서 std::regex는 \p{...}를 거부하므로 Windows에서는 K2-Horizon GGUF가 전혀 로드되지 않습니다: llama-quantize, llama-imatrix, llama-perplexity 모두 토큰이 생성되기 전에 regex_error(error_escape)로 중단됩니다. 폴백이 컴파일되는 경우에도 여전히 잘못되어 있습니다. unicode_regex_split은 매칭 전에 각 코드포인트를 자체 유니코드 범주 이름을 나타내는 단일 바이트로 축소하는데, U+200C/U+200D는 Control 범주이고 k_ucat_cpt에 해당 항목이 없어 둘 다 0xD0 폴백 바이트가 됩니다. 그러면 K2 정규식의 리터럴 및 대안은 결코 매칭될 수 없고 모든 ZWNJ 또는 ZWJ가 문자 실행을 끝냅니다. 이 분할기는 단일 규칙을 넓힌 기존 llama3 것입니다. K2의 정규식이 llama3와 다른 유일한 점은 문자 실행이 마크, ZWNJ 및 ZWJ도 함께 가져간다는 점이기 때문입니다. tests/test-unicode.cpp에 이에 대한 케이스가 추가되었습니다: 변경 전에는 [Amy] [ZWNJ khaham]으로 실패하고 변경 후에는 실행이 유지된 채 통과합니다. * tests: K2 Horizon 유니코드 분할기 커버리지 확장 * unicode: K2 Horizon 케이스 폴딩 및 빈 입력 처리 Assisted-by: Codex * jinja : selectattr 및 rejectattr에서 시퀀스 인덱스 지원 Assisted-by: Codex * model : K2 Horizon dense 및 MoVA 지원 추가 ifm-ai/llama.cpp의 K2 Horizon 구현을 컨버터, 텐서 병렬 및 모델 저장/재로드 수정과 함께 포함합니다. Assisted-by: Codex * chat : K2 Horizon 추론 및 도구 호출 지원 Assisted-by: Codex * conversion: 사용되지 않는 K2 Aurora 별칭 제거 Assisted-by: Codex * k2-horizon: 응답 스키마 강제 및 YaRN 베타 로드 추론 후 최종 JSON을 제약하고, 유연한 JSON 도구 봉투를 수락하며, XML 방언을 강제하고, 반복되거나 교차하는 사고 마커를 처리합니다. 기본값을 유지하는 대신 YaRN 베타 메타데이터를 로드합니다. 스키마, 스트리밍, 연속, 모델 재로드 회귀 테스트를 추가합니다. CUDA 및 CPU 빌드와 0.9B, 4B, MoVA 대화/도구 왕복을 검증합니다. Assisted-by: Codex * 템플릿 픽스처 이름 변경 * cisc 후속 사항 처리 * 파서 정리 / aldehir 의견 반영 * test-chat 정리 * 폴백 제거 : 모델이 주로 high로 학습됨 * k2 attn_v_exp tn 분할 및 metal fusion 기준선 수정 * k2-horizon : 합산 전에 expand 뷰를 전달 * k2-horizon: TP 수정을 위해 group norm 전에 embds 복사 * 텐서 병렬 처리 비활성화 --------- Co-authored-by: Ryandito Diandaru Co-authored-by: WestWaters Co-authored-by: Natani L. Mayday <71436458+TaskPuppyNatani@users.noreply.github.com> Co-authored-by: West <100190545+WestWaters@users.noreply.github.com> Co-authored-by: aaryamonvikram Co-authored-by: aaryamonvikram <96529820+aaryamonvikram@users.noreply.github.com>웹사이트: - https://llama.app
증명(Attestations): - https://github.com/ggml-org/llama.cpp/attestations/53326308
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 활성화) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 라이브러리 - Ubuntu x64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
윈도우(Windows): - 윈도우(Windows) x64(CPU) - 윈도우(Windows) arm64(CPU) - 윈도우(Windows) arm64(OpenCL Adreno) - 윈도우(Windows) x64(CUDA 12) - CUDA 12.4 DLL - 윈도우(Windows) x64(CUDA 13) - CUDA 13.4 DLL - 윈도우(Windows) arm64(CUDA 13) - CUDA 13.4 DLL - 윈도우(Windows) x64(Vulkan) - 윈도우(Windows) arm64(Vulkan) - 윈도우(Windows) x64(OpenVINO) - 윈도우(Windows) x64(SYCL) - 윈도우(Windows) x64(ROCm 10.0)
openEuler: - 비활성화됨 - openEuler x86 (310p) 환경 - openEuler x86 (910b, ACL Graph) 환경 - openEuler aarch64 (310p) 환경 - openEuler aarch64 (910b, ACL Graph) 환경
UI: - UI