사전 출시 / 연속 빌드: 이것은 실험적 빌드이며 안정적인 릴리스가 아닙니다.
model : Kolibri-1 (Aleph-Alpha) 지원 추가 (#30673) * model : Kolibri-1 (Aleph-Alpha) 지원 추가 Kolibri-1은 78B 파라미터와 토큰당 3.46B 활성화를 갖는 독일어/영어 이중 언어 MoE 추론 모델입니다: 50개 레이어, 384개 라우팅 전문가 plus 하나의 공유 전문가. 어텐션은 하나의 풀 레이어와 함께 513 윈도우의 네 개 슬라이딩 레이어를 인터리브합니다. 슬라이딩 레이어는 NeoX RoPE로 회전하며, 풀 레이어는 NoPE입니다. GQA는 head_dim 128에서 QK-RMSNorm과 함께 48개 쿼리 헤드를 4개 KV 헤드에 대해 실행하고, 모든 블록은 네 개의 RMSNorm을 포함하므로 어텐션과 MLP 출력이 잔차 스트림에 다시 합류하기 전에 정규화됩니다. 라우팅은 logits + expert_bias로부터 전문가를 선택하고 renorm 없이 편향되지 않은 logits의 sigmoid로 가중치를 부여합니다. 컨버터는 전문가별 체크포인트 레이아웃과 전문가 선택 바이어스에 대해 AfmoeModel을 재사용하고, 공유 전문가 및 레이어별 슬라이딩 윈도우 패턴을 작성합니다. 공개된 FP8 체크포인트는 특별한 코드가 필요 없으며, 일반적인 weight_scale_inv 경로를 통과합니다. 세 개의 텐서 이름이 매핑에 추가되고(post_attn_norm, post_ffn_norm, moe.router.expert_bias), 128k 어휘가 qwen2 사전 토크나이저를 해시로 등록합니다. 이 아키텍처는 GQA와 슬라이딩 윈도우 패턴과 함께 test-llama-archs에 등록됩니다. Assisted-by: DeepSeek Harness (DeepSeek V4.1 Flash) * Update src/models/kolibri1.cpp Co-authored-by: Sigbjørn Skjæret * Add fusion records for kolibri1 * Update src/models/kolibri1.cpp Co-authored-by: Sigbjørn Skjæret --------- Co-authored-by: Sigbjørn Skjæret웹사이트: - https://llama.app
증명(Attestations): - https://github.com/ggml-org/llama.cpp/attestations/56945604
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 활성화) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 라이브러리 - Ubuntu x64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 라이브러리 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 설정 가이드
Windows: - Windows x64 (CPU)용 - Windows arm64 (CPU)용 - Windows arm64 (OpenCL Adreno)용 - Windows x64 (CUDA 12)용 - CUDA 12.4 DLL 파일 - Windows x64 (CUDA 13)용 - CUDA 13.4 DLL 파일 - Windows arm64 (CUDA 13)용 - CUDA 13.4 DLL 파일 - Windows x64 (Vulkan)용 - Windows arm64 (Vulkan)용 - Windows x64 (OpenVINO)용 - Windows x64 (SYCL)용 - Windows x64 (ROCm 10.0)용
openEuler: - DISABLED - openEuler x86 (310p) 환경 - openEuler x86 (910b, ACL Graph) 환경 - openEuler aarch64 (310p) 환경 - openEuler aarch64 (910b, ACL Graph) 환경
UI: - UI