Pré-version / build continu : il s'agit d'un build expérimental, pas d'une version stable.
model : ajout de la prise en charge de Kolibri-1 (Aleph-Alpha) (#30673) * model : ajout de la prise en charge de Kolibri-1 (Aleph-Alpha) Kolibri-1 est un modèle de raisonnement MoE bilingue allemand/anglais avec 78B de paramètres et 3.46B actifs par token : 50 couches, 384 experts routés plus un expert partagé. L'attention entrelace quatre couches glissantes avec une fenêtre de 513 et une couche complète. Les couches glissantes effectuent une rotation avec le RoPE NeoX, les couches complètes sont en NoPE. Le GQA fait tourner 48 têtes de requête contre 4 têtes KV avec un head_dim de 128 et un QK-RMSNorm, et chaque bloc porte quatre RMSNorm, de sorte que la sortie de l'attention et du MLP sont normalisées avant de rejoindre le flux résiduel. Le routage sélectionne les experts à partir de logits + expert_bias et les pondère avec le sigmoid des logits non biaisés, sans renorm. Le convertisseur réutilise AfmoeModel pour la disposition du checkpoint par expert et le biais de sélection des experts, et écrit l'expert partagé et le motif de fenêtre glissante par couche. Le checkpoint FP8 publié ne nécessite aucun code spécial, il passe par le chemin générique weight_scale_inv. Trois noms de tenseurs sont ajoutés au mapping (post_attn_norm, post_ffn_norm, moe.router.expert_bias) et le vocabulaire de 128k enregistre le pré-tokeniseur qwen2 par hachage. L'architecture est enregistrée dans test-llama-archs, avec le GQA et le motif de fenêtre glissante. Assisted-by: DeepSeek Harness (DeepSeek V4.1 Flash) * Update src/models/kolibri1.cpp Co-authored-by: Sigbjørn Skjæret * Add fusion records for kolibri1 * Update src/models/kolibri1.cpp Co-authored-by: Sigbjørn Skjæret --------- Co-authored-by: Sigbjørn SkjæretSite Web : - https://llama.app
Attestations : - https://github.com/ggml-org/llama.cpp/attestations/56945604
macOS/iOS : - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI activé) DÉSACTIVÉ - macOS Intel (x64) - XCFramework iOS
Linux : - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - Bibliothèques CUDA 12.8 - Ubuntu x64 (CUDA 13) - Bibliothèques CUDA 13.4 - Ubuntu arm64 (CUDA 13) - Bibliothèques CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon : CPU, GPU Adreno, NPU Hexagon) - guide d'installation
Android : - Android arm64 (CPU) - Android arm64 (Snapdragon : CPU, GPU Adreno, NPU Hexagon) - guide d'installation
Windows : - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - DLLs CUDA 12.4 - Windows x64 (CUDA 13) - DLLs CUDA 13.4 - Windows arm64 (CUDA 13) - DLLs CUDA 13.4 - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler : - DÉSACTIVÉ - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
UI : - UI