Versión previa al lanzamiento / build continuo: esta es una versión experimental, no un lanzamiento estable.
model : añadir compatibilidad con Kolibri-1 (Aleph-Alpha) (#30673) * model : añadir compatibilidad con Kolibri-1 (Aleph-Alpha) support Kolibri-1 es un modelo de razonamiento MoE bilingüe alemán/inglés con 78B parámetros y 3.46B activos por token: 50 capas, 384 expertos enrutados más un experto compartido. La atención intercala cuatro capas deslizantes con una ventana de 513 junto con una capa completa. Las capas deslizantes rotan con NeoX RoPE, las capas completas son NoPE. GQA ejecuta 48 cabezas de consulta contra 4 cabezas KV con head_dim 128 y un QK-RMSNorm, y cada bloque lleva cuatro RMSNorm, de modo que la salida de la atención y del MLP se normalizan antes de reincorporarse al flujo residual. El enrutamiento selecciona los expertos a partir de logits + expert_bias y los pondera con la sigmoide de los logits sin sesgo, sin renormalización. El conversor reutiliza AfmoeModel para la disposición del checkpoint por experto y el sesgo de selección de expertos, y escribe el experto compartido y el patrón de ventana deslizante por capa. El checkpoint FP8 publicado no necesita código especial, pasa por la ruta genérica weight_scale_inv. Se añaden tres nombres de tensor al mapeo (post_attn_norm, post_ffn_norm, moe.router.expert_bias) y el vocabulario de 128k registra el pre-tokenizador qwen2 por hash. La arquitectura está registrada en test-llama-archs, con GQA y el patrón de ventana deslizante. Assisted-by: DeepSeek Harness (DeepSeek V4.1 Flash) * Update src/models/kolibri1.cpp Co-authored-by: Sigbjørn Skjæret * Add fusion records for kolibri1 * Update src/models/kolibri1.cpp Co-authored-by: Sigbjørn Skjæret --------- Co-authored-by: Sigbjørn SkjæretSitio web: - https://llama.app
Atestaciones: - https://github.com/ggml-org/llama.cpp/attestations/56945604
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI habilitado) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - Bibliotecas CUDA 12.8 - Ubuntu x64 (CUDA 13) - Bibliotecas CUDA 13.4 - Ubuntu arm64 (CUDA 13) - Bibliotecas CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, GPU Adreno, NPU Hexagon) - guía de configuración
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, GPU Adreno, NPU Hexagon) - guía de configuración
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - DLLs de CUDA 12.4 - Windows x64 (CUDA 13) - DLLs de CUDA 13.4 - Windows arm64 (CUDA 13) - DLLs de CUDA 13.4 - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DESACTIVADO - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
UI: - UI