Pre-release / compilación continua: esta es una compilación experimental, no una versión estable.
model : añadir soporte K2 Horizon denso y MoVA (#29535) * model: código de conversión gguf de K2 Horizon * model: carga de hparams y tensores en k2-horizon.cpp * model: grafo de cómputo de K2 Horizon * model: ajuste del grafo de cómputo de K2 Horizon y registro de tokenizadores * model: plantilla de chat de K2 Horizon y adaptación al nombrado de safetensors * unicode : añadir el pre-tokenizador splitter de K2-Horizon La regex de K2-Horizon no tenía rama en unicode_regex_split_custom y caía al fallback general de std::regex, que falla de dos maneras. En MSVC std::regex rechaza \p{...}, así que ningún GGUF de K2-Horizon se carga en Windows: llama-quantize, llama-imatrix y llama-perplexity abortan todos con regex_error(error_escape) antes de producir un token. Donde el fallback sí compila, sigue siendo incorrecto. unicode_regex_split colapsa cada codepoint a un único byte que nombra su categoría Unicode antes de la coincidencia, y U+200C/U+200D son de la categoría Control, que no tiene entrada en k_ucat_cpt, por lo que ambos se convierten en el byte de fallback 0xD0. Las alternativas literales y en la regex de K2's nunca pueden coincidir entonces y cada ZWNJ o ZWJ termina una secuencia de letras. El splitter es el existente de llama3 con una sola regla ampliada, ya que la regex de K2 difiere de la de llama3 solo en que una secuencia de letras también acepta marcas, ZWNJ y ZWJ. tests/test-unicode.cpp gana un caso para esto: falla antes del cambio con [Amy] [ZWNJ khaham] y pasa después con la secuencia intacta. * tests: ampliar la cobertura del splitter unicode de K2 Horizon * unicode: manejar el case folding de K2 Horizon y la entrada vacía Assisted-by: Codex * jinja : soportar índices de secuencia en selectattr y rejectattr Assisted-by: Codex * model : añadir soporte K2 Horizon denso y MoVA Incluye la implementación de K2 Horizon de ifm-ai/llama.cpp con el conversor, correcciones de tensor-parallel y de guardado/recarga del modelo. Assisted-by: Codex * chat : soportar razonamiento y llamadas a herramientas de K2 Horizon Assisted-by: Codex * conversion: eliminar el alias obsoleto K2 Aurora Assisted-by: Codex * k2-horizon: imponer response schemas y cargar betas de YaRN Restringir el JSON final después del razonamiento, aceptar envoltorios JSON de herramientas flexibles, imponer dialectos XML y manejar marcadores de pensamiento repetidos o alternos. Cargar los metadatos de las betas de YaRN en lugar de retener los valores predeterminados. Añadir regresiones de schema, streaming, continuación y recarga del modelo. Validar las compilaciones CUDA y CPU y los ciclos de conversación/herramientas de 0.9B, 4B y MoVA. Assisted-by: Codex * renombrando el fixture de plantilla * atendiendo los seguimientos de cisc * desloppify del parser / atender los comentarios de aldehir * limpiar test-chat * eliminar el fallback: el modelo fue entrenado mayormente en high de todos modos * corregir la división tn de k2 attn_v_exp y la línea base de fusión de metal * k2-horizon : reenviar vistas expandidas antes de las sumas * k2-horizon: copiar embds antes del group norm para corregir TP * deshabilitar el paralelismo de tensores --------- Co-authored-by: Ryandito Diandaru Co-authored-by: WestWaters Co-authored-by: Natani L. Mayday <71436458+TaskPuppyNatani@users.noreply.github.com> Co-authored-by: West <100190545+WestWaters@users.noreply.github.com> Co-authored-by: aaryamonvikram Co-authored-by: aaryamonvikram <96529820+aaryamonvikram@users.noreply.github.com>Sitio web: - https://llama.app
Atestaciones: - https://github.com/ggml-org/llama.cpp/attestations/53326308
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI habilitado) DISABLED - macOS Intel (x64) - XCFramework de iOS
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - Bibliotecas de CUDA 12.8 - Ubuntu x64 (CUDA 13) - Bibliotecas de CUDA 13.4 - Ubuntu arm64 (CUDA 13) - Bibliotecas de CUDA 13.4 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - guía de configuración
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - guía de configuración
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - DLLs de CUDA 12.4 - Windows x64 (CUDA 13) - DLLs de CUDA 13.4 - Windows arm64 (CUDA 13) - DLLs de CUDA 13.4 - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DISABLED - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
UI: - UI