Pre-release / Continuous-Build: dies ist ein experimenteller Build, keine stabile Veröffentlichung.
model : add K2 Horizon dense and MoVA support (#29535) * model: K2 Horizon gguf conversion code * model: loading hparams and tensors in k2-horizon.cpp * model: K2 Horizon compute graph * model: K2 Horizon compute graph adjustment and registering tokenizers * model: K2 Horizon chat template and accomodate safetensors naming * unicode : add the K2-Horizon pre-tokenizer splitter Der K2-Horizon-Regex hatte keinen Arm in unicode_regex_split_custom und fiel in den general std::regex-Fallback durch, der auf zwei Arten fehlschlägt. Unter MSVC lehnt std::regex \p{...} ab, sodass überhaupt kein K2-Horizon-GGUF unter Windows geladen wird: llama-quantize, llama-imatrix und llama-perplexity brechen alle mit regex_error(error_escape) ab, bevor ein Token erzeugt wird. Wo der Fallback kompiliert, ist er trotzdem falsch. unicode_regex_split kollabiert vor dem Matching jeden Codepoint auf ein einzelnes Byte, das seine Unicode-Kategorie benennt, und U+200C/U+200D sind die Kategorie Control, die keinen Eintrag in k_ucat_cpt hat, sodass beide zum Fallback-Byte 0xD0 werden. Die literalen - und -Alternativen im Regex von K2's können dann nie matchen, und jedes ZWNJ oder ZWJ beendet einen Buchstabenlauf. Der Splitter ist der bestehende von llama3 mit einer einzigen erweiterten Regel, da sich K2's Regex von dem von llama3 nur darin unterscheidet, dass ein Buchstabenlauf auch Marks, ZWNJ und ZWJ aufnimmt. tests/test-unicode.cpp erhält dafür einen Testfall: Er schlägt vor der Änderung mit [Amy] [ZWNJ khaham] fehl und besteht danach mit intaktem Lauf. * tests: expand K2 Horizon unicode splitter coverage * unicode: handle K2 Horizon case folding and empty input Assisted-by: Codex * jinja : support sequence indices in selectattr and rejectattr Assisted-by: Codex * model : add K2 Horizon dense and MoVA support Enthält die K2-Horizon-Implementierung aus ifm-ai/llama.cpp mit Converter, Tensor-Parallel- sowie Model-Save/Reload-Fixes. Assisted-by: Codex * chat : support K2 Horizon reasoning and tool calls Assisted-by: Codex * conversion: remove obsolete K2 Aurora alias Assisted-by: Codex * k2-horizon: enforce response Schemas und Laden der YaRN-Betas Das finale JSON nach dem Reasoning einschränken, flexible JSON-Tool-Envelope akzeptieren, XML-Dialekte erzwingen und wiederholte oder alternative Thinking-Marker behandeln. YaRN-Beta-Metadaten laden, statt die Standardwerte beizubehalten. Regressions für Schema, Streaming, Continuation und Model-Reload hinzufügen. CUDA- und CPU-Builds sowie Konversations-/Tool-Roundtrips für 0.9B, 4B und MoVA validieren. Assisted-by: Codex * renaming template fixture * adressing cisc follows ups * desloppify the parser / adress aldehir comments * clean test-chat * remove fallback : model trained mostly on high anyway * fix k2 attn_v_exp tn splitting and metal fusion baseline * k2-horizon : forward expand views before sums * k2-horizon: copy embds before group norm to fix TP * disable tesnor parallelism --------- Co-authored-by: Ryandito Diandaru Co-authored-by: WestWaters Co-authored-by: Natani L. Mayday <71436458+TaskPuppyNatani@users.noreply.github.com> Co-authored-by: West <100190545+WestWaters@users.noreply.github.com> Co-authored-by: aaryamonvikram Co-authored-by: aaryamonvikram <96529820+aaryamonvikram@users.noreply.github.com>Webseite: - https://llama.app
Nachweise (Attestations): - https://github.com/ggml-org/llama.cpp/attestations/53326308
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI aktiviert) DEAKTIVIERT - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 Bibliotheken - Ubuntu x64 (CUDA 13) - CUDA 13.4 Bibliotheken - Ubuntu arm64 (CUDA 13) - CUDA 13.4 Bibliotheken - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Einrichtungsanleitung
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Einrichtungsanleitung
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA 12.4 DLLs - Windows x64 (CUDA 13) - CUDA 13.4 DLLs - Windows arm64 (CUDA 13) - CUDA 13.4 DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DISABLED - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
Benutzeroberfläche: - Benutzeroberfläche