Pre-Release / Continuous Build: Dies ist ein experimenteller Build, keine stabile Veröffentlichung.
model: Add support for SenseNova U1 model (#28919) * model : add SenseNova U1 understanding support Unterstützung für den dichten SenseNova-U1-Verständigungszweig hinzugefügt, einschließlich des Modells U1.5-8B-MoT. - HF-zu-GGUF-Konvertierung für NEOChatModel hinzugefügt, wobei MoT-Generierungs- tensoren ausgeschlossen und zeitliche und räumliche Q/K-Normalisierungs- gewichte zusammengeführt werden. - Registrierung der sensenova_u1-GGUF-Architektur und benutzerdefinierter räumlicher RoPE- Metadaten. - Implementierung zeitlicher/räumlicher Q/K-Normalisierung mit 4-Achsen-RoPE. - U1-spezifische Textpositionierung in der Modellimplementierung beibehalten. - Synthetische Architekturabdeckung für sensenova_u1 hinzugefügt. Nur der dichte Verständigungszweig wird unterstützt; Generierungs- zweige werden bei der Konvertierung bewusst abgelehnt. * conversion : treat one-expert SenseNova U1 configs as dense * mtmd : add SenseNova U1 vision support Konvertierungsunterstützung für den SenseNova-U1-Vision-Encoder hinzugefügt und sein CPU-mtmd-Projektor-Graph implementiert. Der Graph wendet Patch-Embedding, GELU, benachbartes 2D-RoPE-Paar, räumliches Heruntersampling und dichte Projektion für Bildeingaben mit dynamischer Auflösung an. * mtmd : fix SenseNova U1 vision token layout * model : clean up SenseNova U1 RoPE metadata Den fest kodierten räumlichen RoPE-Schlüssel durch gemeinsame GGUF- und LLM_KV- Definitionen ersetzt, die von Konvertierung, Modell-Laden und Architekturtests verwendet werden. Klargestellt, warum SenseNova U1 seine benutzerdefinierte Textpositions-Eingabe behält: U1 verwendet [t, 0, 0, 0], während die generische M-RoPE-Eingabe [t, t, t, 0] verwendet. * mtmd : simplify SenseNova U1 projector integration Die SenseNova-U1-dichte Projektion auf die Standard-Tensoren mm.0 für Gewicht und Bias abgebildet und die gemeinsamen Projektorfelder im Loader und Graphen wiederverwendet. Vision-Parameter aus der Checkpoint-Konfiguration gelesen und die U1-spezifischen Tensornamen und Modulfelder entfernt, während ihre strided- Projektion, der Bias und das Row-Major-Token-Layout erhalten bleiben. * mtmd : fix SenseNova U1 image positions and attention * fix spacing * mtmd : restore generic test input chunks * mtmd : restore SenseNova-U1-Integration nach dem Upstream-Merge * Update conversion/sensenova_u1.py Co-authored-by: Sigbjørn Skjæret * Update src/models/sensenova-u1.cpp Co-authored-by: Sigbjørn Skjæret * model : remove SenseNova U1 BF16 activation casts Standardmäßige Backend-Präzisionsbehandlung für QKV-, FFN- und Ausgabeprojektionen verwendet, anstatt Eingaben basierend auf dem Ausgabetensor-Typ umzuwandeln. Assisted-by: Codex * Update src/models/sensenova-u1.cpp Co-authored-by: Sigbjørn Skjæret --------- Co-authored-by: Sigbjørn SkjæretWebseite: - https://llama.app
Attestierungen: - https://github.com/ggml-org/llama.cpp/attestations/58406636
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI aktiviert) DISABLED - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 Bibliotheken - Ubuntu x64 (CUDA 13) - CUDA 13.4 Bibliotheken - Ubuntu arm64 (CUDA 13) - CUDA 13.4 Bibliotheken - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Einrichtungsanleitung
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Einrichtungsanleitung
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA-12.4-DLLs - Windows x64 (CUDA 13) - CUDA-13.4-DLLs - Windows arm64 (CUDA 13) - CUDA-13.4-DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DEAKTIVIERT - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
UI: - UI