Pre-Release / Continuous-Build: Dies ist ein experimenteller Build, keine stabile Veröffentlichung.
model : Granite Switch Decision mit 256 Optionen (#30693) * feat(convert): Versuch, 256 semantische OptionMarker mit einem einzigen Token zu finden Jedes Switch-Modell muss eine Sammlung von OptionMarkern mit einem einzigen Token identifizieren, die auf die jeweiligen Logits für die Ausgabewahrscheinlichkeitsverteilung abgebildet werden können. Der einfache Satz aus Groß-/Kleinbuchstaben/Zahlen liefert nur 66 eindeutige Marker, aber das Modell kann bis zu 255 unterstützen. Die Herausforderung besteht darin, dass welche Zeichenkombinationen zu Markern mit einem einzigen Token führen modellspezifisch ist, daher führen wir zum Zeitpunkt der Konvertierung eine Discovery-Übung durch, indem wir das Vokabular des jeweiligen Modells nach Ein-Token-Sequenzen von 1+ einfachen Buchstabenketten (z. B. `A`, `AA`, `BB` usw.) durchsuchen. Branch: GraniteSwitchDecisionFullOptions AI-usage: none Signed-off-by: Gabe Goodhart * docs: granite-switch mit 256 OptionMarkern vermerken Branch: GraniteSwitchDecisionFullOptions AI-usage: none Signed-off-by: Gabe Goodhart * style: Zusätzliche Leerzeile entfernen Branch: GraniteSwitchDecisionFullOptions AI-usage: none Signed-off-by: Gabe Goodhart * feat(convert): Die berechneten Labels in der Vorlage verwenden, sodass die C++-Seite die maßgebliche Quelle ist Branch: GraniteSwitchDecisionFullOptions AI-usage: full (Claude + Sonnet 5.5) Signed-off-by: Gabe Goodhart * feat: LEV-Fall für GRANITE_SWITCH mit berechneten Labels verwenden Branch: GraniteSwitchDecisionFullOptions AI-usage: full (Claude + Sonnet 5.5) Signed-off-by: Gabe Goodhart * docs: g-s in 255-Bucket zusammenfassen Branch: GraniteSwitchDecisionFullOptions AI-usage: full (Claude + Sonnet 5.5) Signed-off-by: Gabe GoodhartWebsite: - https://llama.app
Attestierungen: - https://github.com/ggml-org/llama.cpp/attestations/56911978
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI aktiviert) DEAKTIVIERT - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA-12.8-Bibliotheken - Ubuntu x64 (CUDA 13) - CUDA-13.4-Bibliotheken - Ubuntu arm64 (CUDA 13) - CUDA-13.4-Bibliotheken - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Einrichtungsanleitung
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Einrichtungsanleitung
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA-12.4-DLLs - Windows x64 (CUDA 13) - CUDA-13.4-DLLs - Windows arm64 (CUDA 13) - CUDA-13.4-DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DISABLED - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
UI: - UI