Pre-Release / Continuous Build: Dies ist ein experimenteller Build, keine stabile Veröffentlichung.
rpc : GGML_RPC_DEBUG in einen Verbosity-Level umwandeln und Logs hinzufügen (#29544) * rpc : GGML_RPC_DEBUG in einen Verbosity-Level umwandeln und Logs hinzufügen GGML_RPC_DEBUG wird nun als Zahl interpretiert: 0/nicht gesetzt deaktiviert Debug-Logs, 1-3 geben zunehmend detailliertere Ausgaben aus (Ereignisse, Trace pro Befehl, Transport-Details). Nicht-numerische Werte fallen auf 1 zurück. Die duplizierten env/macro-Blöcke in ggml-rpc.cpp und transport.cpp werden durch eine gemeinsame log.h ersetzt, die zur einzigen zentralen Stelle für sämtliches Logging des RPC-Backends wird: LOG_ERROR/LOG_WARN/LOG_INFO für bedingungslose Schweregrad-Logs und LOG_DBG/LOG_DBG2/LOG_DBG3 für die über die Verbosity gesteuerten. Die Transport-Dateien benötigen ggml-impl.h nicht mehr, und der Server-Banner läuft nun ebenfalls über den ggml-Logger (stderr). Fehlende Logs werden sowohl auf der Client-Seite (Handshake, Buffer-Operationen, Tensor-Übertragungen, Graph-Berechnungen, Cache-Entscheidungen) als auch auf der Server-Seite (Dispatch pro Befehl, Graph-Knoten) ergänzt, einschließlich des ausgehandelten Transports über das neue socket_t::transport_name(). Assisted-by: pi:llama.cpp/MiMo-V2.6-Flash-RL * rpc : Log-Level an die dokumentierte Verbosity-Semantik anpassen Der erste Durchgang führte GGML_RPC_DEBUG-Level ein, aber viele Aufrufstellen folgten der dokumentierten Semantik nicht und einige Logs umgingen die Makros vollständig: - Die verbleibenden rohen GGML_LOG_*-Aufrufstellen durch die lokalen LOG_*-Makros leiten, damit log.h die einzige zentrale Stelle für das RPC-Logging bleibt - Tensor-Übertragungen und Handler-Traces pro Befehl auf Level 2 ausgeben und einmalige Lebenszyklus-Ereignisse (Erstellung von Backend und Buffer-Typ, Buffer-Allocation, Graph-Berechnung, Eviction aus dem Graph-Cache) auf Level 1 - Den duplizierten Enqueue-Trace in rpc_dispatcher::send entfernen, work() protokolliert bereits jeden ausgelieferten Befehl zusammen mit seiner Round-Trip-Zeit - Ereignisse beeinträchtigter Operationen zu LOG_WARN hochstufen: Fehler bei der Remote-Allocation, RDMA-Fallback auf TCP, unerwartete Trennung der Gegenstelle - Eviction aus dem Graph-Cache auf beiden Seiten protokollieren, da Client und Server für die inkrementelle Graph-Aktualisierung synchron bleiben müss en - Zwischen Unknown command (Opcode außerhalb des Bereichs) und Unhandled command (gültiger Opcode ohne Handler) unterscheiden - Formatbezeichner korrigieren (%zu für size_t, %u für Device-IDs, 0x für hexadezimale Zeiger) sowie ein fehlendes Zeilenende in einem Fehler-Log ergänzen - Dokumentieren, dass llama.cpp-Anwendungen ggml-Debug-Einträge verwerfen, sofern die Verbosity-Schwelle nicht mit -lv 5 angehoben wird Assisted-by: pi:llama.cpp/Qwen3.8-Flash-NextWebsite: - https://llama.app
Attestierungen: - https://github.com/ggml-org/llama.cpp/attestations/54812036
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI aktiviert) DEAKTIVIERT - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA-12.8-Bibliotheken - Ubuntu x64 (CUDA 13) - CUDA-13.4-Bibliotheken - Ubuntu arm64 (CUDA 13) - CUDA-13.4-Bibliotheken - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno-GPU, Hexagon-NPU) - Einrichtungsanleitung
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno-GPU, Hexagon-NPU) - Einrichtungsanleitung
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA 12.4 DLLs - Windows x64 (CUDA 13) - CUDA 13.4 DLLs - Windows arm64 (CUDA 13) - CUDA 13.4 DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DISABLED - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
UI: - UI