Pre-Release / Continuous-Build: Dies ist ein experimenteller Build, keine stabile Veröffentlichung.
log, server: eigenständige Farben, Trennung der Child-Befehle von den Logs im Router-Modus (#29895) * log, server: Router-Child-Zeilen ihre eigenen Farben tragen lassen Der Logger schreibt den Farb-Reset nach dem abschließenden Zeilenumbruch, sodass der Reset die nächste Zeile eröffnet. Auf der gemeinsamen Pipe eines Router-Childs landet er vor dem nächsten Zustandsbefehl, den der Router dadurch verpasst, und der Zeilenumbruch, der das umgeht, erscheint bei jeder Fortschrittsaktualisierung als leere Logzeile. Der Reset steht jetzt vor den abschließenden Zeilenumbrüchen, sodass jede Zeile in sich abgeschlossen ist und der Befehl wieder in seiner schlichten Rahmung erscheint. Der Router reicht seine effektive Farbeinstellung an seine Children weiter, deren Ausgabe in seinem Terminal landet, und lässt diese Option beim Vergleich der Presets beim Neuladen außer Acht. * log: ANSI-Farben auf der Windows-Konsole aktivieren Eine Windows-Konsole rendert ANSI-Sequenzen nur im Virtual-Terminal-Modus, den für den Logger nichts aktiviert, sodass llama-server rohe Escape- Codes auf der Windows-10-Konsole ausgibt, während llama-cli, dessen Konsolencode dies aktiviert, Farben zeigt. Der Logger aktiviert jetzt den Virtual-Terminal-Modus auf stdout und stderr, wenn er Farben einschaltet, und lässt Farben aus, wenn eine Konsole sie nicht rendern kann. Pipes und Dateien übernehmen die Sequenzen unverändert. * server: die Router-Child-Befehle von seinen Logs trennen Das Child sandte seine Zustandsbefehle über dieselbe Pipe wie seine Logs, sodass der Router sie anhand eines Zeilenpräfixes aus dem Logstrom herausfiltern musste, und jede nicht abgeschlossene Schreiboperation vor einem Befehl ließ den Router ihn verpassen. Dies löst das TODO beim Spawn ein, das die Trennung von stdout und stderr forderte. Das Child behält jetzt stdout für die Befehle und leitet alles andere, in stdout Geschriebene, auf stderr um, noch bevor etwas geschrieben wird. Der Router liest beide Pipes, verarbeitet die Befehle aus stdout und leitet stderr als Log weiter, und warnt vor jeder anderen Zeile auf der Befehlspipe. * server: Review-Kommentare von ngxson umgesetzt Der einzelne server_child wird jetzt zuerst im Einstiegspunkt erzeugt, und sein Konstruktor behält stdout für die Befehle, sodass der Stream ein Member der Instanz statt eines Statics ist, und init() entfällt. Die Instanz wird an den Server weitergegeben, während der CLI-Einstiegspunkt seine eigene erzeugt. * Update tools/server/server.cpp --------- Co-authored-by: Xuan-Son NguyenWebsite: - https://llama.app
Attestierungen: - https://github.com/ggml-org/llama.cpp/attestations/52670797
macOS/iOS: - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI aktiviert) DEAKTIVIERT - macOS Intel (x64) - iOS XCFramework
Linux: - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 Bibliotheken - Ubuntu x64 (CUDA 13) - CUDA 13.4 Bibliotheken - Ubuntu arm64 (CUDA 13) - CUDA 13.4 Bibliotheken - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Einrichtungsanleitung
Android: - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - Einrichtungsanleitung
Windows: - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA 12.4 DLLs - Windows x64 (CUDA 13) - CUDA 13.4 DLLs - Windows arm64 (CUDA 13) - CUDA 13.4 DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0)
openEuler: - DEAKTIVIERT - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph)
UI: - UI