IT之家 Bericht vom 9. Oktober: Das Technologiemedium NeoWin veröffentlichte gestern (8. Oktober) einen Beitrag, in dem berichtet wird, dass Microsoft mit den Open-Source-Communities von llama.cpp und GGUF zusammenarbeitet, um Windows ML in der Windows 11-System zu aktualisieren. Es gibt eine experimentelle native Unterstützung für die Inferenz von Modellen in GGUF- und ONNX-Formaten sowie die Einführung der Windows ML Runtime API.
Bei den Aktivitäten von Windows und Surface im Oktober präsentierte Microsoft die neuesten Fortschritte von Windows ML. Windows ML ist eine lokale AI-Inferenz-Steuerung von Microsoft für Windows 11. Entwickler können AI-Modelle auf dem Gerät ausführen, Anwendungen wie Textgenerierung und Spracherkennung entwickeln und die Abhängigkeit von speziellen Hardware-Optimierungen verringern.
Microsoft erklärt, dass durch Gemeinschaftskooperationen Entwickler nun über die experimentelle Integration von llama.cpp GGUF-Modelle von Hugging Face importieren und direkt lokal ausführen können. In Bezug auf die Leistung hat Microsoft außerdem zusammen mit NVIDIA Code zum llama.cpp sowie zu den damit verbundenen Leistungsoptimierungen beigesteuert.
Windows ML fügt einen experimentellen nativem Reasoning-Pfad für Windows hinzu, der Modelle von ONNX und GGUF ausführen kann. Der offizielle Name dieses Pfads ist Windows ML Runtime API; Microsoft behauptet, dass er höhere Leistung, eine tiefere Systemintegration und eine feinere Kontrolle bietet.
IT Home Hinweis: GGUF ist eine Modeldformat, die häufig für die lokale Ausführung großer Sprachmodellen verwendet wird. Entwickler können GGUF-Modelle von Plattformen wie Hugging Face erhalten und diese mit Tools wie llama.cpp auf einem Personalcomputer laden und inferiieren.
Und ONNX ist die Open Neural Network Exchange-Formate, die dazu dient, AI-Modelle zwischen verschiedenen Frameworks und Hardwaren zu migrieren. ONNX Runtime ist seine übliche Laufzeitumgebung und ermöglicht die Inferenz und den Einsatz des Modells auf Windows-Geräten.
Mit der Unterstützung der Windows ML Runtime API bringt Microsoft gleichzeitig die Text-Generierung-API und die Spracherkennungs-API auf den Markt. Entwickler können mit diesen beiden APIs Funktionen zur Textgenerierung und Spracherkennung erstellen.
Microsoft gibt an, dass die ONNX Runtime API weiterhin vollständig unterstützt wird; künftige Optimierungen für Windows werden vorrangig für die Windows ML Runtime API durchgeführt. Beide Laufzeitumgebungen sind in der aktuellen Version enthalten, und Entwickler können den Zeitpunkt der Migration je nach Vertrautheit mit ihnen wählen.