IT Casa Según información del 9 de octubre, el medio tecnológico NeoWin publicó un artículo ayer (8 de octubre), según el cual Microsoft está colaborando con las comunidades abiertas de llama.cpp y GGUF para Windows 11 Sistema actualiza a Windows ML.Soporta experimentalmente la inferencia de modelos en formatos GGUF y ONNX desde el entorno nativo, y lanzó la API Windows ML Runtime.
En el evento de octubre de Windows y Surface, Microsoft presentó los últimos avances de Windows ML. Windows ML es un marco de inferencia de IA local de Microsoft para Windows 11. Los desarrolladores pueden ejecutar modelos de IA en dispositivos, crear aplicaciones como generación de texto y reconocimiento de voz, y reducir la dependencia de optimizaciones específicas de hardware.
Microsoft indica que, mediante la colaboración comunitaria, los desarrolladores ahora pueden importar modelos GGUF de Hugging Face a través de la integración experimental de llama.cpp y ejecutarlos directamente en el local. En cuanto al rendimiento, Microsoft también ha trabajado junto con NVIDIA para contribuir con código a llama.cpp y a las optimizaciones de rendimiento relacionadas.
Windows ML añadió una ruta de inferencia nativa para Windows experimental, que permite ejecutar modelos de los tipos ONNX y GGUF. El nombre oficial de esta ruta es Windows ML Runtime API; Microsoft afirma que ofrece un rendimiento más alto, una integración más profunda en el sistema y una capacidad de control más detallada.
IT Home nota: GGUF es un formato de archivo de modelo que se utiliza comúnmente para ejecutar modelos de lenguaje grande localmente. Los desarrolladores pueden obtener modelos GGUF desde plataformas como Hugging Face, y usar herramientas como llama.cpp para cargar e inferenciarlos en un ordenador personal.
Y ONNX es el formato de intercambio de redes neuronales abiertas, utilizado para migrar modelos de IA entre diferentes marcos y hardware. ONNX Runtime es su entorno de ejecución común, y permite la implementación de inferencia de modelos en dispositivos Windows.
Con el soporte de la API de Windows ML Runtime, Microsoft también lanzó la API de Generación de Texto y la API de Reconocimiento de Voz. Los desarrolladores pueden utilizar estas dos interfaces para crear funciones de generación de texto y reconocimiento de voz.
Microsoft indica que la API de ONNX Runtime sigue recibiendo soporte completo; las futuras optimizaciones para Windows se enfocarán primero en la API de Windows ML Runtime. Ambas APIs de ejecución están incluidas en la versión actual, y los desarrolladores pueden elegir el momento adecuado para la migración según su familiaridad con ellas.