Xiaomi anuncia el lanzamiento del gran modelo de comprensión de audio espacial MiDashengLM-Spatial, publicando por completo los pesos del modelo y el código de inferencia, y liberándolo bajo la licencia de código abierto Apache2.0. Xiaomi afirma que este modelo es el primer gran modelo de comprensión de audio espacial extremo a extremo de código abierto de la industria, que añade capacidades de percepción y razonamiento espacial sobre la capacidad básica de comprensión de audio.
En los últimos dos años, Xiaomi ha hecho abiertos sucesivamente el modelo base de sonido Xiaomi Dasheng y el gran modelo de comprensión de sonido MiDashengLM-7B; las tecnologías relacionadas ya se han aplicado en más de 30 aplicaciones en escenarios como hogares inteligentes y cabinas de automóviles, y admiten la percepción y comprensión unificadas de la voz, los sonidos ambientales y la música.
El MiDashengLM-Spatial presentado en esta ocasión se basa en MiDashengLM-7B, de modo que el modelo no solo puede reconocer el contenido del sonido, sino también determinar la fuente del sonido y su distribución espacial, impulsando la expansión de los grandes modelos de audio desde la comprensión del contenido hacia la percepción espacial.
Xiaomi señala que MiDashengLM-Spatial se aplicará gradualmente en escenarios como hogares inteligentes y cabinas de automóviles, mejorando la experiencia de interacción del «ecosistema completo de persona-coche-hogar» mediante capacidades de audición espacial. Esta apertura de los pesos del modelo y el código de inferencia también proporciona una base para que los desarrolladores lleven a cabo investigaciones sobre comprensión de audio espacial y desarrollos de aplicaciones. Los datos de pruebas pertinentes están pendientes de ser añadidos.
Página principal del proyecto: https://jinbo-hu.github.io/midashenglm-spatial-demo/