IT之家 El 16 de octubre, Xiaomi anunció ayer que lanzará un nuevo miembro importante de la serie Dasheng: MiDashengLM-Spatial. Se ha publicado el peso completo del modelo y el código de inferencia, y está disponible bajo la licencia Apache 2.0.
En los últimos dos años, Xiaomi ha lanzado y open-sourced el modelo base de sonido Xiaomi Dasheng y el gran modelo de comprensión de sonidos MiDashengLM-7B. La tecnología relacionada ya se ha implementado en más de 30 aplicaciones en escenarios como la inteligencia doméstica de Xiaomi y los asientos de automóviles, permitiendo una percepción y comprensión unificadas de voz, sonidos ambientales y música.
Según se informa, el nuevo modelo tiene como base a MiDashengLM-7B y, además, le otorga al gran modelo de comprensión de sonidos “una pareja de oídos”, lo que le permite no solo entender el contenido de los sonidos, sino también percibir de dónde provienen y cómo se distribuyen en el espacio.
Xiaomi indicó que MiDashengLM-Spatial es el primer modelo grande de comprensión de audio espacial de código abierto en la industria. Al mantener la capacidad básica de comprensión de audio, cuenta con habilidades de percepción y razonamiento espacial, lo que impulsa a los modelos grandes de audio a pasar de “entender sonidos” a “comprender el espacio en el que se encuentran los sonidos”.
Este modelo se aplicará gradualmente en escenarios como los hogares inteligentes de Xiaomi y las cabinas de automóviles, con el fin de mejorar aún más la experiencia de interacción del “ecosistema completo de personas, vehículos y hogares” a través de la capacidad auditiva espacial. Los datos de prueba relacionados son los siguientes:
IT Home incluye enlaces relacionados:
Página principal del proyecto: https://jinbo-hu.github.io/midashenglm-spatial-demo/
Informe técnico: https://arxiv.org/abs/2610.11156
Código de evaluación (GitHub): https://github.com/xiaomi-research/midashenglm-spatial
Estructura del modelo y pesos (HuggingFace):https://huggingface.co/mispeech/midashenglm-spatial
Declaración publicitaria: El texto contiene enlaces de redirección hacia el exterior (incluyendo, pero no limitado a enlaces superiores, códigos QR, contraseñas, etc.), cuyo propósito es transmitir más información, ahorrar tiempo de selección y los resultados son solo para referencia. Los artículos en IT Home que incluyen enlaces externos contienen esta declaración.