Xiaomi annonce le lancement de MiDashengLM-Spatial, un grand modèle de compréhension de l'audio spatial, en rendant publics l'intégralité des poids du modèle et le code d'inférence, et en le publiant sous licence open source Apache2.0. Selon Xiaomi, ce modèle est le premier grand modèle open source de bout en bout pour la compréhension de l'audio spatial de l'industrie, introduisant en outre des capacités de perception spatiale et de raisonnement au-delà de la compréhension audio de base.
Au cours des deux dernières années, Xiaomi a successivement open sourcé le modèle de base audio Xiaomi Dasheng et le grand modèle de compréhension sonore MiDashengLM-7B, et les technologies associées ont été déployées dans plus de 30 applications dans des scénarios tels que la maison intelligente et l'habitacle automobile, prenant en charge la perception et la compréhension unifiées de la parole, des sons ambiants et de la musique.
Le MiDashengLM-Spatial publié cette fois repose sur MiDashengLM-7B, permettant au modèle non seulement de reconnaître le contenu sonore, mais aussi de déterminer la source des sons et leur distribution spatiale, faisant ainsi évoluer les grands modèles audio de la compréhension du contenu vers la perception spatiale.
Xiaomi indique que MiDashengLM-Spatial sera progressivement appliqué à des scénarios tels que la maison intelligente et l'habitacle automobile, améliorant l'expérience d'interaction de « l'écosystème complet humain-voiture-maison » grâce aux capacités d'écoute spatiale. Cette ouverture des poids du modèle et du code d'inférence fournit également une base aux développeurs pour mener des recherches et développer des applications liées à la compréhension de l'audio spatial. Les données de tests restent à compléter.
Page du projet : https://jinbo-hu.github.io/midashenglm-spatial-demo/