Xiaomi kündigt die Veröffentlichung des räumlichen Audio-Verständnis-Großmodells MiDashengLM-Spatial an, bei dem die Modellgewichte und der Inferenzcode vollständig offengelegt und unter der Apache2.0-Open-Source-Lizenz herausgegeben werden. Laut Xiaomi ist das Modell das erste quelloffene End-to-End-Großmodell zur räumlichen Audio-Verständnis der Branche, das über die grundlegenden Audio-Verständnisfähigkeiten hinaus weitere Fähigkeiten zur räumlichen Wahrnehmung und zum Reasoning einführt.
In den vergangenen zwei Jahren hat Xiaomi nacheinander das Audio-Basismodell Xiaomi Dasheng und das Audio-Verständnis-Großmodell MiDashengLM-7B als Open Source veröffentlicht. Die zugehörigen Technologien sind in Szenarien wie Smart Home und Fahrzeugcockpits in mehr als 30 Anwendungen im Einsatz und ermöglichen eine einheitliche Wahrnehmung und ein einheitliches Verständnis von Sprache, Umgebungsklängen und Musik.
Das jetzt veröffentlichte MiDashengLM-Spatial basiert auf MiDashengLM-7B und ermöglicht es dem Modell, nicht nur Klanginhalte zu erkennen, sondern auch die Klangquelle und deren räumliche Verteilung zu bestimmen – damit werden Audio-Großmodelle vom Inhaltsverständnis zur räumlichen Wahrnehmung erweitert.
Xiaomi erklärte, dass MiDashengLM-Spatial künftig nach und nach in Szenarien wie Smart Home und Fahrzeugcockpits zum Einsatz kommen und durch räumliche Hörfähigkeiten die Interaktionserfahrung im „gesamten Ökosystem aus Mensch, Fahrzeug und Zuhause“ verbessern werde. Die Freigabe der Modellgewichte und des Inferenzcodes bietet Entwicklern zudem eine Grundlage für Forschung und Anwendungsentwicklung im Bereich des räumlichen Audio-Verständnisses. Die entsprechenden Testdaten stehen noch aus.
Projektseite: https://jinbo-hu.github.io/midashenglm-spatial-demo/