IT之家 berichtet am 16. Oktober: Xiaomi hat gestern angekündigt, dass das wichtige neue Mitglied der Dasheng-Serie – MiDashengLM-Spatial – veröffentlicht wurde. Der vollständige offene Modellgewicht und die Inferenzcode wurden unter der Apache 2.0-Lizenz veröffentlicht.
In den letzten zwei Jahren hat Xiaomi nacheinander die Sound-Base-Modelle Xiaomi Dasheng sowie das Audio-Understanding-Massive Model MiDashengLM-7B veröffentlicht und frei zugänglich gemacht. Die entsprechenden Technologien wurden bereits in über 30 Anwendungen im Bereich der Xiaomi Smart Home und Autoinnenausstattung eingesetzt, um Sprache, Umgebungsgeräusche und Musik gleichzeitig wahrzunehmen und zu verstehen.
Laut der Präsentation basiert das neue Modell auf MiDashengLM-7B als Grundlage und verleiht dem großen Modell zur Tonverständlichkeit zusätzlich „ein Paar Ohren“, sodass es nicht nur den Inhalt der Geräusche verstehen kann, sondern auch erkennen kann, woher die Geräusche kommen und wie sie im Raum verteilt sind.
Xiaomi erklärte, dass MiDashengLM-Spatial dererste open-source End-to-End-Spacial-Audio-Verständigkeits-Modell im Industriebereich ist. Er behält die Grundfähigkeiten des Audiovorstellungsvermögens bei, besitzt jedoch auch Fähigkeiten zur Raumwahrnehmung und -logik, was den Audiomodellen weiterbringt, von „dem Verstehen von Geräuschen“ zu „dem Verstehen des Ortes, an dem die Geräusche sich befinden“.
Das Modell wird nacheinander in den Bereichen Xiaomi Smart Home und Autositzungen eingesetzt, um die Raumakustikfähigkeit weiter zu verbessern und das Interaktionserlebnis „Mensch-Fahrzeug-Haus-Ökosystem“ zu erweitern. Die relevanten Testdaten sind wie folgt:
IT Home mit relevanten Links:
Projekt-Homepage: https://jinbo-hu.github.io/midashenglm-spatial-demo/
Technische Bericht: https://arxiv.org/abs/2610.11156
Bewertungscode (GitHub): https://github.com/xiaomi-research/midashenglm-spatial
Modellstruktur und Gewicht (HuggingFace): https://huggingface.co/mispeech/midashenglm-spatial
Anzeige: Der Text enthält externe Verlinkungen (nicht aufgeführt sind nur Hyperlinks, QR-Codes, Passwörter usw.), die dazu dienen, mehr Informationen bereitzustellen, die Auswahlzeit zu verkürzen und die Ergebnisse nur als Referenz dienen. Alle Artikel von IT Home, die externe Links enthalten, sind mit dieser Anzeige versehen.