小米は空間オーディオ理解大規模モデル MiDashengLM-Spatial の公開を発表し、モデルの重みおよび推論コードを完全に公開、Apache2.0 オープンソースライセンスでリリースした。小米によると、このモデルは業界初のオープンソースのエンドツーエンド空間オーディオ理解大規模モデルであり、基本的なオーディオ理解能力の上に、さらに空間認識と推論能力を導入したものだという。
過去 2 年間で、小米は音声基盤モデル Xiaomi Dasheng と音声理解大規模モデル MiDashengLM-7B を相次いでオープンソース化しており、関連技術はスマートホームやカーコックピットなどのシーンで 30 を超えるアプリケーションに実装され、音声、環境音、音楽の統一的な認識と理解をサポートしている。
今回公開された MiDashengLM-Spatial は MiDashengLM-7B をベースとしており、モデルが音の内容を識別できるだけでなく、音の発生源とその空間的分布を判断できるようにし、オーディオ大規模モデルを内容理解から空間認識へと拡張している。
小米は、MiDashengLM-Spatial は今後、スマートホームやカーコックピットなどのシーンに順次適用され、空間聴覚能力によって「人・車・家の全エコシステム」のインタラクション体験を向上させるとしている。今回のモデルの重みと推論コードの公開は、空間オーディオ理解に関する研究やアプリケーション開発に取り組む開発者にも基盤を提供するものだ。関連するテストデータはまだ追加待ちである。
プロジェクトページ:https://jinbo-hu.github.io/midashenglm-spatial-demo/