IT之家 10月16日の報道によると、小米は昨日、Dashengシリーズの重要な新製品であるMiDashengLM-Spatialを発表した。完全な公開モデルの重みと推論コードが公開され、Apache 2.0ライセンスで配布されている。
過去2年間で、シャオミは Xiaomi Dasheng と MiDashengLM-7B という音声ベースモデルと音声理解大モデルを相次いで公開し、オープンソース化しました。これらの技術は、シャオミのスマートホームや自動車コンピューターなどでの30以上の実用化が実現されており、音声、環境音、音楽を統一的に認識・理解することができます。
報道によると、新しいモデルはMiDashengLM-7Bを基盤としており、音声理解の大規模モデルに「一対の耳」を与えている。これにより、音声の内容を理解するだけでなく、音声がどこから来て、空間上でどのように分布しているかも感知できるようになった。
小米は、MiDashengLM-Spatialが業界で初めてのオープンソースのエンドツーエンドの空間音声理解大模型であると述べています。基本的な音声理解能力を保持しながら、空間認識と推論能力も備えており、音声大模型が「音を理解する」段階から「音が存在する空間を理解する」段階へと進むことを促進しています。
このモデルは、シャオミのスマートホームや自動車のコンパートメントなどに順次適用される予定で、空間聴覚能力をさらに向上させることで「人・車・家の全エコシステム」のインタラクション体験を高める。関連するテストデータは以下の通りである：
IT之家の関連リンク：
プロジェクトホームページ：https://jinbo-hu.github.io/midashenglm-spatial-demo/
評価コード（GitHub）: https://github.com/xiaomi-research/midashenglm-spatial
モデル構造と重み（HuggingFace）：https://huggingface.co/mispeech/midashenglm-spatial
広告声明：本文には外部へのジャンプリンクが含まれています（ハイパーリンク、QRコード、パスワードなどを含む）。これはより多くの情報を提供し、選択にかける時間を節約するためです。結果は参考値であり、IT之家で外部リンクを含む記事はすべてこの声明を含んでいます。