샤오미는 공간 오디오 이해 대형 모델 MiDashengLM-Spatial을 발표하고 모델 가중치 및 추론 코드를 전면 공개하며 Apache2.0 오픈소스 라이선스로 출시한다고 밝혔습니다. 샤오미는 이 모델이 업계 최초의 오픈소스 엔드투엔드 공간 오디오 이해 대형 모델이라며, 기본 오디오 이해 능력을 바탕으로 나아가 공간 인지 및 추론 능력을 추가로 도입했다고 설명했습니다.
지난 2년간 샤오미는 사운드 기반 모델 Xiaomi Dasheng과 사운드 이해 대형 모델 MiDashengLM-7B를 차례로 오픈소스로 공개했으며, 관련 기술은 스마트홈, 자동차 스마트 콕핏 등의 분야에서 30개가 넘는 애플리케이션에 적용되어 음성, 환경음 및 음악에 대한 통합적 인지와 이해를 지원하고 있습니다.
이번에 공개된 MiDashengLM-Spatial은 MiDashengLM-7B를 기반으로 하며, 모델이 소리의 내용을 인식할 수 있을 뿐만 아니라 소리의 발생원과 그 공간적 분포까지 판단할 수 있게 하여 오디오 대형 모델이 콘텐츠 이해에서 공간 인지로 확장되도록 합니다.
샤오미는 MiDashengLM-Spatial이 이후 스마트홈, 자동차 스마트 콕핏 등의 분야에 순차적으로 적용되어 공간 청각 능력을 통해 '인-차-홈 전체 생태계(人车家全生态)'의 인터랙션 경험을 향상시킬 것이라고 밝혔습니다. 이번 모델 가중치와 추론 코드의 공개는 개발자들이 공간 오디오 이해 관련 연구 및 애플리케이션 개발을 수행하는 데 기반을 제공합니다. 관련 테스트 데이터는 추후 보완될 예정입니다.
프로젝트 홈페이지: https://jinbo-hu.github.io/midashenglm-spatial-demo/