أعلنت شياومي عن إطلاق النموذج الكبير لفهم الصوت المكاني MiDashengLM-Spatial، مع نشر أوزان النموذج وأكواد الاستدلال بالكامل، وإتاحته بترخيص المصدر المفتوح Apache2.0. وتقول شياومي إن هذا النموذج هو أول نموذج كبير مفتوح المصدر من طرف إلى طرف لفهم الصوت المكاني في المجال، وقد أدخل قدرات الإدراك المكاني والاستدلال إضافة إلى قدرات الفهم الأساسي للصوت.
خلال العامين الماضيين، فتحت شياومي المصدر تباعاً للنموذج الأساسي الصوتي Xiaomi Dasheng والنموذج الكبير لفهم الصوت MiDashengLM-7B، وجرى تطبيق التقنيات ذات الصلة في أكثر من 30 تطبيقاً في سيناريوهات مثل المنازل الذكية ومقاعد السيارات، مع دعم الإدراك والفهم الموحد للكلام وأصوات البيئة والموسيقى.
يقوم MiDashengLM-Spatial المطروح هذه المرة على أساس MiDashengLM-7B، بحيث لا يستطيع النموذج التعرف على محتوى الصوت فحسب، بل أيضاً تحديد مصدر الصوت وتوزيعه المكاني، مما يدفع النماذج الكبيرة الصوتية من فهم المحتوى نحو الإدراك المكاني.
ذكرت شياومي أن MiDashengLM-Spatial سيُطبَّق تباعاً لاحقاً في سيناريوهات مثل المنازل الذكية ومقاعد السيارات، لتحسين تجربة التفاعل في «المنظومة المتكاملة للإنسان والسيارة والمنزل» من خلال قدرات السمع المكاني. كما أن فتح أوزان النموذج وأكواد الاستدلال هذه المرة يوفر أساساً للمطورين لإجراء الأبحاث المتعلقة بفهم الصوت المكاني وتطوير التطبيقات. بيانات الاختبار ذات الصلة لم تُستكمل بعد.
صفحة المشروع: https://jinbo-hu.github.io/midashenglm-spatial-demo/