IT之家، وفقًا للأخبار الصادرة في 25 أكتوبر، أطلقت شركة Block التابعة لجاك دورسي، مؤسس تويتر، نموذج صوت جديد يُدعى Dessa، الذي يدعم التشغيل المحلي، ويمكنه محاكاة تعبيرات المشاعر مثل الضحك والالتزام والانسحاب، ويتمتع بإحساس شبه إنساني للسماع. وفقًا للتقديم الرسمي، تم تدريب Dessa بالكامل على بيانات الصوت البشري، واستخدمت عملية التدريب مجموعة واحدة من ركائز GPU من إنفيديا فقط.
تنتمي Dessa إلى نموذج الكامل المزدوج، وتمامًا مثل GPT-Live الذي أصدرته OpenAI في وقت سابق من هذا العام، يمكنها الاستماع إلى صوت المستخدمين أثناء التحدث. عادةً ما يتطلب النموذج الخاص بالصوت الشائع دمج نموذج اللغة الكبيرة لاسترجاع المعرفة؛ وقال Block إن المعرفة الخاصة بـ Dessa تأتي من بيانات الحوار التي تم تدريبها.
يقول البارك، إن تجارب الذكاء الاصطناعي الصوتية الحالية غالبًا ما تكون جامدة وغير متناسقة، والسبب يكمن في أن مسار إنتاج الصوت يتطلب أولاً تحويله إلى نص، ثم تشغيل التوليد الصوتي بناءً على النص. العديد من النماذج مثل ElevenLabs v4 وFish Audio Drama 3 تعتمد على علامات الصوت للتحكم في المشاعر. بينما تدعي شركة دورسي أن التعبير عن المشاعر موجود بشكل أساسي في النموذج، لكن لا يزال غير واضح ما إذا كانت الطبقة الأساسية لا تزال تعتمد على نوع من العلامات للتحكم في المشاعر.
كتب بلوك في البوست: “تجربة التفاعل مع الذكاء الاصطناعي الصوتي حالياً سيئة للغاية. فهو يحول صوتك إلى نص أولاً، وبكميات كبيرة من النص لا يمكن تخزينها، فيسقط الكثير من المعلومات. حتى أقوى أنظمة الذكاء الاصطناعي في العالم لا تستطيع فهم مشاعرك. نعتقد أن هذا غير منطقي، ليس فقط التجربة سيئة، بل هناك أيضاً مخاطر محتملة.”
فريق البحث أصدر عدة مقاطع من حوارات مع ديسا، ويمكن لهذا الذكاء الاصطناعي تغيير نغمة الصوت وسرعة الكلام والمشاعر. على سبيل المثال، في إحدى الحوارات، قال الذكاء الاصطناعي إنه متعب من العمل، وكانت حالة صوته تعبر عن التعب أيضًا.
في مثال آخر، تحدث الذكاء الاصطناعي عن الشعور الذي يمنحه المرء الراحة، وكان نبرة صوته مليئة بالعاطفة، تقريبًا كأنه يبكي. أما العرض الآخر فهو حيث يلعب موظفو Block مع هذا المساعد الصوتي لعبة.
تحتاج الآلة إلى جهاز MacBook مزود بوحدات M4 Max أو أعلى للتشغيل على الحواسيب الاستهلاكية، لكن في الوقت الحالي لا يُسمح بالتجربة العامة من قبل Dessa. يرسل Block دعوة للاختبار إلى الباحثين في مجال الأمن، لاختبار السيناريوهات التي قد تزيد فيها الروبوتات الذكية الصوتية من خطر خداع البشر.
وفقًا لما يعرفه موقع IT Home، فإن نشاط Block الرئيسي هو الخدمات المالية، حيث يقدم حلولًا للشركات الصغيرة والمتوسطة. وقد بدأت شركة Square التابعة لها في استخدام الذكاء الاصطناعي الصوتي لمعالجة عمليات الطلبات. بعد تطوير هذا النموذج الصوتي الذي يعمل على الجهاز، من المتوقع أن تتمكن Block من إنتاج المزيد من المنتجات الصوتية للتجار والمستخدمين العاديين بتكلفة أقل.