IT之家 Am 25. Oktober gab die Block-Gesellschaft von Jack Dorsey, dem Gründer von Twitter, ein neues Sprachmodell namens Dessa heraus. Dieses kann lokally ausgeführt werden und simuliert Emotionen wie Lachen, Pausen und Schluchzen – es klingt sehr menschlich. Laut der offiziellen Einstellung wurde Dessa vollständig mit menschlichen Sprachdaten trainiert, und das Training wurde nur mit einer Gruppe von NVIDIA-GPU-Racks durchgeführt.
Dessa gehört zum Full-Duplex-Modell und ist wie der GPT-Live, den OpenAI Anfang dieses Jahres veröffentlicht hat, in der Lage, während des Sprechens die Sprachbeiträge der Nutzer anzuhören. Durchschnittliche Sprachmodellen benötigen in der Regel ein Large Language Model, um Wissen abzurufen; Block sagte, dass das eigene Wissen von Dessa aus den Gesprächsdaten stammt, die für ihre Trainierung verwendet wurden.
Der Block besagt, dass die aktuellen Sprach-AI-Erlebnisse oft starr und unnatürlich sind. Der Grund dafür liegt darin, dass der Generierungsprozess zunächst in Text umgewandelt werden muss, bevor das Textdaten dann für die Sprachsynthese verwendet werden. Modelle wie ElevenLabs v4 und Fish Audio Drama 3 nutzen Sprachlabels, um Emotionen zu steuern. Die Firma aus Dolsi behauptet jedoch, dass die Emotionenausdruck im Modell von Anfang an integriert ist. Es ist jedoch noch unklar, ob die Grundstruktur weiterhin auf bestimmten Labels für die Emotionsteuerung angewendet wird.
Der Block schrieb im Blog: „Die aktuelle Interaktion mit Sprach-KI-Technologien ist wirklich schlecht. Zuerst wird dein Gesang in Text umgewandelt, und die vielen Informationen, die damit transportiert werden, gehen direkt verloren. Selbst die stärkste KI der Welt kann deine Emotionen nicht erkennen. Wir halten das für unvernünftig – es ist nicht nur die Erfahrung schlecht, sondern es gibt auch potenzielle Risiken.“
Die Forschungsteams haben Beispiele für Dialoge mit Dessa veröffentlicht. Dieser KI-Spieler kann den Ton, die Sprechlänge und die Emotionen wechseln. In einem bestimmten Dialog sagt die AI, dass sie sehr müde ist, und der Klang zeigt ebenfalls eine Erschöpfung an.
In einem weiteren Beispiel spricht die AI über ein Gefühl, das ihr geholfen hat, und ihre Stimme ist emotional, fast weinend. In einer anderen Demonstration spielen Mitarbeiter von Block mit diesem Sprachassistenten.
Offizielle Anweisung: Das Modell kann auf Consumer-Computer lokal ausgeführt werden, wobei das Gerät eine M4 Max oder höhere Konfiguration eines MacBook erfordert. Aufgrund der aktuellen Situation ist die Testnutzung von Dessa jedoch noch nicht öffentlich zugänglich. Block sendet Einladungen an Sicherheitsexperten, um Szenarien zu testen, in denen solche Sprachintelligenzsysteme das Risiko eines Täuschungspotenzials gegenüber Menschen erhöhen.
Laut IT Home ist das Hauptgeschäft von Block in Finanzdienstleistungen, mit Lösungen für kleine und mittlere Unternehmen. Die Unternehmung Square verwendet bereits eine Sprach-KI zur Verarbeitung von Bestellungen. Nach der Entwicklung dieses auf Endgeräten laufenden Sprachmodells wird Block mit niedrigeren Kosten mehr Sprachprodukte für Händler und normale Nutzer verfügbar machen können.