IT之家 Am 12. November berichtete iFlytek, dass das große Modell SparkAudio 1.0 der Xunfei Sparkfire Voice Base heute über die API-Dienste auf der Xunfei Open-Plattform verfügbar ist.Entwickler können es direkt nutzen und abrufen.
SparkAudio 1.0 unterstützt Eingaben in beiden Modi – Text und Sprache – sowie Ausgaben im Textmodus. Es kann Aufgaben wie Sprachtranskription, Mehrsprachige Übersetzung, Dialekterkennung, Umgebungsgeräuscheverständnis, Sprecherunterscheidung, Emotionenanalyse und komplexe Audio-Fragen-und-Antwort-Szenarien umsetzen.
Laut offiziellen Angaben wurde in der Vergangenheit das Audio meist mit einem Kaskadenverfahren bearbeitet: Zuerst wird der Sprachton in Text umgewandelt, anschließend wird er von einem großen Modell verstanden. Diese Methode hat zwei deutliche Nachteile:
Informationen verloren: Die Texte können nur aufschreiben, was gesagt wurde, aber sie verlieren den Tonfall, die Emotionen sowie die Hintergrundgeräusche im Sprachsignal. Dadurch ist die Einschätzung der Szene durch das Modell unvollständig und beeinflusst dies auch das Ergebnis.
Verknüpfungsbruch: Dieses System teilt Fähigkeiten wie Sprachübersetzung, Stimmenerkennung und Sprachübersetzung in unabhängige Module auf, die miteinander verbunden werden. Zwischen den Modulen gibt es Lücken, was nicht nur Fehler verursacht, sondern auch Verzögerungen und Latenzen im Benutzererlebnis führt.
Laut der Präsentation löst das große Sprachmodell des Voice Base Problems: Es tut nicht mehr nur Sprache in Text um, sondern versteht direkt Sprache. Das große Sprachmodell des Voice Base versteht auf einmal menschliche Stimmen, Umgebungsgeräusche, Musik usw., und kann außerdem die Semantik, Emotionen und Szenen im Klang verstehen.
Im Vergleich zu den Vorgenerationsmodellen hat das SparkAudio 1.0-Base-Set von Xinghuo neue Upgrades in drei Bereichen erhalten:
Mehr hören: Unterstützt 99 Sprachen und 202 Dialekte, kann Multilinguale Spracherkennung und Übersetzungsaufgaben verarbeiten;
Klarere Verständnis: Von Spracherkennung bis Multidimensionales Audioverständnis, kann die tiefere Bedeutung von Sprache verstehen und unterstützt verschiedene Anwendungsfälle wie intelligente Kundenservice, Autokabinen, interkulturelle Konferenzen, medizinische Akten und Inhaltsprüfung.
Weiterer Einsatz: Nationaler KI-Training-Service, der Entwicklern und Branchenanwendungen eine selbststeuerbare und kontrollierbare Sprachintelligenz-Basis bietet.
IT Home mit relevanten Links:
Erlebnis-Link: https://iflytekresearch.iflytek.com/console/spark-audio
API-Adresse: https://www.xfyun.cn/services/Spark_Audio_1.0
Relevante Lektüre: