Der Voice-AI-Sektor boomt, und die führenden Anbieter versuchen, ihre Position zu festigen, während durch Partnerschaften und Übernahmen immer mehr Geschäftsmodelle entstehen. Deepgram ist der jüngste, der solche Schritte unternimmt: Das Unternehmen gab am Donnerstag bekannt, dass es Daily übernimmt, den Ersteller und Betreuer einer der beliebtesten Open-Source-Voice-AI-Infrastrukturen, Pipecat.
Die Unternehmen haben den Kaufpreis nicht bekannt gegeben, sagten aber, dass sie Pipecat Open Source halten werden.
Für alle, die es nicht kennen: Pipecat ist ein Framework, das Sprach- und Videostreams sowie andere Teile der Pipeline verwaltet, etwa Speech-to-Text-Modelle (STT), große Sprachmodelle (LLMs) und Text-to-Speech-Modelle (TTS), und dabei die Latenz reduziert. Sein Ersteller Daily stellt gehostete Infrastruktur für Sprach- und Videoanrufe aller Art bereit.
Mit Pipecat wird Deepgram wahrscheinlich ein tieferes Verständnis von Echtzeit-Sprach- und Video-Infrastruktur gewinnen.
Daily hat bis heute über 62 Millionen US-Dollar an Finanzierungen von Investoren wie Tiger Global, Highfield Capital, Nat Friedman, Lachy Groom und Kevin Weil eingesammelt, wie Daten von PitchBook zeigen. Anfang dieses Jahres erreichte Deepgram Einhorn-Status mit einer Series-C-Runde über 130 Millionen US-Dollar. Nebenbei bemerkt: Beide Unternehmen waren 2016 im selben Y-Combinator-Batch.
Kwindla Kramer, Mitgründer von Daily, sagte, dass das Unternehmen um die Zeit, als GPT-4 herauskam, begann, mit KI-zu-Mensch-Kommunikation über Sprache und Text zu experimentieren, was schließlich zum Pipecat-Framework führte. Er stellte fest, dass es trotz großer Übernahme-Interesse die Zusage von Deepgrams CEO Scott Stephenson war, Pipecat für immer Open Source zu halten, und dass die Engineering-Kultur beider Organisationen zusammenpasste, wodurch Dailys Team die Freiheit erhielt, an verschiedenen Teilen des Stacks innerhalb einer größeren Organisation zu arbeiten.
„Scott war super entschlossen, dass Pipecat für immer Open Source und herstellerneutral bleibt. Ich denke, es gibt dort sowohl ein persönliches Engagement als auch einen geschäftlichen Anreiz. Wenn man im Zentrum eines sehr schnell wachsenden Ökosystems sitzt und viele Teile dieses Ökosystems vom eigenen Unternehmen wirklich die besten sind, dann ist alles so offen wie möglich wie ein kommerzieller Vorteil“, sagte Kramer gegenüber TechCrunch.
Stephenson sagte, dass Deepgram schon lange im Open-Source-Bereich arbeiten wollte und das Unternehmen erkannte, dass ein Orchestrierungs-Framework für Agenten ein potenzielles Gebiet war, was die Entscheidung zur Partnerschaft mit Daily vorantrieb.
„Wir wollen das Ökosystem öffnen, damit jeder Voice-Agenten bauen kann. Es ist großartig, wenn Sie Deepgram-Modelle verwenden, aber ich möchte, dass Sie die besten Modelle für Ihren Anwendungsfall verwenden. Und wenn Deepgram bemerkt, dass wir bei einem bestimmten Bereich unserer eigenen Modelle und Produkte etwas aufzuholen haben, ist das großartig. Wir möchten, dass Sie Partner verwenden, und wir werden gleichzeitig daran arbeiten, in diesen Bereichen besser zu werden“, sagte er.
Stephenson sagte, dass die Übernahme es Entwicklern ermöglicht, Agenten mit Expressivität und End-to-End-Sprachsystemen zu bauen, indem sie verschiedene Modelle und einen Context Bus einbinden, der alle Teile verbindet.
Für Deepgram ermöglicht der Deal auch, Bereiche jenseits von Sprache durch Pipecat zu erkunden, da das Framework Echtzeitkommunikation in verschiedenen Formaten abdeckt.
„Wir haben Pipecat nie als Voice-Toolkit betrachtet. Wir haben es als das Toolkit betrachtet, das wir brauchten, um diese neue Art von KI-nativer Software zu bauen. Aufgrund unserer Herkunft sind wir einfach immer von Echtzeit ausgegangen“, sagte Kramer.
Deepgram führt auch den Real-Time Context Standard (RCS) ein, ein offenes Protokoll für Voice-Agenten, das es gemeinsam mit dem Pipecat-Team entwickelt hat. Das Protokoll definiert Metadaten wie Kontext aus dem Audio, etwa ein Flüstern, Anweisungen für ein Sprachmodell, wie es diese Signale verwenden kann, und Vorgaben dazu, wie die Antwort klingen soll.
Voice AI hat viel Investitionen sowohl von der Modell- als auch von der Infrastrukturseite gesehen. Modellanbieter wie ElevenLabs, Gradium, und Fish Audio haben Millionen von Dollar eingesammelt. Auf der anderen Seite haben Infrastrukturunternehmen wie LiveKit und Vapi in diesem Jahr mehrstufige Finanzierungsrunden im Wert von mehreren Millionen Dollar abgeschlossen.