In unserer Serie How startups build with Claude untersuchen wir die Entscheidungen hinter AI-Produkten. Hier erfahren wir, wie Cresta seine Expertise im Aufbau einer AI-native Kundenerfahrung in Conductor einbringt, ein Agent, der Entwicklern hilft, andere Agenten zu bauen und zu verbessern.
| Der schnelle Vortrag | |
|---|---|
| Name | Cresta |
| Gegründet | 2017 |
| CEO | Ping Wu |
| Wachstum | $270M+ eingesammelt. $100M+ ARR. Unterstützung für Organisationen wie United Airlines, CVS Health und Marriott bei der Bereitstellung exzellenter Kundenerlebnisse. |
Die Entwicklung von Unternehmens-AI-Agenten für Use-Cases im Bereich des Kundenerlebnisses erfordert das Verständnis des Kontexts, der in einer breiten Palette von Kundinteraktionen verankert ist. Beispielsweise können Kunden:
- Bitte fordern Sie eine Rückerstattung ohne anzugeben, welche Kaufart gemeint ist.
- Berichte über ein Rechnungsproblem und ein Login-Problem in derselben Nachricht, oder
- Bitte fordern Sie eine Rückerstattung nach Ablauf der Rückgabefrist.
Um richtig zu reagieren, muss der Agent prüfen, was der Kunde gekauft hat, die Rückerichtungspolitik, die Geschichte seines Kontos oder den Zahlungsstatus.
Cresta beobachtet diese Interaktionen in großem Maße. Ihre Plattform unterstützt den Kundenerlebnis, verwendet AI-Agenten, die Gespräche selbst erledigen, bietet den menschlichen Agenten, die mit ihnen zusammenarbeiten, Echtzeit-Erklärungen und zeigt der Unternehmung, wo Verbesserungen notwendig sind.
Die Errichtung und Pflege von Kundenerlebnis-Agenten erfordert, dass Organisationen wichtige Entscheidungen bezüglich der Betriebsanforderungen treffen: Was der Agent wissen muss, welche Systeme er benötigt und wo sein Verhalten flexibel oder deterministisch sein sollte. Cresta wollte diese Entscheidungen für mehr Teams zugänglich machen, ohne dass jeder von vorne anfangen muss.
Der Conductor ist das Ergebnis: ein Agent-Builder für natürliche Sprache, der Teams dabei hilft, komplexe Geschäftskontexte in produktionsfähige Agenten umzuwandeln. Benutzer beschreiben, was sie bauen möchten, und der Conductor leitet die Arbeit von einem grundlegenden Plan bis zur Implementierung, Evaluation und Optimierung.
Cresta baute ursprünglich eine frühe Version von Conductor mit Claude Sonnet und Claude Opus auf, um den internen Teams zu helfen, Kundentransporte zu unterstützen. Die offene Frage war, ob Cresta dieses System in ein Produkt verwandeln könnte, das Kunden nutzen können, um direkt innerhalb der Plattform Agenten zu erstellen.
Um die offenen Entwicklungsarbeiten durchzuführen, verwendet Conductor das Claude Agent SDK als allgemeine Hilfsmittel, um Kontext zu sammeln, Tools zu nutzen, Code zu schreiben und auszuführen sowie sich an die Ergebnisse anzupassen.
„Wir haben Claude Code intern als Entwicklungswerkzeug verwendet, weil es bei den Aspekten des Softwareentwicklungsprozesses zur Erstellung eines Agenten sehr effektiv war“, sagte Renjie Li, Engineering Lead von Cresta Conductor. „Das Claude Agent SDK ermöglichte es uns, diesen agentischen Entwicklungsprogramm zu programmatisch verwenden zu können. Mit Conductor haben wir ihn mit der tiefen Konversationsintelligenz, den CX-Expertisen und den Auswertungen sowie dem Laufzeitmodus von Cresta verbunden, um den Benutzern die Erfahrung bei der Agentenentwicklung zu geben, die wir von Anfang an gewünscht hätten.“
Cresta berichtet, dass in frühen Anwendungsfällen bei Cresta und seinen Partnern Conductor die anfängliche Einrichtungszeit etwa halbiert hat.
Ein Meta-Agent, der dabei hilft, den nächsten Agenten zu erstellen
Der Conductor ist ein selbstverbesserndes Meta-Agent, das auf etablierten Best Practices für die Entwicklung von CX-Agenten basiert. Wenn Teams mit ihm mehr Agenten entwickeln und weiterentwickeln, sammeln sie ihre eigenen bewährten Muster, Workflows und Expertenurteile. Dies schafft einen Wissenskreislauf, der die zukünftige Entwicklung schneller und konsistenter macht.
Nach dem Start werden die Produktionsinteraktionen, die Arbeitsabläufe und die Rückmeldungen neue Signale für die nächste Verbesserung darstellen.
Der Leiter unterstützt die Bauarbeiter dabei, das, was sie von einem Agenten erlernt haben, in eine wiederverwendbare Gedächtnisartikel zu verwandeln – indem er Muster, Geschäftsregeln und Bewertungsansätze festhält. Anschließend kann er diese Fähigkeiten mit dem Rest des Teams teilen, sodass andere ebenfalls auf denselben bewährten Praktiken aufbauen können.
Die wichtigen Entscheidungen zu erleichtern
Die Erstellung des ersten Prompts ist nur ein Teil der Entwicklung eines nützlichen Agents. Eine der schwierigeren Aufgaben besteht darin, zu bestimmen, wo das Gespräch flexibel bleiben soll und wo explizite Geschäftsrichtlinien sowie ein kontrolliertes Toolverhalten erforderlich sind.
„Man möchte nicht zu deterministisch vorgehen, sonst erstellt man einen riesigen Entscheidungsbaum, der versucht, alle möglichen Zweige abzubilden… Aber es gibt Unternehmenskritische Workflows, bei denen man sicherstellen muss, dass sie ständig funktionieren, besonders in hochregulierten Branchen mit niedriger Risikotoleranz“, sagte Renjie. „Conductor hilft dabei, diese deterministischen Anforderungen zu entdecken und zu verstärken sowie die Umsetzung mit der Flexibilität, um das Gesamterlebnis zu verbessern.“
Der Leiter nutzt historische Gespräche, um den Teams zu helfen, herauszufinden, wo ein Mensch im Prozess bleiben sollte und wo dem Modell Raum zur Anpassung gegeben werden kann. Sobald diese Grenzen festgelegt sind, müssen die Entwickler die deterministischen Bestandteile noch gegen die erforderlichen Anforderungen testen und die Tests anpassen, wenn die zugrunde liegenden Geschäftsregeln sich ändern.
Wie Cresta den Conductor bewertet
Die Leistung von Conductor wird anhand der Qualität der Agentenbildung gemessen. Zu diesem Zweck führt Cresta Conductor durch eine Reihe von Build-Tasks:
- Erstelle einen neuen Agenten
- Schreibe einen Testfall für eine
- Ändern eines bereits existierenden Agents
- Führen Sie eine Ursachendiskussion durch
Das Erledigen der Aufgabe ist nicht das einzige Kriterium. Das Team betrachtet auch die Ergebnisse, wie der Conductor dorthin gekommen ist und was er auf dem Weg verwendet hat.
| Bewertung | Die von der Frage beantwortete Frage |
|---|---|
| Ergebnis | Hat Conductor das angeforderte, verwendbare Artefakt produziert? |
| Ausführungspfad | Hat es die angemessenen Werkzeuge und den erforderlichen Kontext verwendet? |
| Qualität | Wie verhält sich das Ergebnis im Vergleich zu einer sorgfältig zusammengestellten Referenz? |
| Ressourcennutzung | Wie viel Zeit und Modellverwendung benötigte die Aufgabe? |
Diese gleichen Aufgaben fungieren als Sicherheitsnetz. Wenn ein neuer Claude-Modell oder das Conductor-Framework aktualisiert wird, wiederholt Cresta seine Bewertungen. Es verwendet dieselben Aufgaben und dieselbe Bewertungssystematik, um herauszufinden, was verbessert wurde und was noch verbesserungsbedürftig ist, bevor jemand die Änderung implementiert.
Diese gleiche Bewertungsdisziplin ist in Conductor integriert, wodurch seine Benutzer überprüfen können, ob ihre Agenten nach den ursprünglichen Vorgaben funktionieren. Conductor wandelt die Anforderungen und Randfälle, die während der Entwicklungsphasen erfasst werden, in Tests im Bereich der Bewertungseinheit um.
Die Teams können anschließend die Workflows überwachen, die jedes Mal funktionieren müssen, wenn Politiken, verbundene Systeme und Gesprächsmuster sich ändern. Dadurch haben sie eine praktische Möglichkeit, den Agenten zu aktualisieren, während sich das Geschäft verändert, ohne die Zuverlässigkeit der bereits festgelegten Workflows zu verlieren.
Konstruktion von Leiter mit dem Claude Agent SDK
Cresta entwarf Conductor als das für CX spezifische Kontrollfläche für die Entwicklung von Agenten. Es vereint Gesprächsdaten, domainbezogene Expertise und Entwicklungspraktiken, und steuert jede Agentaktion durch Richtlinien, Überwachbarkeit, Verifizierung und Feedbackgesteuerte Verbesserungen.
Das Claude Agent SDK steht unter Conductor als allgemeiner Ausführungshintergrund. Es verwaltet die Aufgaben wie das Sammeln von Kontext, das Aufrufen von Tools sowie das Schreiben und Ausführen von Code; Conductor legt Cresta’s CX-Werkzeuge, Tools und Domainkontext oberhalb ab.
Die Gruppe bewertete das SDK im Vergleich mit den Aufgaben, die Conductor ausführen musste: Aufgaben mit mehreren Schritten, umfangreicher Kontext und wiederholtes Einsatz von Werkzeugen. Die Überprüfung umfasste Datenschutz, Architektur der Nutzer, Verteilung von Schlüsseln auf Organisationsebene, Kontrollmechanismen und Überwachbarkeit bei der Implementierung.
„Anthropic bietet uns eine starke, allgemeine Grundlage für die Entwicklung agentischer Software. Dadurch können wir unsere Ingenieureinvestitionen dort platzieren, wo Cresta den stärksten Kundewert beiträgt“, sagte Xiangru Chen, Vizepräsident für Ingenieurwesen bei Cresta.
Die Ingenieurkompetenz von Cresta direkt in die Hände der Kunden geben
Der Leiter begann im Inneren von Cresta mit der Unterstützung seines vorgeschobenen Teams, herauszufinden, welche Entwicklungsaufgaben wiederholbar waren, wo der Kontext am wichtigsten war und was die Bauarbeiter auf dem Weg zu überprüfen hatten. Der Erfolg dieser internen Arbeit gab dem Team das Vertrauen, dieselben Fähigkeiten an Kunden und Partner weiterzugeben.
Für jedes Team, dessen Produkt benutzerdefinierte Agenten schneller implementiert, als die Ingenieure sie selbst erstellen können, ist Crestas Ansatz ein nützlicher Referenzpunkt: Bei Agenten oder Meta-Agenten ist die Arbeit nach der initialen Implementierung oft die schwierigste.
Sehen Sie, wie Conductor den Geschäftskontext in eine bessere Agent-Designung, Implementierung und kontinuierliche Verbesserung umwandelt.
| Beste Praktiken von der Cresta-Team | |
|---|---|
| Testen Sie Ihre Produkte mit eigenen Daten | Der Konduktor wurde zunächst als interne Tool verwendet und wurde erst zu einem Produkt, als seine Ausgabe mit dem übereinstimmte, was ein Ingenieur mit tiefem AI-Wissen entwickeln würde. |
| Konzentrieren Sie sich auf Ihre einzigartigen Vorteile | Cresta zog eine klare Grenze zwischen der Expertise, die nur sie bieten konnten (ihre Gesprächsdaten und ihr Verständnis für den Kundeneindruck), und dem, was sie aus dem Agent SDK herausnehmen konnten. Sie weigerte sich, etwas zu erstellen, das auf der falschen Seite dieser Grenze lag. |
| Welche Teile Ihres Agents müssen deterministisch sein | Stärken Sie die für das Unternehmen wichtigen Workflows, die niemals falsch laufen dürfen, und lassen Sie den Rest flexibel bleiben – sonst erhalten Sie nicht die interaktive agentische Erfahrung, die Sie sich wünschen. |
| Das Einführen in den Produktionsbetrieb ist die einfache Seite | Die anfängliche Entwicklung umfasst nur etwa 20% der Arbeit; die restlichen 80% sind die Tests, Optimierung und kontinuierliche Verbesserungen, die anschließend erfolgen. Deshalb sollten Sie Ihre Tools nach dem Iterationsprozess entwerfen, nicht nach dem Start. |