Dans notre série, Comment les startups construisent avec Claude, nous examinons les décisions qui sous-tendent les produits d'IA. Ici, nous explorons comment Cresta a mis son expertise dans la création d'expériences client nativement IA au service de Conductor, un agent qui aide les développeurs à construire et améliorer d'autres agents.
| Le pitch en bref | |
|---|---|
| Nom | Cresta |
| Fondée | 2017 |
| PDG | Ping Wu |
| Croissance | Plus de 270M$ levés. Plus de 100M$ de revenu annuel récurrent. Aide des organisations comme United Airlines, CVS Health et Marriott à offrir des expériences client exceptionnelles |
Construire des agents d'IA d'entreprise pour des cas d'usage d'expérience client exige de comprendre le contexte incorporé dans un large éventail d'interactions avec les clients. Par exemple, les clients peuvent :
- Demander un remboursement sans préciser quel achat ils visent,
- Signaler un problème de facturation et un problème de connexion dans le même message, ou
- Demander un remboursement après la fermeture de la période de retour.
Pour répondre correctement, l'agent peut avoir besoin de vérifier ce que le client a acheté, la politique de remboursement, son historique de compte ou le statut du paiement.
Cresta observe ces interactions en grand volume. Sa plateforme alimente l'expérience client, des agents IA qui gèrent seuls les conversations, fournissent des conseils en temps réel aux agents humains qui travaillent à leurs côtés, et dégagent une intelligence conversationnelle qui montre à l'entreprise où s'améliorer.
Construire et maintenir des agents d'expérience client oblige les organisations à prendre des décisions clés sur les exigences opérationnelles : ce que l'agent doit savoir, quels systèmes il doit consulter, et où son comportement doit être flexible ou déterministe. Cresta voulait rendre ce jugement accessible à davantage d'équipes sans que chacune ait à repartir de zéro.
Conductor est le résultat : un générateur d'agents en langage naturel qui aide les équipes à transformer un contexte métier complexe en agents prêts pour la production. Les utilisateurs décrivent ce qu'ils veulent construire, et Conductor guide le travail depuis un plan contextualisé jusqu'à l'implémentation, l'évaluation et l'optimisation.
Cresta a d'abord construit une première version de Conductor en utilisant Claude Sonnet et Claude Opus pour aider les équipes internes à accompagner les déploiements clients. La question ouverte était de savoir si Cresta pouvait transformer ce système en un produit que les clients pourraient utiliser pour construire des agents directement dans la plateforme.
Pour mener à bien des travaux de développement ouverts, Conductor utilise le Claude Agent SDK comme harnais à usage général pour rassembler du contexte, utiliser des outils, écrire et exécuter du code, et s'adapter en fonction des résultats.
« Nous utilisions Claude Code en interne comme outil de développement parce qu'il était très efficace pour les aspects de développement logiciel de la création d'un agent », a déclaré Renjie Li, responsable de l'ingénierie pour Cresta Conductor. « Le Claude Agent SDK nous a donné un moyen d'utiliser ce même harnais de développement agentique de manière programmatique. Avec Conductor, nous l'avons connecté à l'intelligence conversationnelle approfondie de Cresta, à son expertise CX, à ses évaluations et à son runtime pour offrir aux utilisateurs l'expérience de création d'agents que nous aurions aimé avoir dès le premier jour. »
Cresta indique que dans les premiers cas d'usage au sein de Cresta et de ses partenaires, Conductor a réduit d'environ moitié le temps de déploiement initial.
Un méta-agent qui aide à construire le prochain agent
Conductor est un méta-agent auto-améliorant construit sur des bonnes pratiques établies pour le développement d'agents CX. À mesure que les équipes construisent et affinent davantage d'agents avec cet outil, elles capturent leurs propres modèles éprouvés, flux de travail et expertises. Cela crée une roue de l'innovation des connaissances qui rend les développements futurs plus rapides et plus cohérents.
Après le lancement, les interactions en production, les résultats des flux de travail et les retours deviennent de nouveaux signaux pour la prochaine amélioration.
Conductor aide les développeurs à transformer ce qu'ils ont appris lors de la construction d'un agent en un artefact de mémoire réutilisable, capturant les modèles, les règles métier et les approches d'évaluation. Ils peuvent ensuite le partager sous forme de skill avec le reste de l'équipe, afin que d'autres puissent construire à partir des mêmes pratiques éprouvées.
Faciliter les décisions importantes
Écrire la première invite n'est qu'une partie de la construction d'un agent utile. L'une des décisions les plus difficiles est de déterminer où une conversation doit rester flexible et où elle a besoin de règles métier explicites et d'un comportement contrôlé des outils.
"Vous ne voulez pas être trop déterministe, sinon vous créez un arbre de décision géant essayant de cartographier chaque branche possible… mais il existe des flux de travail critiques pour l'entreprise que vous devez garantir de fonctionner en permanence, en particulier pour les industries fortement réglementées avec une faible tolérance au risque," a déclaré Renjie. "Conductor aide à découvrir et à renforcer ces exigences déterministes et leur implémentation avec la flexibilité nécessaire pour améliorer l'expérience globale."
Conductor s'appuie sur les conversations historiques pour aider les équipes à identifier où un humain doit rester dans la boucle et où le modèle peut se voir donner la latitude de s'adapter. Une fois ces limites fixées, les développeurs doivent toujours tester les composantes déterministes par rapport aux exigences qu'elles sont censées faire respecter, et réviser ces tests à mesure que les règles métier sous-jacentes évoluent.
Comment Cresta évalue Conductor
Conductor est mesuré sur la qualité avec laquelle il construit des agents. À cette fin, Cresta soumet Conductor à un ensemble de tâches de construction :
- Créer un nouvel agent
- Écrire un cas de test pour l'un d'eux
- Modifier un agent existant
- Réaliser une analyse des causes racines
Terminer la tâche n'est pas le seul critère. L'équipe examine également les résultats, la manière dont Conductor y est parvenu et ce qu'il a utilisé en chemin.
| Évaluation | Question à laquelle elle répond |
|---|---|
| Résultat | Conductor a-t-il produit l'artefact demandé et utilisable ? |
| Chemin d'exécution | A-t-il utilisé les outils appropriés et le contexte requis ? |
| Qualité | Comment le résultat se compare-t-il à une référence élaborée avec soin ? |
| Utilisation des ressources | Combien de temps et d'utilisation du modèle la tâche a-t-elle nécessité ? |
Ces mêmes tâches servent de filet de sécurité. Lorsqu'un nouveau modèle Claude est lancé ou que le framework Conductor est mis à jour, Cresta réexécute ses évaluations. Elle utilise les mêmes tâches et le même barème pour identifier ce qui s'est amélioré et ce qui nécessite encore du travail avant que quiconque ne valide le changement.
Cette même discipline d'évaluation est intégrée à Conductor, qui permet à ses utilisateurs de vérifier si leurs agents fonctionnent comme prévu. Conductor transforme les exigences et les cas limites recensés durant les phases de construction en tests au sein de son module d'évaluation.
Les équipes peuvent ainsi surveiller les workflows qui doivent fonctionner à chaque fois à mesure que les politiques, les systèmes connectés et les schémas de conversation évoluent. Cela leur offre un moyen concret de mettre à jour un agent au gré des évolutions de l'activité sans perdre la fiabilité des workflows qu'elles ont déjà consolidés.
Construire Conductor sur le Claude Agent SDK
Cresta a conçu Conductor comme le plan de contrôle spécifique au CX pour le développement d'agents. Il réunit données de conversation, expertise du domaine et pratiques de développement, puis régit chaque exécution d'agent par la politique, l'observabilité, la vérification et l'amélioration fondée sur les retours.
Le Claude Agent SDK se situe sous Conductor en tant que harnais d'exécution à usage général. Il gère le travail de collecte de contexte, d'appel d'outils et d'écriture et d'exécution de code ; Conductor superpose par-dessus les workflows CX, les outils et le contexte du domaine de Cresta.
L'équipe a évalué le SDK par rapport au travail que Conductor devait accomplir : des tâches en plusieurs étapes, avec un contexte substantiel et une utilisation répétée d'outils. Son examen a porté sur la confidentialité des données, l'architecture multi-locataires, la distribution des clés au niveau de l'organisation, les contrôles et l'observabilité de l'ensemble de l'implémentation.
« Anthropic nous offre une base générale et solide pour le développement logiciel agentique. Cela nous permet de concentrer notre investissement d'ingénierie là où Cresta crée la valeur client la plus durable », a déclaré Xiangru Chen, VP of Engineering chez Cresta.
Mettre l'expertise d'ingénierie de Cresta directement entre les mains des clients
Conductor a démarré au sein de Cresta, aidant sa propre équipe de déploiement à apprendre quelles tâches de développement pouvaient devenir répétables, où le contexte importait le plus et ce que les développeurs devaient inspecter en cours de route. Son succès dans ce travail interne a donné à l'équipe la confiance nécessaire pour apporter les mêmes capacités aux clients et partenaires.
Pour toute équipe dont le produit déploie des agents personnalisés plus vite que ses ingénieurs ne peuvent les construire à la main, l'approche de Cresta constitue un point de référence utile : avec les agents ou méta-agents, le travail après la construction initiale est souvent la partie la plus difficile.
Découvrez comment Conductor transforme le contexte métier en une meilleure conception, implémentation et amélioration continue des agents.
| Bonnes pratiques de l'équipe Cresta | |
|---|---|
| Utilisez vos propres produits | Conductor a d'abord fonctionné comme un outil interne, et n'est devenu un produit que lorsque ses résultats égalaient ce qu'un ingénieur disposant d'une expertise approfondie en IA aurait construit. |
| Concentrez-vous sur vos avantages uniques | Cresta a tracé une ligne nette entre l'expertise que seule leur équipe pouvait apporter (leurs données de conversation et leur compréhension de l'expérience client) et ce qu'ils pouvaient prendre tel quel dans l'Agent SDK, et a refusé de construire quoi que ce soit du mauvais côté de cette ligne. |
| Quelles parties de votre agent doivent être déterministes | Renforcez les workflows critiques pour l'entreprise qui ne doivent jamais échouer et laissez le reste flexible, sinon vous n'obtiendrez pas l'expérience agentique interactive que vous recherchez. |
| Arriver en production, c'est la partie facile | La construction initiale ne représente qu'environ 20 % de l'effort, les 80 % restants correspondent aux tests, à l'optimisation et à l'amélioration continue qui suivent ; concevez donc vos outils autour de la boucle d'itération, et non du lancement. |