En nuestra serie, Cómo las startups construyen con Claude, examinamos las decisiones que subyacen en los productos de IA. Aquí, exploramos cómo Cresta Trajo su experiencia en la construcción de una experiencia de cliente nativa para IA Conductor, un agente que ayuda a los desarrolladores a construir y mejorar otros agentes.
| El discurso rápido | |
|---|---|
| Nombre | Cresta |
| Fundado | 2017 |
| CEO | Ping Wu |
| Crecimiento | $270M+ recaudados. $100M+ ARR. Ayudando a organizaciones como United Airlines, CVS Health y Marriott a ofrecer experiencias de cliente excepcionales. |
Construir agentes de IA empresariales para casos de uso de experiencia del cliente requiere comprender el contexto presente en una amplia gama de interacciones con los clientes. Por ejemplo, los clientes pueden:
- Solicite un reembolso sin especificar qué compra se refiere.
- Informe un problema de facturación y un problema de inicio de sesión en el mismo mensaje, o
- Solicite un reembolso después de que se cierre la ventana de devolución.
Para responder correctamente, el agente podría necesitar verificar lo que el cliente compró, la política de reembolso, su historial de cuenta o el estado del pago.
Cresta observa estas interacciones en gran escala. Su plataforma impulsa la experiencia del cliente, agentes de IA que gestionan las conversaciones por sí mismos, proporcionan orientación en tiempo real para los agentes humanos que trabajan junto a ellos, y muestra la inteligencia de la conversación para indicar al negocio dónde mejorar.
La construcción y el mantenimiento de agentes de experiencia del cliente requieren que las organizaciones tomen decisiones clave en cuanto a los requisitos operativos: lo que el agente debe saber, qué sistemas debe acceder y dónde su comportamiento debe ser flexible o determinista. Cresta quería poner ese juicio a disposición de más equipos, sin que cada uno comience desde cero.
Conductor es el resultado: un constructor de agentes de lenguaje natural que ayuda a los equipos a convertir el complejo contexto empresarial en agentes listos para producción. Los usuarios describen lo que desean construir, y Conductor guía el trabajo desde un plano detallado, pasando por la implementación, la evaluación y la optimización.
Cresta construyó originalmente una versión temprana de Conductor utilizando Claude Sonnet y Claude Opus para ayudar a los equipos internos a apoyar las implementaciones de clientes. La pregunta abierta era si Cresta podría convertir ese sistema en un producto que los clientes pudieran usar para crear agentes directamente dentro de la plataforma.
Para llevar a cabo el trabajo de desarrollo de carácter abierto, Conductor utiliza el Claude Agent SDK como un dispositivo de uso general para recopilar contexto, usar herramientas, escribir y ejecutar código, y adaptarse según los resultados.
“Usamos Claude Code internamente como herramienta de desarrollo, ya que era muy efectivo en los aspectos de desarrollo de software relacionados con la creación de un agente”, dijo Renjie Li, líder de ingeniería de Cresta Conductor. “El SDK del Claude Agent nos permitió utilizar ese programa de desarrollo agente de manera programática. Con Conductor, lo hemos conectado con la profunda inteligencia de conversación de Cresta, su experiencia en CX, sus evaluaciones y su ejecución en tiempo real, para ofrecer a los usuarios la experiencia de creación de agentes que deseábamos tener desde el primer día”.
Cresta informa que, en los primeros casos de uso entre Cresta y sus socios, Conductor redujo el tiempo inicial de despliegue aproximadamente a la mitad.
Un meta-agente que ayuda a construir el siguiente agente
El conductor es un agente meta que se mejora automáticamente, construido sobre las buenas prácticas establecidas para el desarrollo de agentes CX. A medida que los equipos construyen y perfeccionan más agentes con él, capturan sus propios patrones, flujos de trabajo y juicio experto probados. Esto crea un volante de conocimiento que hace que el desarrollo futuro sea más rápido y más consistente.
Después del lanzamiento, las interacciones de producción, los resultados del flujo de trabajo y los comentarios se convierten en nuevos señales para la siguiente mejora.
El conductor ayuda a los constructores a convertir lo que aprendieron de un agente de construcción en un artefacto de memoria reutilizable, capturando patrones, reglas de negocio y enfoques de evaluación. Luego pueden compartirlo como habilidad con el resto del equipo, para que otros puedan construir basándose en las mismas prácticas probadas.
Hacer las decisiones importantes más fáciles
Escribir el primer prompt es solo una parte de la creación de un agente útil. Una de las tareas más difíciles es determinar dónde debe mantenerse la flexibilidad en la conversación y dónde se necesitan reglas comerciales explícitas y un comportamiento controlado por los herramientas.
“No se quiere ser demasiado determinista; de lo contrario, se crea un gran árbol de decisiones que intenta mapar cada rama posible… Pero hay flujos de trabajo críticos para la empresa que es necesario asegurar que funcionen constantemente, especialmente en industrias altamente reguladas con baja tolerancia al riesgo”, dijo Renjie. “Conductor ayuda a descubrir y fortalecer esos requisitos deterministas y a implementarlos con flexibilidad para mejorar la experiencia general”.
El conductor utiliza conversaciones históricas para ayudar a los equipos a determinar dónde debe permanecer el humano y dónde puede tener espacio para adaptarse el modelo. Una vez establecidos esos límites, los desarrolladores todavía necesitan probar las partes deterministas frente a los requisitos que deben cumplir, y revisar esas pruebas a medida que cambien las reglas comerciales subyacentes.
¿Cómo evalúa Cresta a Conductor?
El conductor se mide por cuán bien construye agentes. Para ello, Cresta ejecuta Conductor a través de un conjunto de tareas de construcción:
- Construir un nuevo agente
- Escriba un caso de prueba para uno
- Cambiar un agente que ya existe
- Realizar el análisis de causa raíz
Terminar la tarea no es lo único importante. El equipo también considera los resultados, cómo llegó el Conductor y qué utilizó en el proceso.
| Evaluación | La pregunta que responde |
|---|---|
| Resultado | ¿El Conductor produjo el artefacto solicitado y útil? |
| Ruta de ejecución | ¿Utilizó las herramientas adecuadas y el contexto requerido? |
| Calidad | ¿Cómo se compara el resultado con una referencia seleccionada? |
| Uso de recursos | ¿Cuánto tiempo y uso de modelo requirió la tarea? |
Esas mismas tareas funcionan como una red de seguridad. Cuando se lanza un nuevo modelo de Claude o se actualiza el framework Conductor, Cresta vuelve a realizar sus evaluaciones. Utiliza las mismas tareas y el mismo sistema de puntuación para identificar qué ha mejorado y qué todavía necesita ser trabajado antes de que alguien cometa cambios.
Esa misma disciplina de evaluación está integrada en Conductor, lo que permite a sus usuarios verificar y determinar si sus agentes funcionan según lo previsto. Conductor convierte los requisitos y los casos especiales capturados durante las fases de construcción en pruebas dentro de su módulo de evaluación.
Los equipos pueden luego monitorear los flujos de trabajo que deben funcionar siempre, a medida que cambien las políticas, los sistemas conectados y los patrones de conversación. Esto les proporciona una forma práctica de actualizar un agente a medida que cambia la empresa, sin perder la fiabilidad de los flujos de trabajo que ya han sido reforzados.
Construcción de Conductor en el SDK de Claude Agent
Cresta diseñó Conductor como el plano de control específico para CX para el desarrollo de agentes. Reúne datos de conversación, conocimientos especializados en el dominio y prácticas de desarrollo, y luego gestiona cada ejecución de agente a través de políticas, observabilidad, verificación y mejora impulsada por retroalimentación.
El SDK del agente Claude se encuentra debajo de Conductor como un sistema de ejecución de uso general. Gestiona el trabajo de recopilar el contexto, llamar a herramientas y escribir y ejecutar código; los capas de Conductor aplican los flujos de trabajo, las herramientas y el contexto del dominio de Cresta.
El equipo evaluó el SDK en relación con la labor que Conductor necesitaba realizar: tareas con múltiples pasos, un contexto significativo y el uso repetido de herramientas. Su revisión abarcó la privacidad de los datos, la arquitectura del inquilino, la distribución de claves a nivel organizacional, los controles y la observabilidad en toda la implementación.
“Anthropic nos proporciona una base sólida y de uso general para el desarrollo de software agente. Eso nos permite invertir en ingeniería en los lugares donde Cresta crea el mayor valor para los clientes”, dijo Xiangru Chen, vicepresidente de Ingeniería en Cresta.
Entregar directamente las habilidades de ingeniería de Cresta en manos de los clientes
El conductor comenzó dentro de Cresta, ayudando a su propio equipo desplegado hacia adelante a entender qué tareas de desarrollo podían volverse repetibles, dónde era más importante el contexto y qué necesitaban inspeccionar los constructores en el camino. Su éxito en ese trabajo interno dio al equipo la confianza para llevar las mismas capacidades a clientes y socios.
Para cualquier equipo cuyo producto implementa agentes personalizados más rápido de lo que sus ingenieros pueden construirlos manualmente, el enfoque de Cresta es un punto de referencia útil: con agentes o meta-agentes, el trabajo que se realiza después de la construcción inicial suele ser la parte más difícil.
Vea cómo Conductor convierte el contexto empresarial en un diseño, implementación y mejora continua mejorados del agente.
| Mejores prácticas del equipo de Cresta | |
|---|---|
| Probar tus productos con el producto propio | El conductor se desarrolló primero como una herramienta interna, y solo se convirtió en un producto cuando su resultado coincidía con lo que un ingeniero con profunda experiencia en IA construiría. |
| Enfócate en tus ventajas únicas | Cresta trazó una línea clara entre la experiencia que solo ellos podían aportar (los datos de su conversación y su comprensión del experiencia del cliente) y lo que podían extraer del Agent SDK, y se negó a crear cualquier cosa que estuviera al otro lado de esa línea. |
| ¿Qué partes de su agente deben ser deterministas? | Harden los flujos de trabajo críticos para la empresa que nunca pueden fallar y deje el resto flexible; de lo contrario, no obtendrá la experiencia agentica interactiva que desea. |
| Llegar a producción es la parte fácil | La construcción inicial representa solo alrededor del 20% del esfuerzo; el 80% restante corresponde a las pruebas, la optimización y la mejora continua que siguen. Por lo tanto, diseña tus herramientas en función del ciclo de iteración, no del lanzamiento. |