Cresta가 CX 전문성을 Claude Agent SDK 기반의 에이전트 빌더로 전환한 방법

우리 시리즈에서는, 스타트업은 Claude로 어떻게 제품을 만들까요?, AI 제품의 이면에 있는 의사결정을 살펴봅니다. 이번 호에서는 다음을 탐구합니다 Cresta AI 네이티브 고객 경험 구축 전문성을 다음 분야에 가져왔습니다: Conductor, 개발자가 다른 에이전트를 구축하고 개선하도록 돕는 에이전트입니다.

고객 경험 사용 사례를 위한 엔터프라이즈 AI 에이전트를 구축하려면 다양한 고객 상호작용 전반에 걸쳐 내재된 맥락을 이해해야 합니다. 예를 들어 고객은 다음과 같이 할 수 있습니다:

• 어떤 구매를 말하는지 밝히지 않은 채 환불을 요청하거나,
• 같은 메시지에서 결제 문제와 로그인 문제를 함께 보고하거나,
• 반품 기간이 지난 후에 환불을 요청할 수 있습니다.

올바르게 대응하려면 에이전트가 고객이 구매한 내용, 환불 정책, 계정 이력 또는 결제 상태를 확인해야 할 수 있습니다.

Cresta는 이러한 상호작용을 대규모로 처리합니다. 동사의 플랫폼은 대화를 스스로 처리하는 고객 경험 AI 에이전트를 구동하고, 함께 일하는 휴먼 에이전트에 실시간 가이던스를 제공하며, 비즈니스가 개선해야 할 부분을 보여주는 대화 인텔리전스를 도출합니다.

고객 경험 에이전트를 구축하고 유지하려면 조직이 운영 요구 사항에 대한 핵심 결정을 내려야 합니다. 즉, 에이전트가 알아야 할 사항, 접근해야 하는 시스템, 동작이 유연해야 하는지 아니면 결정적(deterministic)이어야 하는지를 정해야 합니다. Cresta는 각 팀이 처음부터 시작하지 않고도 이러한 판단을 더 많은 팀이 활용할 수 있기를 원했습니다.

그 결과물이 Conductor입니다. 자연어 에이전트 빌더로, 팀이 복잡한 비즈니스 맥락을 프로덕션 수준의 에이전트로 전환하도록 돕습니다. 사용자는 만들고자 하는 것을 설명하고, Conductor는 근거 있는 청사진부터 구현, 평가, 최적화까지 작업을 안내합니다.

Cresta는 처음에 Claude Sonnet과 Claude Opus를 사용해 Conductor의 초기 버전을 구축하여 내부 팀이 고객 배포를 지원하도록 했습니다. 남은 과제는 Cresta가 그 시스템을 고객이 플랫폼 안에서 직접 에이전트를 구축할 수 있는 제품으로 전환할 수 있는지였습니다.

개방형 개발 작업을 수행하기 위해 Conductor는 Claude Agent SDK를 범용 하네스로 사용하여 맥락을 수집하고, 도구를 사용하고, 코드를 작성·실행하며, 결과를 바탕으로 조정합니다.

"우리는 에이전트 구축의 소프트웨어 개발 측면에서 매우 효과적이었기 때문에 Claude Code를 내부 개발 도구로 사용했습니다"라고 Cresta Conductor의 엔지니어링 리드 Renjie Li가 말했습니다. "Claude Agent SDK는 동일한 에이전틱 개발 하네스를 프로그래밍 방식으로 사용할 수 있게 해주었습니다. Conductor를 통해 여기에 Cresta의 깊이 있는 대화 인텔리전스, CX 전문 지식, 평가, 런타임을 연결하여 첫날부터 있었으면 했던 에이전트 구축 경험을 사용자에게 제공합니다."

Cresta에 따르면 Cresta와 파트너사를 대상으로 한 초기 사용 사례에서 Conductor가 초기 배포 시간을 약 절반으로 단축했습니다.

다음 에이전트를 구축하도록 돕는 메타 에이전트

Conductor는 CX 에이전트 개발을 위한 검증된 모범 사례를 기반으로 구축된 자기 개선형 메타 에이전트입니다. 팀이 이를 통해 더 많은 에이전트를 구축하고 다듬을수록 자신들만의 입증된 패턴, 워크플로, 전문가적 판단이 축적됩니다. 이는 향후 개발을 더 빠르고 일관되게 만드는 지식 플라이휠을 형성합니다.

출시 이후에는 프로덕션 상호작용, 워크플로 결과물, 피드백이 다음 개선을 위한 새로운 신호가 됩니다.

Conductor는 빌더가 에이전트 구축에서 배운 내용을 재사용 가능한 메모리 아티팩트로 전환하여 패턴, 비즈니스 규칙, 평가 방식을 담아낼 수 있도록 돕습니다. 이후 이를 스킬로 팀의 다른 구성원과 공유하여 모두가 동일한 검증된 관행을 바탕으로 구축할 수 있습니다.

중요한 의사결정을 더 쉽게

첫 프롬프트를 작성하는 것은 유용한 에이전트를 만드는 과정의 일부일 뿐입니다. 더 어려운 판단 중 하나는 대화가 어디서 유연하게 유지되어야 하고 어디서 명시적인 비즈니스 규칙과 통제된 도구 동작이 필요한지 결정하는 것입니다.

"지나치게 결정론적으로 가면 안 됩니다. 그렇지 않으면 가능한 모든 분기를 매핑하려는 거대한 의사결정 트리를 만들게 됩니다… 하지만 항상 확실히 작동해야 하는 기업 핵심 워크플로가 있으며, 특히 위험 허용도가 낮은 고도로 규제된 산업에서는 더욱 그렇습니다"라고 Renjie가 말했습니다. "Conductor는 이러한 결정론적 요구 사항과 그 구현을 발견하고 강화하면서도 전반적인 경험을 개선할 수 있는 유연성을 갖추도록 돕습니다."

Conductor는 과거 대화를 활용하여 팀이 사람이 계속 개입해야 하는 지점과 모델이 적응할 여지를 줄 수 있는 지점을 파악하도록 돕습니다. 이러한 경계가 설정되면 개발자는 여전히 결정론적 요소를 해당 요구 사항에 맞게 테스트하고, 기반이 되는 비즈니스 규칙이 변경됨에 따라 그 테스트를 수정해야 합니다.

Cresta의 Conductor 평가 방식

Conductor는 에이전트를 얼마나 잘 구축하는지로 측정됩니다. 이를 위해 Cresta는 일련의 구축 작업을 통해 Conductor를 평가합니다:

• 새 에이전트 만들기
• 하나의 테스트 케이스 작성하기
• 이미 존재하는 에이전트 변경하기
• 근본 원인 분석 수행하기

작업을 완료하는 것만이 유일한 기준은 아닙니다. 팀은 또한 결과물, Conductor가 그곳에 도달한 방식, 그리고 그 과정에서 무엇을 사용했는지도 살펴봅니다.

이러한 동일한 작업들은 안전망으로 기능합니다. 새로운 Claude 모델이 출시되거나 Conductor 프레임워크가 업데이트될 때, Cresta는 평가를 다시 실행합니다. 동일한 작업과 동일한 채점 기준을 사용하여 변경 사항에 커밋하기 전에 무엇이 개선되었고 무엇이 여전히 작업이 필요한지 파악합니다.

동일한 평가 규율은 Conductor에 내장되어 있어, 사용자가 자신의 에이전트가 의도한 대로 작동하는지 확인하고 검증할 수 있습니다. Conductor는 빌드 단계에서 캡처된 요구 사항과 엣지 케이스를 평가 모듈 내의 테스트로 전환합니다.

그런 다음 팀은 정책, 연결된 시스템, 대화 패턴이 변경되더라도 매번 작동해야 하는 워크플로우를 모니터링할 수 있습니다. 이를 통해 이미 강화된 워크플로우의 신뢰성을 잃지 않으면서 비즈니스 변화에 맞춰 에이전트를 업데이트하는 실용적인 방법을 얻게 됩니다.

Claude Agent SDK 위에 Conductor 구축하기

Cresta는 Conductor를 에이전트 개발을 위한 CX 특화 컨트롤 플레인으로 설계했습니다. Conductor는 대화 데이터, 도메인 전문성, 개발 관행을 결합한 후, 정책, 관측 가능성, 검증, 피드백 기반 개선을 통해 각 에이전트 실행을 관리합니다.

Claude Agent SDK는 Conductor 아래에서 범용 실행 하네스로 자리 잡습니다. SDK는 컨텍스트 수집, 도구 호출, 코드 작성 및 실행 작업을 관리하고, Conductor는 그 위에 Cresta의 CX 워크플로우, 도구, 도메인 컨텍스트를 계층화합니다.

팀은 Conductor가 수행해야 하는 작업, 즉 여러 단계와 방대한 컨텍스트, 반복적인 도구 사용이 필요한 작업을 기준으로 SDK를 평가했습니다. 그 검토는 구현 전반에 걸친 데이터 프라이버시, 테넌트 아키텍처, 조직 수준의 키 배포, 컨트롤, 관측 가능성을 다루었습니다.

"Anthropic은 에이전틱 소프트웨어 개발을 위한 강력한 범용 기반을 제공합니다. 덕분에 우리는 엔지니어링 투자를 Cresta가 가장 지속적인 고객 가치를 창출하는 곳에 집중할 수 있습니다"라고 Cresta의 엔지니어링 부사장 Xiangru Chen이 말했습니다.

Cresta의 엔지니어링 전문성을 고객의 손에 직접 전달하기

Conductor는 Cresta 내부에서 시작되어, 자사의 최전선 배치 팀이 어떤 개발 작업이 반복 가능해질 수 있는지, 컨텍스트가 가장 중요한 곳이 어디인지, 그리고 빌더가 과정에서 무엇을 검토해야 하는지 학습하도록 도왔습니다. 그러한 내부 작업에서의 성공은 팀이 동일한 기능을 고객과 파트너에게 제공할 자신감을 갖게 해주었습니다.

엔지니어가 직접 손으로 만드는 것보다 빠르게 커스텀 에이전트를 배포하는 제품을 보유한 모든 팀에게 Cresta의 접근 방식은 유용한 참고점입니다. 에이전트 또는 메타 에이전트를 사용할 때, 초기 빌드 이후의 작업이 종종 가장 어려운 부분입니다.

다음을 확인해 보세요: Conductor 가 비즈니스 컨텍스트를 더 나은 에이전트 설계, 구현, 지속적인 개선으로 전환하는 모습.