소개
대규모로 AI 에이전트를 출시하는 팀들은 계속해서 동일한 패턴에 부딪힙니다. Fable이나 Astra 같은 최상위 모델을 기반으로 만들어진 에이전트조차도 특정 제품 안에서 복잡한 엔드투엔드 작업을 배포할 수 있을 만큼 일관되게 수행하는 데 어려움을 겪습니다. 그래서 팀들은 가장 중요한 워크플로우에 대한 평가(evals)를 고됩니다. 흔히 수백 또는 수천 개의 수작업으로 작성된 사례들이죠. 그리고 프롬프트 수정, 하네스 수정, 특수 사례 처리를 통해 에이전트를 조금씩 개선해 나가며, 충분한 사례를 통과해야 비로소 라이브로 배포할 수 있게 됩니다.
한편, 해당 제품의 자체 사용자들은 매일 동일한 작업을 수행하며 어떤 행동을 어떤 순서로 취해야 하는지 알고 있습니다. 오픈 소스 CopilotKit 프레임워크와 AG-UI 프로토콜을 개발한 회사인 CopilotKit은 공개했습니다. CLiF, 풀스택 트라젝터리로부터의 지속적 학습을 위한 플랫폼인 얼리 액세스. CLiF는 에이전트가 수행하는 작업과 사용자가 제품에서 하는 행동을 안전하게 기록하고, 그 기록을 스킬, 프로덕션 기반 평가, 파인튜닝 데이터셋으로 변환하며, 이 모든 것은 원시 트라젝토리와 함께 내보낼 수 있습니다.
CopilotKit는 오픈 소스입니다, GitHub에서 38,000개가 넘는 스타를 받았습니다.
TL;DR
- 에이전트 트레이싱은 에이전트가 어디서 잘못되었는지를 보여주지만, 올바른 경로는 사용자가 제품에서 수행하는 행동 속에 있으며, 대부분의 스택은 이를 전혀 수집하지 않습니다.
- CLiF는 현재 얼리 액세스 단계에 있으며, 풀스택 트래젝터리로부터 학습합니다. 즉, 에이전트 트레이스와 제품에서 사용자가 수행한 작업을 AG-UI를 통해 하나의 타임라인으로 안전하게 캡처하여 학습합니다.
- CopilotKit의 Automatic Learning을 기반으로 구축된 4단계 루프는 이러한 풀스택 궤적을 스킬, 프로덕션 기반 평가, 파인튜닝 데이터셋, 원시 내보내기로 변환하며, 모든 스킬은 사람이 검토합니다.
- 실제 예시를 통해 에이전트들이 팀 리더가 실제로 스프린트를 마무리하는 방식을 학습하는 과정을 보여준다.
- CLiF는 에이전트 팀의 속도를 늦추는 문제들, 즉 평가(evals), 컨텍스트 비대화, 비용, 파편화된 스택, 그리고 섀도 AI 사용을 겨냥하며, 완전히 셀프 호스팅 방식으로 운영됩니다.
에이전트 추적이 놓치는 것들
오늘날 대부분의 에이전트 관측 가능성은 에이전트 자체에 초점이 맞춰져 있습니다. 트레이싱 도구는 프롬프트, 도구 호출, 모델 출력을 캡처하여 에이전트가 어디서 잘못되었는지는 보여주지만 올바른 경로는 시야에서 벗어나 둡니다. 프로덕트 분석은 클릭, 퍼널, 세션 리플레이로 반대편을 다루지만, 그 데이터는 대시보드를 읽는 사람을 위해 만들어진 것이지 에이전트에게 작업을 가르치거나 테스트하기 위한 것이 아닙니다. 대부분의 프로덕션 에이전트 스택에서 이 둘은 결코 동일한 타임라인 위에 놓이지 않습니다.
이 격차가 중요한 이유는 에이전트가 프롬프트, 스킬, 도구 설명, 노출된 API로부터 제품을 학습하며, 실제 작업을 위해 그 요소들이 어떻게 맞물리는지 스스로 파악해야 하기 때문입니다. 그 제품을 사용하는 사람들은 이미 그 문제를, 종종 수백 번에 걸쳐 해결해 왔습니다. CopilotKit의 견해는 다음에 대한 설명 자료에서 제시되었는데, 에이전트 학습, 실제로 사용자가 업무를 수행하는 방식은 에이전트 팀이 가질 수 있는 가장 가치 있는 데이터셋이지만, 에이전트가 학습할 수 있는 형태로 포착되는 경우는 드물다는 것입니다.
풀스택 트라젝토리: CLiF가 구축된 학습 신호
CLiF ~의 일부입니다 CopilotKit 인텔리전스 전체는 단일 기본 요소인 풀 스택 트라젝토리(full-stack trajectory)를 중심으로 구축되며, 이는 다음을 통해 포착됩니다. AG-UI (Agent-User Interaction Protocol), 사용자 대면 애플리케이션에 에이전트를 연결하기 위해 CopilotKit이 만든 개방형 프로토콜입니다. AG-UI는 어떤 표면에서든 에이전트와 사용자 사이에 위치하기 때문에 작업의 양쪽을 모두 볼 수 있습니다:
- 에이전트 궤적 (agent trace): 에이전트가 수행한 모든 실행, 도구 호출, 상태 변경과 각각이 반환한 내용을 말합니다.
- 제품 궤적(사용자 행동): 사용자 화면에 표시된 내용, 클릭한 버튼, 그리고 사용자가 유발한 서버 요청. 사용자가 도중에 에이전트와 대화하면 그 대화도 순서대로 동일한 타임라인에 기록됩니다.
이 두 가지가 합쳐져 풀스택 궤적이 됩니다.
AG-UI는 이미 에이전트의 이벤트를 프런트엔드로 스트리밍하고 있으므로, 동일한 프로토콜을 통해 사용자 행동을 안전하게 수집하면 처음부터 두 부분이 하나의 스트림에 담기며 나중에 이을 별도의 분석 파이프라인이 필요 없습니다. 각 사용자 세션은 팀이 CopilotKit Intelligence에서 열어 클릭, 서버 요청, 에이전트 메시지가 발생한 순서대로 단계별로 재생할 수 있는 단일 궤적이 됩니다.
CLiF 내부: 궤적에서 스킬, 평가, 학습 데이터로
CopilotKit은 이 학습 루프를 4단계로 설명합니다.
1. 캡처. Trajectory들이 CopilotKit Intelligence로 스트리밍되어 학습 컨테이너에 할당되며, 이 컨테이너는 청구 지원이나 고객 온보딩 같은 한 종류의 업무로 학습 범위를 한정합니다. 런타임은 getTrajectoryLearningContainerIds 콜백을 통해 각 세션에 대한 컨테이너를 선택하고, 세션은 나중에 Intelligence UI에서 컨테이너 안팎으로 이동할 수 있습니다. 각 컨테이너는 자체 세션으로부터만 학습합니다.
2. 패턴을 찾으세요. 분석은 컨테이너가 설정된 새 세션 임계값을 통과하면 일정에 따라 실행되며, 팀이 수동으로 트리거할 수도 있습니다. 각 실행은 컨테이너 세션의 고정된 스냅샷을 기반으로 작동하여 인사이트(Insights), 즉 반복되는 요청, 반복되는 수정 사항, 그리고 사용자가 조용히 우회하는 마찰 지점을 도출합니다. CopilotKit은 이러한 마찰을 가장 강력한 신호로 간주하는데, 이는 수천 개의 세션에 걸쳐 반복되는 경향이 있으며 에이전트가 다음에 무엇을 배워야 하는지 정확히 보여주기 때문입니다. 모든 인사이트는 그 뒤에 있는 구체적인 이벤트를 인용하고 원본 궤적(trajectory)으로 직접 연결됩니다.
3. 리뷰. 증거가 재사용 가능한 교훈을 뒷받침할 때, CLiF는 이를 기술(skill)로 제안하며 일반 SKILL.md 파일로 작성됩니다. 분석 서비스는 스스로 어떤 것도 게시할 수 없습니다. 사람이 각 제안을 Intelligence UI 또는 CopilotKit CLI를 통해 승인하거나 거부합니다. 게시된 기술은 버전이 관리되며 언제든지 폐기(retire)할 수 있습니다.
4. 전달 및 내보내기. 게시된 스킬은 재배포 없이 에이전트에 도달하며, 안정성이 필요한 팀은 에이전트를 고정된 스킬 리비전에 고정할 수 있습니다. 다른 에이전트나 MCP 서버의 경우, copilotkit skills download <container> –output <dir> 명령으로 스킬을 일반 파일로 다운로드할 수 있습니다. 궤적 자체는 Intelligence 대시보드에서 원시 이벤트 데이터로 내보낼 수 있습니다. 얼리 액세스 팀들에게, 동일한 파이프라인은 이러한 궤적들로부터 평가 후보군과 파인튜닝 데이터셋도 생성합니다.
에이전트 궤적: CopilotKit 인텔리전스의 자동 학습
에이전트 측면에서 CLiF는 다음을 기반으로 구축됩니다 자동 학습, CopilotKit Intelligence의 기능으로, CopilotKit은 이를 자가 개선 에이전트(self-improving agents)의 기반이라고도 위치시킵니다. Automatic Learning은 사용자가 에이전트와 나누는 대화로부터 학습합니다. CLiF는 동일한 루프를 제품 트라젝토리(궤적)로 확장하여, 채팅 밖에서 사용자가 제품 내에서 직접 수행하는 작업으로부터도 학습합니다.
모든 에이전트 대화는 AG-UI Streams를 통해 메시지, 도구 호출, 생성형 UI, 상태, 승인 및 파일을 포함하여 전체가 저장됩니다. 개발자는 CopilotKit 런타임의 getLearningContainerId 콜백(트라젝토리 콜백의 에이전트 측 대응물)에서 컨테이너 ID를 반환함으로써 어떤 스레드가 증거로 계산될지 선택합니다. 이미 프로덕션에 에이전트를 운영 중인 팀은 처음부터 시작하는 대신 LangGraph Server 또는 LangSmith Deployment에서 기존 히스토리를 가져올 수 있습니다.
스킬 전달(Skill delivery) 은 LangGraph(Python 및 TypeScript), Mastra, Google ADK, Microsoft Agent Framework, CopilotKit의 내장 에이전트 등을 위한 어댑터를 통해 작동합니다. 어댑터는 카탈로그와 두 가지 도구인 copilotkit_load_skill 및 copilotkit_read_skill_file을 추가하며, 작업에 필요할 때 모델이 스킬을 로드합니다. 개발자의 지침이 우선권을 유지하므로, 스킬은 에이전트의 역할, 안전 규칙 또는 도구 제한을 재정의할 수 없습니다.
스킬을 넘어서: 평가(Evals), 파인튜닝 데이터 및 원시 트라젝토리
스킬은 첫 번째 출력물일 뿐입니다. 동일한 트라젝토리는 총 네 가지 출력물을 제공하며, 모두 팀의 기존 스택으로 내보낼 수 있습니다:
- 스킬(Skills) — 에이전트 또는 MCP 서버용으로, 여러 세션에 걸쳐 반복되는 패턴으로부터 구축됩니다.
- 프로덕션 기반 평가(Production-based evals)— 사용자가 실제로 수행한 작업으로부터 구축되며, 아무도 손으로 작성할 생각을 하지 못했던 입력과 엣지 케이스를 포함합니다. 이는 팀이 이미 사용 중인 평가 플랫폼으로 내보낼 수 있습니다.
- 파인튜닝 데이터셋(Fine-tuning datasets) — 실제 작업 트라젝토리에서 추출되어, 회사에서 가장 빈번한 워크플로우에 대해 더 작고 빠른 오픈 모델을 훈련시키는 데 활용됩니다.
- 원시 풀스택 트라젝토리(Raw full-stack trajectories) — 어떤 관측성(observability) 플랫폼으로도 내보내거나 팀이 원하는 방식으로 사용할 수 있습니다.
CopilotKit의 견해는 팀이 이미 사용 중인 평가 및 관측성 도구를 유지해야 하며, CLiF는 그러한 도구들이 놓치고 있던 데이터를 제공한다는 것입니다.
CLiF 인 액션: 실제 사례
Linear와 유사한 프로젝트 관리 플랫폼의 CTO라고 가정해 봅시다. 이 플랫폼에서는 엔지니어링 팀이 스프린트를 계획하고 이슈를 추적합니다. 여러분은 자사 product 내에서 에이전트가 루틴한 작업을 안정적으로 수행하기를 원합니다. 직접 만든 내장 에이전트와, 고객이 MCP 서버를 통해 연결하는 Claude 같은 외부 에이전트 모두 그렇습니다. 스프린트 마감 처리(sprint close-out)는 목록에서 가장 먼저 나오는 작업 중 하나입니다.
여러분의 플랫폼에는 이미 미완료 이슈 전부를 다음 스프린트로 옮기는 원클릭 옵션이 있고, 문서에서도 마감 처리를 정확히 그렇게 설명합니다. 따라서 스프린트 마감 처리를 요청받은 에이전트는 그대로 그 작업을 수행하며, 미완료 이슈를 모두 다음 스프린트로 넘깁니다.
CLiF가 제품 사용 궤적(product trajectories)을 안전하게 수집하기 시작하면, 수천 건의 마감 처리 데이터는 플랫폼에서 팀 리더들이 그보다 더 많은 일을 한다는 것을 보여줍니다. 대부분 원클릭 옵션을 사용한 뒤, 이어지는 몇 분간 결과를 수정합니다:
- 이미 한 번 넘겨진 이슈들을 백로그로 되돌리고 담당자를 해제합니다.
- 차단된(blocked) 이슈에 댓글을 달고, 해당 차단 원인을 소유한 사람을 멘션합니다.
여러분 팀의 누구도 이 루틴을 설계한 적이 없고, 물어보면 이를 묘사해 줄 사용자도 거의 없습니다. 이 루틴은 원클릭 이동 이후에 이어지는 클릭과 요청 속에만 존재합니다. 에이전트 트레이스(agent trace)는 이를 전혀 볼 수 없는데, 사용자가 스스로 수행하기 때문입니다. 프로덕트 분석은 추가 클릭을 의미 없이 기록할 뿐이고, 세션 리플레이에서 이 패턴을 발견하려면 수천 개의 녹화 영상을 봐야 합니다.
CLiF는 이 루틴을 인사이트(Insight)로 드러내고 그 뒤에 있는 정확한 세션들을 근거로 제시하며, 전체 마무리 과정에 대한 스킬(skill)을 제안합니다. 여러분 팀이 이를 검토하고 게시하면, 내장 에이전트가 재배포 없이도 이를 적용하고, MCP 서버와 함께 동일한 스킬을 출시하여 Claude 및 기타 연결된 에이전트들도 이를 따르게 할 수 있습니다. 사용자 습관이 바뀌면 새로운 세션들이 스킬을 최신 상태로 유지하고, 인사이트는 여러분의 자체 기능이 어디에서 부족한지도 보여줍니다.
동일한 세션들은 에이전트가 각 이슈를 플랫폼의 팀 리드들이 처리하는 방식대로 다루는지 확인하는 평가 케이스(eval case)가 되어, 작업을 에이전트에게 넘기기 전에 준비가 되었는지 확인할 수 있게 해줍니다. 이후 계획(planning) 작업을 위해 더 작은 모델을 파인튜닝하려는 경우 이 세션들은 학습 데이터로도 활용될 수 있습니다.
2026년 에이전트 팀을 느리게 하는 문제점들에 대한 CLiF의 대응 방식
에이전트를 대규모로 운영하는 기술 리더들을 위해 CopilotKit은 CLiF를 익숙한 문제들에 대한 대응책으로 소개합니다.
- 평가 통과시키기: 대부분의 팀에서 에이전트 출시의 가장 느린 부분은 중요한 워크플로우에 대해 충분한 평가를 통과하게 만드는 것입니다. 사용자가 해당 워크플로우를 완수하는 방식에서 학습된 스킬은 에이전트에게 빠져 있던 단계들을 제공합니다. 그 후 프로덕션 기반 평가가 실제 사용에서 사용자가 마주치는 엣지 케이스를 추가하여, 평가 스위트가 실제 사용과 함께 계속 성장하게 됩니다.
- 컨텍스트 비대화와 도구 과잉: 에이전트의 실수가 발생할 때마다 시스템 프롬프트에 규칙을 하나 더 추가하거나 에이전트에 도구를 하나 더 붙이는 경향이 있습니다. 시간이 지나면 컨텍스트가 가득 차고 동작을 예측하기가 더 어려워집니다. CLiF는 학습된 동작을 대신 스킬 카탈로그에 보관하고, 모델은 작업에 필요할 때만 스킬을 로드합니다.
- 비용: 에이전트는 도구와 더 긴 프롬프트를 갖출수록 비용이 더 많이 드는 경향이 있습니다. 실제 궤적(trajectory)으로 만든 파인튜닝 데이터셋은 높은 트래픽의 워크플로우를 더 작고 저렴한 오픈 모델로 이전할 수 있는 길을 팀에게 제공하며, 워크플로우별 컨테이너는 에이전트가 어디에서 어려움을 겪고 어디에서 그렇지 않은지 보여줍니다.
- 파편화된 스택: 대규모 조직은 하나의 에이전트 프레임워크에 안착하는 일이 드물며, 그들의 에이전트는 웹 앱, 모바일 앱, Slack, Teams에 존재합니다. CLiF는 AG-UI 위에서 실행되므로 어떤 에이전트 하네스와 어떤 기반 모델과도 작동합니다. AG-UI는 Google, Microsoft, Anthropic, Amazon, Oracle과 LangChain, Mastra, Pydantic AI, Google ADK 등의 프레임워크에서 지원됩니다.
- 중앙 통제 밖의 에이전트 도입: 팀들이 독자적으로 에이전트 도구를 도입함에 따라 각 에이전트가 무엇을 학습했는지, 왜 그런지를 파악하기가 더 어려워집니다. 모든 CLiF 스킬은 사람의 검토를 거치고, 출처가 된 세션들로 추적할 수 있으며, 버전 관리와 롤백이 가능합니다. 또한 전체 플랫폼을 회사 자체 인프라 안에서 실행할 수도 있습니다.
설계상 셀프 호스팅
CLiF는 완전히 셀프 호스팅이 가능합니다. CopilotKit Intelligence는 셀프 호스팅 으로 회사 자체 Kubernetes 클러스터에서 Helm 차트로, 또는 AWS ECS 및 Fargate에서, 팀 자체의 Postgres, Redis, 그리고 Okta, Azure AD, Keycloak과 같은 아이덴티티 공급자와 함께 운영할 수 있습니다.
궤적, 스킬, 그리고 이들로부터 학습된 모든 것은 회사의 VPC 또는 온프레미스 환경 안에 머무르므로, 사용자 활동과 에이전트 트레이스가 네트워크 밖으로 나갈 필요가 전혀 없습니다. 트레이스는 기존 OpenTelemetry 수집기로 흘려보낼 수도 있습니다. CopilotKit Intelligence는 가장 빠른 설정을 원하는 팀을 위해 관리형 클라우드 에서도 실행됩니다.
핵심 요약
- CopilotKit은 CLiF을 출시했습니다. 이는 풀스택 궤적에서 지속적으로 학습하는 플랫폼으로, 현재 CopilotKit Intelligence의 일부로서 얼리 액세스 단계에 있습니다.
- 사용자가 이미 일을 수행하는 방식이야말로 에이전트에게 빠져 있는 신호입니다. 풀스택 궤적은 에이전트 트레이스와 함께 AG-UI 기반의 하나의 타임라인 위에 이를 포착합니다.
- CLiF는 이러한 궤적을 네 가지 산출물로 전환합니다: 프로덕션 기반 평가, 더 작은 오픈 모델을 위한 파인튜닝 데이터셋, 에이전트 또는 MCP 서버용 스킬, 그리고 내보내기용 원시 궤적 — 모두 기존 평가 및 관측성 스택과 호환됩니다.
- 모든 스킬은 사람의 검토를 거칩니다, 그리고 각각은 해당 원본 세션으로 거슬러 올라가 추적할 수 있습니다. 게시된 스킬은 재배포 없이 에이전트에 도달하며, Claude와 같은 외부 에이전트를 위한 MCP 서버와 함께 제공될 수 있습니다.
- 대규모로 에이전트를 운영할 때의 핵심 문제들을 겨냥합니다: 평가(evals) 통과, 컨텍스트 비대화, 비용, 파편화된 스택, 그리고 각 에이전트가 학습한 내용에 대한 감독입니다.
- CLiF는 모든 에이전트 프레임워크 및 모든 모델과 함께 작동하며 AG-UI를 통해 완전히 셀프호스팅이 가능합니다.
팀은 다음에서 자세히 알아보고, 데모를 예약하거나, 얼리 액세스를 요청할 수 있습니다. CLiF 페이지.
참고 자료
- CLiF 제품 페이지
- CLiF 소개: 풀스택 트라젝토리로부터 학습하는 AI 에이전트를 위한 지속 학습 플랫폼 (CopilotKit 블로그)
- 에이전트 학습이란 무엇인가? (CopilotKit)
- CLiF 출시 비디오
- CopilotKit Intelligence
- 자동 학습 문서
- 스킬 전달 문서
이 기사에 대한 사고 리더십과 자료를 제공해 주신 CopilotKit 팀에게 감사드립니다. 이 기사는 Copilokit의 후원을 받았습니다.
다음 글 CopilotKit, 에이전트 트레이스와 사용자 행동을 스킬, 평가(Evals), 파인튜닝 데이터로 전환하는 지속 학습 플랫폼 CLiF 출시 가 처음 게재된 곳은 MarkTechPost입니다..