引言
大规模部署 AI 智能体的团队不断遇到同样的模式。即使是基于 Fable 和 Astra 等顶级模型构建的智能体，也难以在特定产品内以足够一致的方式执行复杂的端到端任务从而得以部署。因此团队为最重要的工作流辛苦编写评测，往往需要数百甚至数千个手写用例，然后通过修改提示词、修复执行框架和处理特殊情况一点点改进智能体，直到它通过足够多的用例才能上线。
与此同时，产品自身的用户每天都在执行这些相同的任务，并且知道该采取哪些操作以及按什么顺序执行。CopilotKit，即开源 CopilotKit 框架和 AG-UI 协议背后的公司，发布了 CLiF，一个从全栈轨迹中进行持续学习的平台，目前处于 抢先体验阶段。CLiF 安全地捕获智能体在产品中的行为以及用户的操作，并将这些记录转化为技能、基于生产的评测和微调数据集，所有这些都可以连同原始轨迹一起导出。
CopilotKit 是开源的，在 GitHub 上拥有超过 38,000 颗星。
TL;DR
- 智能体追踪可以显示智能体在哪里出错，而正确路径存在于用户在产品中的操作里，这是大多数技术栈从未捕获的。
- CLiF 目前处于抢先体验阶段，从全栈轨迹中学习：通过 AG-UI 将智能体轨迹和用户在产品中的操作安全地捕获为一条时间线。
- 一个基于 CopilotKit 的 Automatic Learning 构建的四阶段循环，将这些全栈轨迹转化为技能、基于生产的评测、微调数据集和原始导出，并由人工审核每一项技能。
- 一个实际示例展示了智能体如何学习团队负责人真正结束冲刺的方式。
- CLiF 针对拖慢智能体团队的各种痛点，包括评测、上下文膨胀、成本、碎片化的技术栈和影子 AI 使用，并且完全支持自托管运行。
智能体追踪遗漏了什么
如今大多数智能体可观测性都以智能体为中心。追踪工具捕获提示词、工具调用和模型输出，这可以显示智能体在哪里出错，却让正确路径处于视野之外。产品分析则通过点击、漏斗和会话回放覆盖另一面，不过这些数据是为阅读仪表盘的人构建的，而不是为教会智能体执行任务或对其进行测试而设计的。在大多数生产环境智能体技术栈中，这两者从未出现在同一条时间线上。
这一差距很重要，因为智能体通过提示词、技能、工具描述和暴露的 API 来了解一个产品，并且必须自行弄清这些部分如何组合起来完成一个真实任务。而使用产品的人早已解决了这个问题，往往已经解决过数百次。CopilotKit 在其关于 智能体学习的说明中提出的观点是：用户实际完成工作的方式是任何智能体团队拥有的最有价值的数据集，而这些数据很少以智能体可以学习的形式被捕获。
全栈轨迹：CLiF 所依赖的训练信号
CLiF 是 CopilotKit Intelligence 的一部分，并围绕一个单一原语构建，即全栈轨迹。它通过 AG-UI（Agent-User Interaction Protocol）捕获，这是 CopilotKit 创建的用于将智能体连接到面向用户的应用程序的开放协议。由于 AG-UI 位于智能体与用户之间任何界面之上，它可以同时看到任务的两端：
- 智能体轨迹（agent trace）： 智能体进行的每一次运行、工具调用和状态变更，以及每一次调用的返回结果。
- 产品轨迹(用户操作): 用户屏幕上显示的内容、他们点击的按钮,以及他们触发的服务器请求。如果用户在此过程中与智能体对话,该对话也会按顺序记录在同一时间线上。
这些合在一起,就是一个全栈轨迹。
AG-UI 已经将智能体的事件流式传输到前端,因此通过同一协议安全地捕获用户操作,可以从一开始就将两部分放入同一个流中,无需再通过单独的分析管道事后拼接。每个用户会话都成为单一的轨迹,团队可以在 CopilotKit Intelligence 中打开它,并按事件发生的顺序逐步回放点击、服务器请求和智能体消息。
深入解析 CLiF:从轨迹到技能、评估与训练数据
CopilotKit 将这一学习循环描述为四个阶段。
1. 捕获。 轨迹流入 CopilotKit Intelligence,并被分配到学习容器中,这些容器将学习范围限定为某一类工作,例如计费支持或客户入驻。运行时通过 getTrajectoryLearningContainerIds 回调为每个会话选择容器,并且会话之后可以在 Intelligence UI 中移入或移出某个容器。每个容器只从自己的会话中学习。
2. 发现模式。 当容器新会话数量达到设定阈值后,分析会按计划运行,团队也可以手动触发。每次运行都基于容器会话的冻结快照,并呈现出洞察(Insights):反复出现的请求、重复的纠正,以及用户默默绕过的摩擦点。CopilotKit 将这种摩擦视为最强的信号,因为它往往在数千个会话中反复出现,并确切地表明智能体接下来应该学习什么。每条洞察都会引用其背后的具体事件,并直接链接到源轨迹。
3. 审查。 当证据支持一个可复用的经验时,CLiF 会将其作为一项技能提出,写成普通的 SKILL.md 文件。分析服务无法自行发布任何内容:每项提议都需要由人来批准或拒绝,可以在 Intelligence UI 中操作,也可以通过 CopilotKit CLI 进行。已发布的技能带有版本控制,可以随时停用。
4. 交付和导出。 已发布的技能无需重新部署即可到达智能体,而需要稳定性的团队可以将智能体固定在某个固定的技能修订版上。对于任何其他智能体或 MCP 服务器,技能可以通过 copilotkit skills download <container> –output <dir> 作为普通文件下载。轨迹本身可以从 Intelligence 仪表板导出为原始事件数据。对于 抢先体验 团队,同一流程还会从这些轨迹中生成评估候选数据和微调数据集。
Agent Trajectories:CopilotKit Intelligence 中的自动学习
在智能体一侧,CLiF 建立在 自动学习之上,这是 CopilotKit Intelligence 中的一项能力,CopilotKit 也将它定位为 自我改进智能体的基础。自动学习从用户与智能体的对话中学习。CLiF 将同一循环扩展到产品轨迹,因此它还从用户在产品中直接执行的工作(聊天之外)中学习。
每个智能体对话都通过 AG-UI Streams完整存储:消息、工具调用、生成式 UI、状态、审批和文件。开发者通过在 CopilotKit 运行时上的 getLearningContainerId 回调返回一个容器 ID 来选择哪些线程算作证据,该回调是轨迹回调在智能体一侧的对应物。已有智能体投入生产的团队可以从 LangGraph Server 或 LangSmith Deployment 导入现有历史,而不必从零开始。
技能交付 通过适配器实现,支持 LangGraph(Python 和 TypeScript)、Mastra、Google ADK、Microsoft Agent Framework、CopilotKit 内置智能体等。适配器添加一个目录和两个工具 copilotkit_load_skill 和 copilotkit_read_skill_file,当任务需要时模型会加载相应的技能。开发者指令保持最高优先级,因此技能无法覆盖智能体的角色、安全规则或工具限制。
超越技能:评估、微调数据和原始轨迹
技能只是第一个输出。相同的轨迹总共提供四种输出,全部可导出到团队现有的技术栈中:
- 技能 ,面向智能体或 MCP 服务器,基于在许多会话中反复出现的模式构建。
- 基于生产的评估,基于用户实际执行的任务构建,包括没有人想到手动编写的输入和边缘情况。这些可以导出到团队已经在使用的评估平台。
- 微调数据集 ,取自真实任务轨迹,旨在用于训练更小、更快的开源模型,以处理公司最常见的工作流程。
- 原始全栈轨迹 ,可导出到任何可观测性平台,或由团队任意使用。
CopilotKit 的观点是,团队应保留他们已经在使用的评估和可观测性工具,而 CLiF 提供了这些工具一直缺失的数据。
CLiF 实战：一个实际示例
假设你是一个类似 Linear 的项目管理平台的 CTO，工程团队在你的平台上规划冲刺并跟踪问题。你希望智能体接管产品中的例行工作并可靠地完成——既包括你自带的内置智能体，也包括客户通过你的 MCP 服务器接入的外部智能体（如 Claude）。冲刺收尾是任务清单上的首要任务之一。
你的平台已经有一个一键选项，可以把所有未完成的问题移入下一个冲刺，你的文档也正是这样描述收尾的。因此，被要求收尾冲刺的智能体就会照做，把所有未完成的问题都顺延到下个冲刺。
一旦 CLiF 开始安全地捕获产品操作轨迹，成千上万次收尾记录表明，你平台上团队负责人的做法不止于此。大多数人使用一键选项后，还会花几分钟修正结果：
- 他们把已经被顺延过一次的问题移回待办列表，并取消其负责人指派。
- 他们在被阻塞的问题上发表评论，并 @ 拥有阻塞项的负责人。
你的团队里没有人设计过这个流程,即使被问起也很少有用户能描述它。它只存在于用户在“一键操作”之后执行的点击和请求之中。Agent 轨迹永远看不到它,因为是用户自己完成的。产品分析记录下了额外的点击却不包含其含义,而在会话回放中发现这种模式意味着要观看数千段录像。
CLiF 会将这一流程作为一条 Insight(洞察)呈现,并引用其背后的确切会话,同时为完整的收尾流程提议一个技能。在你的团队审核并发布之后,你内置的 agent 无需重新部署即可采用它,而且你还可以通过 MCP 服务器发布同一个技能,让 Claude 及其他已连接的 agent 也遵循它。随着用户习惯的变化,新会话会让技能保持更新,该 Insight 还能显示你自己的功能在哪些方面存在不足。
这些相同的会话会成为 eval 用例,用于检验 agent 是否能像你平台上的团队负责人那样处理每个问题,因此你可以在把任务交给 agent 之前确认它们是否已经准备好。如果你之后要为一个更小的模型做规划工作的微调,它们也可以成为训练数据。
CLiF 如何应对 2026 年拖慢 Agent 团队的痛点
对于大规模运行 agent 的技术负责人,CopilotKit 将 CLiF 定位为对一组常见问题的回应。
- 让 agent 通过 evals:对大多数团队而言,发布一个 agent 最慢的部分是让它在重要的工作流上通过足够多的 evals。从用户完成这些工作流的方式中学到的技能,为 agent 补上了它缺失的步骤。基于生产环境的 evals 随后加入了用户在实践中遇到的边界情况,因此该测试套件会随真实使用不断增长。
- 上下文膨胀和工具过载:agent 的每一次错误往往以系统提示词中多一条规则、或 agent 上多一个工具而告终。随着时间推移,上下文被填满,行为变得更难预测。CLiF 则将学到的行为保存在一个技能目录中,模型只在任务需要时才加载某个技能。
- 成本:随着工具和提示词的增加,agent 的开销往往会变得更高。来自真实轨迹的微调数据集为团队提供了一条路径,可以把高流量的工作流迁移到更小、更便宜的开源模型上,而按工作流的容器则显示 agent 在哪里表现吃力、在哪里表现良好。
- 碎片化的技术栈:大型组织很少统一使用同一个 agent 框架,它们的 agent 分布在 Web 应用、移动应用、Slack 和 Teams 中。CLiF 运行在 AG-UI 上,因此可以与任何 agent 框架以及底层任何模型配合使用。AG-UI 得到 Google、Microsoft、Anthropic、Amazon 和 Oracle 的支持,以及包括 LangChain、Mastra、Pydantic AI、Google ADK 等在内的框架支持。
- 脱离中心监管的 agent 采用:随着各团队自行采用 agent 工具,越来越难知道每个 agent 学到了什么以及为什么。每个 CLiF 技能都要经过人工审核,可追溯到其来源会话,并始终保持版本化且可回滚。整个平台也可以在 公司自己的基础设施内运行。
天生支持自托管
CLiF 完全可以自托管。CopilotKit Intelligence 可以 自托管 在公司自己的 Kubernetes 集群上(使用 Helm chart),或在 AWS ECS 和 Fargate 上,并使用团队自己的 Postgres、Redis 和身份提供商,例如 Okta、Azure AD 或 Keycloak。
轨迹、技能以及从中学习到的一切都保留在公司的 VPC 或本地环境中,因此用户活动和 agent 轨迹无需离开其网络。轨迹也可以流入现有的 OpenTelemetry collector。对于想要最快部署的团队,CopilotKit Intelligence 也可以在 托管云 上运行。
核心要点
- CopilotKit 已发布 CLiF,一个从全栈轨迹中进行持续学习的平台,现作为 CopilotKit Intelligence 的一部分提供 抢先体验 。
- 用户已经在做这项工作的方式,正是 agent 所缺失的信号。 全栈轨迹在 AG-UI 之上的同一条时间线上,与 agent 轨迹一起将其捕获。
- CLiF 将这些轨迹转化为四种输出:基于生产环境的 evals、用于更小开源模型的微调数据集、面向 agent 或 MCP 服务器的技能,以及可导出的原始轨迹,全部与现有的 eval 和可观测性技术栈兼容。
- 每个技能都经过人工审核,且每一条都能追溯回其来源会话。已发布的技能无需重新部署即可到达智能体,并可以与 MCP 服务器一起交付给像 Claude 这样的外部智能体。
- 它针对大规模运行智能体的核心痛点:通过评估、上下文膨胀、成本、碎片化技术栈,以及对每个智能体所学内容的监督。
- CLiF 可与任何智能体框架和任何模型配合使用 通过 AG-UI,并且完全支持自托管。
团队可以在以下位置了解更多信息、预约演示或申请抢先体验: CLiF 页面.
参考文献
- CLiF 产品页面
- CLiF 简介：面向 AI 智能体的全栈轨迹持续学习平台 (CopilotKit 博客)
- 什么是智能体学习? (CopilotKit)
- CLiF 发布视频
- CopilotKit Intelligence
- 自动学习文档
- 技能交付文档
感谢 Copilotkit 团队为本文提供的思想领导力与资源。本文由 Copilokit 赞助。
这篇文章 CopilotKit 发布 CLiF：一个将持续学习平台把智能体轨迹和用户操作转化为技能、评估和微调数据的持续学习平台 首发于 MarkTechPost.