MarkTechPost

CopilotKit lanza CLiF: una plataforma de aprendizaje continuo que convierte los rastros de agentes y las acciones de los usuarios en…

Introducción Los equipos que despliegan agentes de IA a gran escala se topan una y otra vez con el mismo patrón. Incluso los agentes construidos sobre modelos de primer nivel como Fable y Astra tienen dificultades para…

Fuente de la imagen · MarkTechPost

Introducción

Los equipos que despliegan agentes de IA a gran escala se topan una y otra vez con el mismo patrón. Incluso los agentes construidos sobre modelos de primer nivel como Fable y Astra tienen dificultades para llevar a cabo tareas complejas de extremo a extremo dentro de un producto específico con la consistencia suficiente para su despliegue. Así que los equipos elaboran evals para los flujos de trabajo más importantes, a menudo cientos o miles de casos escritos a mano, y luego mejoran el agente poco a poco mediante ediciones de prompts, correcciones del harness y casos especiales hasta que supera suficientes de ellos para ponerse en producción.

Mientras tanto, los propios usuarios del producto realizan esas mismas tareas todos los días y saben qué acciones tomar y en qué orden. CopilotKit, la empresa detrás del framework de código abierto CopilotKit y del protocolo AG-UI, lanzó CLiF, una plataforma para el aprendizaje continuo a partir de trayectorias full-stack, en acceso anticipado. CLiF captura de forma segura lo que hace el agente y lo que hacen los usuarios en el producto, y convierte ese registro en habilidades, evals basados en producción y conjuntos de datos de fine-tuning, todo exportable junto con las trayectorias crudas.

CopilotKit es de código abierto, con más de 38,000 estrellas en GitHub.

TL;DR

  • El rastreo de agentes muestra dónde se equivocó un agente, mientras que el camino correcto está en lo que los usuarios hacen en el producto, algo que la mayoría de los stacks nunca capturan.
  • CLiF, ahora en acceso anticipado, aprende de trayectorias full-stack: el rastro del agente y las acciones del usuario en el producto, capturados de forma segura como una sola línea de tiempo sobre AG-UI.
  • Un bucle de cuatro etapas, construido sobre el Automatic Learning de CopilotKit, convierte esas trayectorias full-stack en habilidades, evals basados en producción, conjuntos de datos de fine-tuning y exportaciones crudas, con una persona revisando cada habilidad.
  • Un ejemplo práctico muestra cómo los agentes aprenden la forma en que los líderes de equipo realmente cierran un sprint.
  • CLiF apunta a los dolores que frenan a los equipos de agentes, incluidos los evals, la inflación de contexto, el coste, los stacks fragmentados y el uso de IA en la sombra, y funciona completamente autohospedado.

Lo que el rastreo de agentes no ve

La mayor parte de la observabilidad de agentes actual se centra en el agente. Las herramientas de rastreo capturan prompts, llamadas a herramientas y salidas del modelo, lo que muestra dónde se equivocó el agente dejando fuera de vista el camino correcto. El análisis de productos cubre el otro lado con clics, embudos y repeticiones de sesión, aunque esos datos están pensados para que una persona lea un dashboard, no para enseñar una tarea a un agente ni para probarlo. En la mayoría de los stacks de agentes en producción, ambos nunca acaban en la misma línea de tiempo.

Esa brecha importa porque el agente aprende un producto a partir de prompts, habilidades, descripciones de herramientas y APIs expuestas, y tiene que averiguar por su cuenta cómo encajan esas piezas para una tarea real. Las personas que usan el producto ya lo han resuelto, a menudo cientos de veces. La visión de CopilotKit, expuesta en su explicación sobre el aprendizaje de agentes, es que cómo los usuarios realmente hacen su trabajo es el conjunto de datos más valioso que cualquier equipo de agentes tiene, y que rara vez se captura de una forma de la que un agente pueda aprender.

Trayectorias full-stack: la señal de entrenamiento sobre la que se construye CLiF

CLiF forma parte de CopilotKit Intelligence y está construido en torno a una única primitiva, la trayectoria full-stack. Se captura a través de AG-UI (Agent-User Interaction Protocol), el protocolo abierto que CopilotKit creó para conectar agentes con aplicaciones orientadas al usuario. Como AG-UI se sitúa entre el agente y el usuario en cualquier superficie, puede ver ambos lados de una tarea:

  • Trayectoria del agente (agent trace): cada ejecución, llamada a herramientas y cambio de estado que realizó el agente, y qué devolvió cada uno.
  • Trayectoria del producto (acciones del usuario): lo que aparecía en la pantalla del usuario, los botones que pulsó y las solicitudes al servidor que desencadenó. Si el usuario habla con el agente durante el proceso, esa conversación se registra en la misma línea de tiempo, en orden.

En conjunto, eso es una trayectoria full-stack.

AG-UI ya transmite los eventos del agente al frontend, por lo que capturar de forma segura las acciones del usuario a través del mismo protocolo pone ambas mitades en un solo flujo desde el principio, sin necesidad de un pipeline de análisis separado que haya que unir después. Cada sesión de usuario se convierte en una única trayectoria que un equipo puede abrir en CopilotKit Intelligence y reproducir paso a paso, con los clics, las solicitudes al servidor y los mensajes del agente en el orden en que ocurrieron.

Dentro de CLiF: De trayectorias a habilidades, evals y datos de entrenamiento

CopilotKit describe el ciclo de aprendizaje en cuatro etapas.

1. Capturar. Las trayectorias fluyen hacia CopilotKit Intelligence y se asignan a contenedores de aprendizaje, que delimitan el aprendizaje a un tipo de trabajo, como soporte de facturación u onboarding de clientes. El runtime elige el contenedor para cada sesión mediante el callback getTrajectoryLearningContainerIds, y las sesiones pueden moverse dentro o fuera de un contenedor más tarde en la interfaz de Intelligence. Cada contenedor aprende solo de sus propias sesiones.

2. Encontrar patrones. El análisis se ejecuta según un calendario una vez que un contenedor supera un umbral establecido de sesiones nuevas, y los equipos también pueden activarlo manualmente. Cada ejecución parte de una instantánea congelada de las sesiones del contenedor y genera Insights: peticiones recurrentes, correcciones repetidas y la fricción que los usuarios sortean silenciosamente. CopilotKit considera esa fricción como la señal más fuerte, ya que tiende a repetirse a lo largo de miles de sesiones y muestra exactamente qué debería aprender el agente a continuación. Cada Insight cita los eventos específicos que lo respaldan y enlaza directamente a la trayectoria de origen.

3. Revisar. Cuando la evidencia respalda una lección reutilizable, CLiF la propone como una skill, escrita como un archivo SKILL.md sencillo. El servicio de análisis no puede publicar nada por sí mismo: una persona aprueba o rechaza cada propuesta, ya sea en la interfaz de Intelligence o a través de la CLI de CopilotKit. Las skills publicadas tienen versiones y pueden retirarse en cualquier momento.

4. Entregar y exportar. Las skills publicadas llegan al agente sin necesidad de un redeploy, y los equipos que necesitan estabilidad pueden fijar el agente a una revisión de skills concreta. Para cualquier otro agente o servidor MCP, las skills pueden descargarse como archivos planos con copilotkit skills download <container> –output <dir>. Las propias trayectorias pueden exportarse como datos de eventos en bruto desde el panel de Intelligence. Para acceso anticipado , los mismos pipeline también produce candidatos de evaluación y conjuntos de datos de fine-tuning a partir de estas trayectorias.

Trayectorias de Agentes: Aprendizaje Automático en CopilotKit Intelligence

Del lado del agente, CLiF se basa en Automatic Learning, la capacidad de CopilotKit Intelligence que CopilotKit también presenta como la base de los agentes que se auto-mejoran. Automatic Learning aprende de las conversaciones que los usuarios tienen con el agente. CLiF extiende el mismo bucle a las trayectorias de producto, por lo que también aprende del trabajo que los usuarios realizan directamente en el producto, fuera del chat.

Cada conversación del agente se almacena en su totalidad a través de AG-UI Streams: mensajes, llamadas a herramientas, UI generativa, estado, aprobaciones y archivos. Los desarrolladores eligen qué hilos cuentan como evidencia devolviendo un ID de contenedor desde el callback getLearningContainerId en el runtime de CopilotKit, que es la contraparte del lado del agente del callback de trayectorias. Los equipos que ya tienen un agente en producción pueden importar el historial existente desde un LangGraph Server o un LangSmith Deployment en lugar de empezar de cero.

La entrega de skills funciona mediante adaptadores para LangGraph (Python y TypeScript), Mastra, Google ADK, Microsoft Agent Framework, el agente integrado de CopilotKit y más. El adaptador añade un catálogo y dos herramientas, copilotkit_load_skill y copilotkit_read_skill_file, y el modelo carga una skill cuando la tarea lo requiere. Las instrucciones del desarrollador mantienen la precedencia, de modo que las skills no pueden anular el rol del agente, sus reglas de seguridad ni sus restricciones de herramientas.

Más allá de las Skills: Evals, Datos de Fine-Tuning y Trayectorias en Bruto

Las skills son solo el primer resultado. Las mismas trayectorias alimentan cuatro resultados en total, todos exportables a la pila existente de un equipo:

  1. Skills para agentes o servidores MCP, construidas a partir de patrones que se repiten a lo largo de muchas sesiones.
  2. Evals basados en producción, construidos a partir de tareas que los usuarios realizaron realmente, incluidas las entradas y los casos límite que nadie pensó en escribir a mano. Estos pueden exportarse a la plataforma de evaluación que el equipo ya utiliza.
  3. Conjuntos de datos de fine-tuning extraídos de trayectorias de tareas reales, destinados a entrenar modelos abiertos más pequeños y rápidos en los flujos de trabajo más frecuentes de una empresa.
  4. Trayectorias completas en bruto que pueden exportarse a cualquier plataforma de observabilidad o usarse como el equipo quiera.

La postura de CopilotKit es que los equipos deberían conservar las herramientas de evaluación y observabilidad que ya usan, y CLiF proporciona los datos que esas herramientas han estado echando en falta.

CLiF en acción: un ejemplo práctico

Supongamos que eres el CTO de una plataforma de gestión de proyectos similar a Linear, donde los equipos de ingeniería planifican sprints y siguen incidencias. Quieres que los agentes se hagan cargo del trabajo rutinario de tu producto y lo hagan de forma fiable, tanto tu propio agente integrado como agentes externos como Claude que los clientes conectan a través de tu servidor MCP. El cierre de sprint es una de las primeras tareas de la lista.

Tu plataforma ya tiene una opción de un clic que mueve todas las incidencias sin terminar al siguiente sprint, y tu documentación describe el cierre exactamente de esa manera. Así que un agente al que se le pide cerrar un sprint hace precisamente eso, y mueve todas las incidencias sin terminar hacia adelante.

Una vez que CLiF está capturando trayectorias de producto de forma segura, miles de cierres muestran que los líderes de equipo en tu plataforma hacen más que eso. La mayoría usa la opción de un clic y luego pasa los siguientes minutos corrigiendo el resultado:

  • Mueven las incidencias que ya fueron trasladadas una vez de vuelta al backlog y les quitan la asignación.
  • Comentan las incidencias bloqueadas, etiquetando a quien sea responsable del bloqueo.

Nadie en tu equipo diseñó esta rutina, y pocos usuarios la describirían si se les preguntara. Existe solo en los clics y solicitudes que siguen al movimiento de un clic. Los rastros de agentes nunca la ven, porque los usuarios la hacen por sí mismos. Las analíticas de producto registran los clics adicionales sin su significado, y detectar el patrón en las reproducciones de sesión implicaría ver miles de grabaciones.

CLiF presenta la rutina como un Insight, citando las sesiones exactas que la respaldan, y propone una skill para el cierre completo. Después de que tu equipo la revisa y publica, tu agente integrado la adopta sin necesidad de un nuevo despliegue, y envías la misma skill con tu servidor MCP para que Claude y otros agentes conectados también la sigan. A medida que cambian los hábitos de los usuarios, las nuevas sesiones mantienen la skill actualizada, y el Insight también te muestra dónde tu propia funcionalidad se queda corta.

Las mismas sesiones se convierten en casos de evaluación (eval) que comprueban si un agente maneja cada problema de la forma en que lo hacen los líderes de equipo en tu plataforma, de modo que puedas confirmar que los agentes están listos antes de asignarles la tarea. También pueden convertirse en datos de entrenamiento si más adelante haces fine-tuning de un modelo más pequeño para tareas de planificación.

Cómo aborda CLiF los dolores que frenan a los equipos de agentes en 2026

Para los líderes técnicos que ejecutan agentes a gran escala, CopilotKit presenta CLiF como una respuesta a un conjunto de problemas conocidos.

  • Superar las evaluaciones: Para la mayoría de los equipos, la parte más lenta de lanzar un agente es lograr que pase suficientes evals en los flujos de trabajo que importan. Las skills aprendidas de cómo los usuarios completan esos flujos le dan al agente los pasos que le faltaban. Los evals basados en producción añaden después los casos límite que los usuarios encuentran en la práctica, de modo que la suite sigue creciendo con el uso real.
  • Hinchazón de contexto y sobrecarga de herramientas: Cada error de un agente suele terminar en una regla más en el system prompt o una herramienta más en el agente. Con el tiempo, el contexto se llena y el comportamiento se vuelve más difícil de predecir. CLiF mantiene el comportamiento aprendido en un catálogo de skills, y el modelo carga una skill solo cuando la tarea lo requiere.
  • Costo: Los agentes tienden a volverse más caros a medida que ganan herramientas y prompts más largos. Los conjuntos de datos para fine-tuning derivados de trayectorias reales dan a los equipos un camino para mover los flujos de trabajo de alto volumen hacia modelos abiertos más pequeños y baratos, y los contenedores por flujo de trabajo muestran dónde un agente tiene dificultades y dónde no.
  • Stacks fragmentados: Las grandes organizaciones rara vez se deciden por un solo framework de agentes, y sus agentes viven en aplicaciones web, aplicaciones móviles, Slack y Teams. CLiF funciona sobre AG-UI, por lo que es compatible con cualquier harness de agente y cualquier modelo subyacente. AG-UI cuenta con el respaldo de Google, Microsoft, Anthropic, Amazon y Oracle, junto con frameworks como LangChain, Mastra, Pydantic AI, Google ADK y más.
  • Adopción de agentes fuera de la supervisión central: A medida que los equipos adoptan herramientas de agentes por su cuenta, se vuelve más difícil saber qué ha aprendido cada agente y por qué. Cada skill de CLiF pasa por revisión humana, se rastrea hasta las sesiones de las que proviene y permanece versionada y reversible. Toda la plataforma también puede ejecutarse dentro de la propia infraestructura de una empresa.

Autohospedado por diseño

CLiF es completamente autohospedable. CopilotKit Intelligence puede autohospedarse en el clúster de Kubernetes de una empresa con un Helm chart, o en AWS ECS y Fargate, con el Postgres, Redis y proveedor de identidad del propio equipo, como Okta, Azure AD o Keycloak.

Las trayectorias, las skills y todo lo aprendido de ellas permanecen dentro de la VPC o del entorno on-premises de la empresa, de modo que la actividad de los usuarios y los rastros de agentes nunca tienen que salir de su red. Los rastros también pueden fluir hacia un recolector OpenTelemetry existente. CopilotKit Intelligence también se ejecuta en una nube administrada para los equipos que quieren la configuración más rápida.

Conclusiones clave

  • CopilotKit ha lanzado CLiF, una plataforma para el aprendizaje continuo a partir de trayectorias full-stack, ahora en acceso anticipado como parte de CopilotKit Intelligence.
  • Cómo los usuarios ya hacen el trabajo es la señal que les falta a los agentes. Las trayectorias full-stack la capturan junto con el rastro del agente, en una sola línea de tiempo sobre AG-UI.
  • CLiF convierte esas trayectorias en cuatro salidas: evals basados en producción, conjuntos de datos para fine-tuning de modelos abiertos más pequeños, skills para agentes o servidores MCP, y trayectorias brutas para exportar, todo compatible con los stacks existentes de evaluación y observabilidad.
  • Una persona revisa cada skill, y cada uno se remonta a sus sesiones de origen. Las skills publicadas llegan al agente sin necesidad de un redespliegue y pueden incluirse con un servidor MCP para agentes externos como Claude.
  • Se enfoca en los dolores principales de ejecutar agentes a escala: superar las evaluaciones, el exceso de contexto, el costo, las pilas fragmentadas y la supervisión de lo que cada agente ha aprendido.
  • CLiF funciona con cualquier framework de agentes y cualquier modelo a través de AG-UI, y es completamente autoalojable.

Los equipos pueden obtener más información, reservar una demo o solicitar acceso anticipado en la página de CLiF.

Referencias


Gracias al equipo de Copilotkit por su liderazgo de pensamiento / recursos para este artículo. Este artículo está patrocinado por Copilokit.

La entrada CopilotKit lanza CLiF: una plataforma de aprendizaje continuo que convierte los rastros de los agentes y las acciones de los usuarios en habilidades, evaluaciones y datos de fine-tuning apareció primero en MarkTechPost.

Fuente original

MarkTechPost

Notas sobre el contenido

La publicación original y los derechos pertenecen a la fuente.

Traducción automática · Consulte el original