Desde las evaluaciones de datos empresariales sintéticos hasta la confianza real en la IA Microsoft Copilot

A primera vista

• Evaluar Microsoft Copilot a escala empresarial requiere datos de prueba que capturen toda la complejidad de las organizaciones reales, sin embargo, los datos reales de la empresa contienen información sensible que no puede utilizarse para la evaluación bajo ninguna circunstancia.
• Para resolver esta tensión, construimos la Plataforma de Generación de Datos de Evaluación Industrial: entornos empresariales sintéticos a gran escala basados en fuentes de datos del mundo real disponibles públicamente, como los datos ocupacionales de O*NET, los anuncios de empleo en línea y los documentos presentados ante la SEC.
• Los entornos sintéticos imitan los flujos de trabajo empresariales reales, ayudando a Microsoft a detectar problemas que los estándares genéricos no detectarían.
• La seguridad y la privacidad están integradas en la plataforma desde su diseño. Cada entorno es completamente sintético, y los controles de seguridad de contenido automatizados mantienen los datos generados libres de material dañino o identificable personalmente.

Cada día, millones de trabajadores del conocimiento en todo el mundo dependen de Microsoft Copilot para redactar documentos, resumir reuniones, obtener información relevante y acelerar la productividad. Detrás del escenario, esto se basa en una red de sistemas de IA, y asegurarse de que funcionen como se pretende requiere un enfoque reflexivo en la evaluación. En Microsoft, sabemos que el alto rendimiento no surge de la suposición. Surge de las pruebas, la medición y la iteración constante.

Las organizaciones de atención médica sintetizan constantemente señales de seguridad provenientes de diferentes equipos, para poder tomar decisiones más rápidas y eficaces que influyen directamente en los resultados del paciente y en la confianza regulatoria.

Pueden pedirle a Copilot que resuma una reunión y extraiga los puntos de acción para sus equipos. En segundos, Copilot proporciona un resumen estructurado que menciona los puntos específicos de la transcripción. Pero, ¿cómo podemos asegurarnos de que esta respuesta sea precisa, completa y basada correctamente en el contenido de la reunión? Aquí es donde entra en juego nuestro sistema de evaluación.

Hemos desarrollado una estrategia de evaluación estructurada llamada Plataforma de Generación de Datos de Evaluación Industrial, que incluye conjuntos de datos de evaluación específicos para la industria, diseñados para probar sistemas de IA en escenarios empresariales realistas, basados en tres pilares fundamentales:

• Entornos empresariales sintéticos: entornos simulados de Microsoft Copilot con usuarios realistas, reuniones, correos electrónicos, documentos y estructuras organizativas que replican la complejidad de las organizaciones reales, sin utilizar datos de clientes.
• Pipelinees de generación automática de consultas para la creación rápida y reproductible de conjuntos de datos de evaluación
• Marcos de calidad estructurados para asegurar que los datos sintéticos cumplan con los requisitos necesarios para una evaluación significativa

Juntos, estos pilares nos ayudan a responder dos preguntas fundamentales: ¿Microsoft Copilot realmente hace lo que nuestros usuarios necesitan que haga, y podemos demostrarlo sin tocar sus datos en absoluto?

En este artículo de blog, analizaremos nuestro sistema de evaluación y los procesos que se aplican, desde la generación de entornos sintéticos hasta las tuberías de consultas automatizadas, y cómo todo esto se combina para establecer el primer nivel de evaluación estandarizado para Microsoft Copilot.

Entornos empresariales sintéticos

Evaluar la IA empresarial requiere datos de prueba que capturen toda la complejidad de las organizaciones reales: estructuras de informes, historias de proyectos, patrones de comunicación y flujos de trabajo específicos del dominio. Pero los datos reales de la empresa contienen información sensible que no puede utilizarse para la evaluación bajo ninguna circunstancia. Esta es la tensión central que nos propusimos resolver.

En lugar de depender de pequeños elementos de prueba cuidadosamente seleccionados manualmente, generamos entornos sintéticos a gran escala: espacios de trabajo empresariales simulados, cada uno con estructuras organizativas realistas, historiales de comunicación y artefactos de trabajo. En la terminología de Microsoft, cada uno de estos espacios de trabajo simulados se denomina “inquilino”. Un inquilino es un entorno organizativo aislado con sus propios usuarios, datos y configuraciones. Estos entornos son líneas de base escalables que equipos y organizaciones pueden construir según sus necesidades. Están diseñados para mostrar las mismas propiedades estructurales y comportamentales que hacen significativa la evaluación de IA empresarial.

Basado en señales del mundo real

Para asegurar que nuestros entornos sintéticos sean realistas, los basamos en fuentes de datos del mundo real disponibles públicamente.

• Datos de O*NET del banco de datos ocupacionales del Departamento de Trabajo de los EE. UU. se utilizaron para crear roles y responsabilidades de empleados sintéticos realistas, calibrar la combinación y frecuencia de actividades laborales asignadas a diferentes roles, y adaptar flujos de trabajo específicos de la industria, como revisiones de ensayos clínicos o actualizaciones de portafolios.
• Anuncios de empleo en línea proporcionan títulos de roles realistas, jerarquías de reportes y composiciones departamentales.
• Documentos de SEC proporcionan información sobre el tamaño organizacional, las estructuras de unidades de negocio y los contextos financieros. Todas estas fuentes están disponibles públicamente y han sido revisadas y aprobadas por la organización legal y de políticas de Microsoft.

Es importante destacar que estos entornos sintéticos no son instantáneas estáticas. Simulan organizaciones dinámicas que evolucionan con el tiempo, con historias de reuniones, cronogramas de proyectos, hilos de correo electrónico que se desarrollan a lo largo de semanas y cambios organizativos que se producen de forma natural. Esta dimensión temporal es esencial, ya que una gran cantidad de consultas de Copilot son inherentemente conscientes del tiempo. Preguntas como “¿Qué decidió el equipo el jueves pasado?” o “¿Qué ha cambiado desde la última revisión trimestral?” solo producen evaluaciones significativas si los datos subyacentes tienen una estructura temporal real.

Simulación específica para la industria

Generamos tres entornos sintéticos en múltiples industrias, cada uno con características distintas que reflejan el uso en el mundo real:

• Un entorno farmacéutico que incluye procesos de presentación de regulaciones, discusiones de ensayos clínicos y reuniones de revisión de seguridad interfuncionales
• Un entorno de mercados de capitales que incluye pipelines de transacciones, comunicaciones de cumplimiento y revisiones del portafolio de clientes
• Una empresa de TI/software que simula la planificación de sprints, las discusiones de revisión de código y la coordinación del lanzamiento de productos

Esta especificidad de la industria asegura que nuestras consultas de evaluación ponen a Copilot a prueba las preguntas que los usuarios reales en esos dominios realmente hacen, en lugar de basarse en casos de prueba genéricos que podrían no revelar los modos de fallo específicos del dominio.

Generación automática de consultas

Mientras que los entornos sintéticos proporcionan el sustrato para la evaluación, enfrentan una limitación clave: todavía necesitamos consultas de evaluación realistas. Son estas las preguntas que verifican si Copilot puede extraer la información correcta, sintetizarla adecuadamente y presentarla de manera útil. Escribir manualmente miles de consultas específicas para la industria es extremadamente costoso y lento. Es aquí donde entra nuestro pipeline automatizado.

La cadena de procesamiento de seis etapas

Construimos una pipeline automatizada que convierte ideas de consultas simples y genéricas en preguntas realistas y específicas para la industria, para Copilot. Comienza con una gran biblioteca de tareas comunes en el lugar de trabajo, las reduce a aquellas relevantes para una industria determinada y las adapta utilizando un lenguaje y contexto específicos del dominio. Luego, el sistema utiliza la IA para generar consultas basadas en los datos del entorno sintético, las reescribe de manera más natural y humana, y verifica cada una para garantizar su precisión y singularidad. El resultado es un conjunto rico de consultas de alta calidad y realistas que permiten una evaluación escalable y confiable de Copilot en escenarios del mundo real.

Verificando la calidad sintética

Por supuesto, generar datos sintéticos es solo una parte del desafío. También necesitamos asegurarnos de que los datos sean suficientemente buenos para producir evaluaciones significativas. Evaluamos la calidad del entorno sintético utilizando nuestro marco interno de evaluación semántica, el cual mide la calidad en tres dimensiones:

• Fidelidad estructural: ¿La estructura organizativa refleja las jerarquías de informes realistas, las tamaños de equipos y las relaciones interfuncionales?
• Relevancia contextual: ¿Son las consultas y los flujos de trabajo representativos de los patrones de uso real en la empresa?
• Realismo conductual: ¿Los usuarios simulados exhiben patrones de comunicación y dinámicas de colaboración similares a los humanos?
• Seguridad de contenido: ¿El contenido generado está libre de material dañino, ofensivo o que permita identificar personalmente a personas, y evita la imitación de individuos reales?

Automatización punto a punto

Mientras que nuestros entornos sintéticos y las tuberías de consultas proporcionan la metodología, enfrentan varias limitaciones prácticas sin una automatización adecuada, incluyendo:

• Reproducibilidad: Los procesos manuales producen resultados ligeramente diferentes cada vez, lo que dificulta comparar las evaluaciones entre versiones diferentes.
• Escala: El número de sectores industriales y variantes de configuración supera lo que cualquier equipo puede producir manualmente.
• Velocidad de iteración: La creación manual lleva días, retrasando la retroalimentación esencial y ralentizando los ciclos de desarrollo.
• Consistencia entre equipos: Sin herramientas estandarizadas, los diferentes equipos generan conjuntos de datos de evaluación con formatos e niveles de calidad incompatibles.

Esta automatización redujo la creación del conjunto de datos de evaluación de un proceso manual que requería varios días a ejecuciones automatizadas. Se estima que se ahorran aproximadamente $100,000 por conjunto de datos de evaluación y $300,000 en total para el proyecto. Pero el resultado más importante es que cualquier equipo ahora puede regenerar un conjunto de datos de evaluación desde la misma configuración y obtener resultados idénticos.

Foundry Labs

Foundry Labs conecta la distancia entre los avances de Microsoft y los constructores, científicos y mentes curiosas que pueden ponerlos en práctica.

Privacidad y seguridad desde el diseño

La evaluación de grado empresarial exige más que una buena metodología. Requiere una postura de privacidad que permita a los equipos actuar rápidamente sin comprometer la confianza de los usuarios. Un principio de diseño no negociable en nuestros conjuntos de datos de evaluación de la industria es que ningún dato real de cliente se utiliza en ninguna etapa del proceso. Cada elemento, desde las estructuras organizativas hasta el contenido de correos electrónicos y las transcripciones de reuniones, está generado sintéticamente, sin entradas de datos de clientes. Dado que los datos son completamente sintéticos y han sido filtrados para garantizar la seguridad, los equipos pueden compartirlos y reutilizarlos ampliamente sin introducir riesgos relacionados con la reputación, el cumplimiento o IA responsable.

Nuestras medidas de seguridad incluyen técnicas de agregación que preservan la privacidad, en las que se hacen referencias a distribuciones estadísticas del mundo real, revisión legal por expertos y aprobación de todas las fuentes de datos públicos, así como un seguimiento claro de la procedencia y el linaje de los datos a lo largo de todo el proceso.

Esto significa que los equipos de Microsoft pueden utilizar estos conjuntos de datos de evaluación libremente para experimentaciones, benchmarking y pruebas de regresión, sin necesidad de revisas de privacidad ni restricciones en el manejo de datos que de otro modo ralentizarían las iteraciones. El diseño de privacidad no es una limitación para el sistema; es lo que permite su adopción generalizada.

Resultados e impacto

Desde el inicio de este proyecto, hemos observado mejoras significativas en varias dimensiones.

En calidad de datos sintéticos, nuestro sistema de puntuación interno mostró mejoras significativas en la fidelidad estructural, contextual y estadística de los datos generados. En todo el indicador de calidad compuesta (que mide cuán similar son los datos sintéticos a la complejidad y los patrones de los entornos empresariales reales), las puntuaciones mejoraron en un 39% en comparación con nuestro enfoque inicial de generación. Algunos entornos específicos del sector industrial alcanzaron puntuaciones de calidad superiores a 0,9 sobre 1,0, lo que demuestra que la generación enfocada en el dominio produce entornos de evaluación altamente realistas. Las mejoras se lograron en parte mediante la incorporación de señales realistas del sector y en parte mediante la automatización de las mejoras de calidad a través de los principales indicadores de calidad compuesta, que ayudan a mejorar la integridad estructural, la coherencia contextual y la diversidad estadística de nuestros entornos industriales sintéticos.

En escala y eficiencia, cada entorno sintético ahora contiene cientos de usuarios con historiales completos de comunicación en tres sectores industriales. La creación de conjuntos de datos de evaluación ha pasado de un esfuerzo manual que dura varios días a ejecuciones automatizadas del pipeline.

En la adopción organizativa, nuestras plataformas de generación de datos de evaluación para la industria han sido publicadas en un catálogo interno compartido para su reutilización entre equipos, y se han establecido como el primer punto de referencia estandarizado de evaluación para Microsoft Copilot. La diferencia no fue solo incremental; fue un cambio en la forma en que los equipos abordan la evaluación: de procesos ad hoc y manuales a una infraestructura estandarizada y reproducible.

Conclusión

A medida que continuamos expandiendo lo que Microsoft Copilot puede hacer, desde preguntas y respuestas de un solo turno hasta flujos de trabajo multistepos agenticos, nuestro compromiso con la evaluación sigue siendo el eje central de nuestro enfoque. En la IA empresarial, la calidad no se trata solo de precisión o velocidad. Se trata de confianza. Las organizaciones necesitan la certeza de que los sistemas de IA manejan sus información correctamente, y esa confianza solo puede surgir de una evaluación exhaustiva y repetible. Ese confianza se basa en dos compromisos que se reflejan en todo lo que construimos: una protección rigurosa de la privacidad y una seguridad proactiva de los contenidos.

Mirando hacia el futuro, Microsoft Copilot se enfrenta a desafíos de evaluación aún más emocionantes: ¿Cómo evaluamos la calidad de las interacciones agentic de varios turnos? ¿Cómo ampliamos los entornos sintéticos para capturar las dinámicas organizativas que evolucionan en meses o años? ¿Cómo construimos marcos de evaluación para sistemas de IA que toman acciones, y no solo generan texto? Estas son las preguntas en las que nuestro equipo está trabajando ahora.

En Microsoft, no solo construimos IA. Construimos la infraestructura que garantiza su funcionamiento confiable para todas las empresas, en todos los sectores y a cualquier escala.

Gracias a todos los que han trabajado en los conjuntos de datos de evaluación industrial.