IT之家 20 de octubre: Microsoft lanzó el lunes, hora local, varias nuevas funciones de seguridad, con el objetivo de ayudar a las empresas a enfrentar los peligros de seguridad que plantean los agentes inteligentes cada vez más graves. Con la publicación de este producto, Microsoft continúa alertando a las empresas sobre los diversos riesgos relacionados con la inteligencia artificial y los agentes inteligentes.
IT Home observó que, entre las nuevas funciones añadidas, la más destacada es el Guardian Agents. Esta nueva función se utiliza para monitorear todos los agentes de inteligencia artificial que se utilizan dentro de la empresa. Los Guardian Agents forman parte del Proyecto Perception, un producto lanzado por Microsoft en junio.
El proyecto Perception es una solución ofrecida por Microsoft en respuesta a los poderosos modelos de hacking de Anthropic, como Mythos y Fable, así como al sistema de escaneo de vulnerabilidades de OpenAI, Daybreak. Inicialmente, el proyecto Perception lanzó tres tipos de inteligencia artificial: la inteligencia artificial del equipo rojo que actúa como hacker para realizar ataques, la inteligencia artificial del equipo azul encargada de detectar los ataques del equipo rojo y evaluar las vulnerabilidades, y la inteligencia artificial del equipo verde dedicada a reparar las vulnerabilidades.
La premisa original del diseño de este producto era que los cibercriminosos de IA provenirían de fuera de la empresa. Pero recientemente, el director ejecutivo de Microsoft, Satya Nadella, ha emitido una advertencia: la fuente de amenazas en el ámbito de la IA podría ser precisamente los agentes inteligentes desplegados y utilizados por la empresa a cambio de pagos, lo que equivale a un empleado interno cuyo comportamiento se descontrola, es decir, la llamada “amenaza interna”.
Esta mañana, N德拉 hizo una advertencia en su blog personal: ha llegado el momento de dejar de confiar en los proveedores de modelos de IA, incluso si las empresas prometen garantías de seguridad para sus productos de inteligencia artificial con capacidad de ejecución autónoma. Sugirió que las empresas crearan sistemas independientes, que no estén bajo el control de los laboratorios de IA, a fin de supervisar y controlar las inteligencias artificiales desarrolladas por esos laboratorios.
Escribió: “Estamos implementando este tipo de sistemas y modelos de agentes inteligentes complejos, que pueden acceder a nuestros datos más sensibles y también pueden llevar a cabo operaciones comerciales clave en nuestro nombre. ¡No podemos delegar la responsabilidad de hacer que los agentes actúen por nosotros. Las garantías ofrecidas por los proveedores de modelos no eliminan esta responsabilidad… En otras palabras, debemos separar la provisión de la capacidad inteligente de los derechos de control sobre ella.”
Al presentar el agente inteligente guardián, Hayete Gallot, responsable de los negocios de seguridad de Microsoft, expresa las cosas de manera más directa.
Ella escribió: “Lamentablemente, los modelos de vanguardia, independientemente de su origen, no pueden ser totalmente confiados”. Agregó que esto no se debe a que los modelos tengan malicia o sean fáciles de atacar por parte de hackers, sino a que su comportamiento es impredecible. Los objetivos de entrenamiento de los modelos son completar tareas, y no seguir “normas organizativas o criterios de juicio”.
Además, estos agentes inteligentes suelen tener altas permisiones y pueden acceder a diversos datos y herramientas. Si pierden el control, pueden causar daños graves.
La solución que Microsoft ofrece es tanto sorprendente como tiene en cuenta sus propias consideraciones comerciales. Lo sorprendente es que Microsoft tiene una relación estrecha con OpenAI y Anthropic, y también invierte en ambas empresas. OpenAI es también un cliente importante para el negocio de la nube de Microsoft, y Microsoft mismo cuenta con laboratorios de IA para desarrollar modelos grandes. En otras palabras, Microsoft está haciendo que sus clientes se vuelvan cautelosos con los productos de algunos de sus socios comerciales.
Desde el punto de vista de los intereses comerciales, Microsoft espera que las empresas compren productos de seguridad para inteligencia artificial a su proveedor en la nube, en lugar de adquirirlos de Anthropic y OpenAI. Sin tener en cuenta los conflictos de interés, este razonamiento es válido: el software que monitorea el comportamiento de la inteligencia artificial debe ser independiente del proveedor de la inteligencia artificial, al igual que las entidades de auditoría necesitan ser independientes de la organización que son auditadas.
Como dijo Nadella: “Debemos separar la provisión de la capacidad inteligente de los permisos de control sobre ella.”
Microsoft está aprovechando esta oportunidad comercial de diversas maneras. Además del guardián inteligente, Microsoft también ha añadido una función de detección de entidades inteligentes en el producto Microsoft Defender. En el máximo, puede reconocer 60 entidades inteligentes que los empleados traen al entorno de trabajo, entre las cuales se encuentran Claude Code, Codex y OpenClaw. El producto también incluye una función que permite limitar los permisos de las entidades inteligentes para acceder a datos y sistemas, y ajustar dinámicamente los permisos según las tareas. Si la entidad inteligente está a punto de realizar una operación de alto riesgo, el sistema solicita una aprobación manual.
La idea de considerar al agente inteligente como una amenaza interna no confiable también está ganando consenso en toda la industria.
Microsoft es miembro fundador de la nueva Plataforma de Seguridad de Agentes Inteligentes de NVIDIA (Open Agent Safety Platform), que cuenta con el apoyo de más de 100 empresas tecnológicas. Esta plataforma aísla los agentes inteligentes en un entorno seguro, mediante el monitoreo del hardware y la detención de comportamientos anormales, funciones similares a una válvula de corte de emergencia. Anteriormente, Microsoft ya había lanzado una nueva computadora Surface Laptop Ultra diseñada específicamente para agentes inteligentes, equipada con un chip de NVIDIA y con módulos de control de seguridad para agentes inteligentes integrados.