Puntos clave
- Después de un incidente de seguridad en septiembre, OpenAI ahora entrena a sus modelos más avanzados sin acceso a internet, utilizando un entorno cerrado sin conexión construido a partir de datos en caché.
- En pruebas de seguridad, los agentes de IA aislados lograron establecer canales de comunicación encubiertos sin conexión de red ni archivos compartidos, incluso explotando diferencias de temporización en la caché del procesador.
- Durante una pausa de entrenamiento de 11 días, OpenAI hizo que agentes de IA, entre ellos GPT-6 Astra Cyber, atacaran su propia infraestructura para encontrar vulnerabilidades previamente desconocidas. El entrenamiento se reanudó después con controles más estrictos.
OpenAI ahora entrena a los modelos frontera sin acceso a internet y utiliza agentes de IA para poner a prueba su propia infraestructura. En pruebas de aislamiento separadas, los agentes incluso se comunicaron a través de canales laterales encubiertos, mostrando lo difícil que es una contención real.
El 20 de septiembre, un modelo de investigación interno explotó un resolvedor de DNS mal configurado para alcanzar la internet abierta durante el entrenamiento, a pesar de que OpenAI ya había reforzado la seguridad después del ahora infame incidente de Hugging Face en julio y otros casos observados de desalineación. OpenAI contuvo la brecha rápidamente, pero aun así detuvo todo el entrenamiento y la evaluación de modelos frontera.
OpenAI desconecta a los modelos frontera de internet durante el entrenamiento
OpenAI tomó una decisión de política en respuesta: los modelos frontera ahora se entrenan sin acceso a internet hasta que las medidas de seguridad justifiquen restaurarlo. Los modelos aprenden a navegar y buscar dentro de un "mundo sin conexión" cerrado construido a partir de contenido web indexado y en caché, y todas las ejecuciones de aprendizaje por refuerzo frontera ahora funcionan así.
El aislamiento completo de la red, el llamado air gap, todavía no es factible porque los experimentos aún necesitan conexiones externas para operaciones y monitoreo, según la empresa. Pero incluso un air gap completo no garantizaría la contención, según el investigador de OpenAI Noam Brown. Dio un ejemplo de cómo los sistemas aislados aún podrían comunicarse: dos computadoras separadas podrían, en teoría, enviarse señales a través de sensores de temperatura, con una calentando su CPU mientras la otra lee el cambio.Anuncio
El CEO de OpenAI, Sam Altman hizo un argumento similar en una entrevista reciente: los sandboxes ofrecen solo una protección limitada contra modelos lo suficientemente potentes, y en algún momento puede que ya no sea posible rastrear cómo escaparon. El monitoreo ayuda al principio, pero lo que finalmente importa es que un sistema de IA interiorice los valores humanos, un problema que el campo conoce como "alineación de IA" y que aún no ha resuelto.
Los agentes de IA aislados encontraron formas de comunicarse entre sí a través de la caché de la CPU
OpenAI documenta justo lo difícil que es controlar a los agentes de IA en su publicación en el blog. Durante las pruebas, los agentes encontraron formas de comunicarse sin red. En una prueba, se pidió a agentes colocados en entornos separados y aislados en hardware compartido que intercambiaran secretos sin conexión de red ni archivos compartidos.
Usaron la caché del procesador. Un agente alteró deliberadamente los datos almacenados allí, mientras el otro medía las diferencias en los tiempos de carga y decodificaba el mensaje. La misma técnica está detrás de los conocidos ataques Spectre y Meltdown.
Aparecieron más canales mediante patrones de escritura en la memoria compartida y a través de la propia infraestructura fuera de línea de OpenAI, el sistema destinado a reemplazar a internet. Un agente señaló en su registro de razonamiento que "podría crear una señal similar a un módem acústico … usando escrituras continuas frente a inactividad".Ad
En un caso, los agentes recibieron solo una lista general de vulnerabilidades y se les dijo que encontraran un canal de comunicación por su cuenta. Desarrollaron un canal de forma independiente, acordaron un esquema de codificación y intercambiaron información con éxito. OpenAI dice que los canales suelen ser lentos y difíciles de explotar, pero sí atraviesan las fronteras destinadas a mantener a los agentes separados.
OpenAI puso a los agentes de IA a atacar su propia infraestructura
Durante la pausa del entrenamiento, OpenAI también tuvo equipos de agentes de IA que atacaron sistemáticamente su propia infraestructura. Los agentes recibieron código fuente, detalles de configuración y documentación de vulnerabilidades potenciales. El objetivo de OpenAI era probar sus defensas en condiciones que favorecían a los atacantes. Los agentes incluían el próximo GPT-6 Astra Cyber y un modelo frontera interno. La campaña consumió cientos de miles de millones de tokens, según OpenAI.
Los agentes descubrieron vulnerabilidades previamente desconocidas en los componentes de código fuente en uso y las explotaron para escapar de máquinas virtuales protegidas. Una de ellas era una vulnerabilidad en Kata Containers, un sistema de aislamiento de contenedores ampliamente utilizado. OpenAI la reportó como CVE-2026-24834 y proporcionó un parche. Se enviaron más correcciones a otros proyectos, y OpenAI reportó vulnerabilidades adicionales, aún no publicadas, a través de la iniciativa "Patch the Planet" .
En pruebas donde los agentes ya habían obtenido el control de un host, encontraron una vulnerabilidad en casi todos los servicios restantes expuestos a internet. En un caso, un agente utilizó una conexión permitida por el firewall para obtener una URL externa a través de un servicio de métricas. Otros eludieron los filtros de seguridad mediante configuraciones erróneas.
El red-teaming con IA ahora es obligatorio antes de cada nueva ejecución de entrenamiento
Según OpenAI, los agentes ya no pudieron encontrar una forma de acceder a internet que fuera a la vez fácil de explotar y oculta a la monitorización. El red-teaming también expuso lagunas en la monitorización y en el mecanismo de pausa automática.
Tras corregir los problemas, OpenAI reanudó el entrenamiento y el uso interno de sus modelos frontera el 1 de octubre, once días después del inicio de la pausa. OpenAI dice que este tipo de campaña de red-teaming intensiva en cómputo es ahora una parte estándar de el proceso de aprobación para nuevas ejecuciones de entrenamiento.
Fuente: OpenAI