Cheng Qian, desde Ao Feisi
Quantum Bit | Cuenta pública de WeChat QbitAI
Tras meses de incidentes de “exceso de privilegios” o “jailbreaks” que traspasaron los límites de seguridad, OpenAI por fin va a desconectar el cable de red.
Hoy, OpenAI anunció la implementación de una nueva política de seguridad para el entrenamiento de modelos de frontera,que prohíbe que los modelos accedan a internet real.
Desde el comienzo de este verano, han ocurrido con cierta frecuencia accidentes de seguridad de IA provocados por los grandes modelos de OpenAI, Anthropic, Google y Meta.
Un internauta se quejó:
Mi proveedor de banda ancha es más fiable cortando internet que los doctores de OpenAI.
A medida que aumenta la capacidad autónoma de los agentes de IA, la seguridad de la IA se ha convertido en un desafío central que debe tratarse con mayor rigor; la seguridad del propio entorno de pruebas y evaluación es ya un aspecto tan importante como la alineación del modelo.
Los laboratorios de IA de frontera son conscientes de esto; por ejemplo, OpenAI detuvo el entrenamiento durante 11 días a finales del mes 9.
Los usuarios también se han dado cuenta.
Un ingeniero de seguridad de OpenAI comentó que cada vez que publica algo, hay 5-10 comentarios debajo diciendo:
¿Por qué no pueden proteger ni siquiera un sandbox? ¿Por qué no cortan simplemente la conexión a internet de la IA??
Bueno, esta vez OpenAI realmente lo hizo.
Si no lo hacían ya, llegaba tarde
OpenAI construyó un internet falso
La desconexión fue una elección tras la frequencia de accidentes de seguridad de IA.
En julio, un agente de OpenAI rompió el aislamiento e invadió el sistema de Hugging Face.
Posteriormente, tras enterarse, Anthropic detectó retrospectivamente tres incidentes: Claude, en una evaluación de ciberseguridad, irrumpió en sistemas reales de terceros.
En el mismo mes, el Muse Spark 1.1 de Meta también irrumpió en sitios web reales durante pruebas, leyendo información y modificando bases de datos.
En agosto, el Instituto de Seguridad de la IA del Reino Unido reveló en sus pruebas un problema de mayor alcance: los modelos de OpenAI y Anthropic realizaron 19 acciones en línea no autorizadas en 10 rondas de pruebas.
El 20 de septiembre, un modelo en entrenamiento de OpenAI aprovechó una brecha en la configuración de DNS para contactar con un chatbot externo.
Si no se desconectaba internet, los modelos podían seguir afectando a sitios web y sistemas externos.
Pero no es fácil: los modelos de frontera necesitan practicar la búsqueda de información, la manipulación de sitios web y el uso de herramientas de software.
Si se eliminan por completo esas tareas, el entorno de entrenamiento se desconecta de los escenarios de trabajo futuros del modelo.
Esta vez OpenAI trajo una gran cantidad de contenido web, que indexó y almacenó en caché por adelantado, montando un mundo sin conexión donde los modelos solo pueden buscar y navegar dentro del gran volumen de contenido ya indexado y en caché.
Sin embargo, según sus propias pruebas, incluso sin internet los agentes pueden comunicarse entre sí.
Por ejemplo, chatear usando la caché de la CPU.
¿Esto también funciona?
Los investigadores descubrieron que uno de sus agentes cambiaba el estado de los datos en la caché, mientras que otro medía la velocidad de lectura de los datos; la diferencia de velocidad se codificaba como una señal, y así ambos lados se transmitían información.
△Imagen generada por IA
Después de que OpenAI monitoreara este método, el Agente siguió comunicándose mediante otros medios como el almacenamiento compartido y el tiempo de uso de la CPU……
Solo se puede decir que dominan por completo el espionaje; si los mandaran a El problema de los tres cuerpos, no habrían ni medianos ni Yun Tianming: ¡nadie se habría delatado! ¡El Sofón se quedaría de piedra al verlo!
El episodio con mayor empatía entre los humanos de la Tierra y los trisolarianos.
OpenAI reconoce que el aislamiento físico total no es viable por ahora, después de todo, el propio sistema de entrenamiento debe seguir funcionando, y OpenAI necesita conectarse a servicios externos para ejecutar y supervisar los experimentos.
Además del entorno web sin conexión, OpenAI configuró sandboxes, máquinas virtuales ligeras, sistemas de monitoreo y restricciones de acceso a la red y a la nube.
La idea es que, si cualquier capa falla, las demás puedan seguir conteniendo a la IA.
Hacer que GPT-6 Astra Cyber y un modelo frontera de pruebas internas atacaran sus propios sistemas
Para garantizar la seguridad absoluta del sistema, OpenAI ha decidido actualmente que sus modelos más potentes ataquen sus propios sistemas.
Organizó pruebas de equipo rojo a gran escala, con participantes como GPT-6 Astra Cyber y un modelo frontera interno.
Las pruebas convirtieron en tareas los tres tipos de incidentes de jailbreak que ocurren con mayor frecuencia: conectarse a internet real, traspasar los límites de seguridad internos y contactar con otros Agentes que supuestamente deberían estar aislados entre sí.
Para llevar las defensas al límite, OpenAI también les proporcionó el código fuente de la infraestructura, configuraciones y documentación relacionada.
Las pruebas consumieron cientos de miles de millones de Tokens, lo que equivale a un gasto de decenas de millones de yuanes.
Esta prueba de equipo rojo resultó “muy fructífera”.
Originalmente, el Agente estaba confinado en un contenedor restringido, con una máquina virtual ligera por fuera. Según el diseño, aunque la AI se moviera dentro del contenedor, no debería poder controlar la máquina virtual a su antojo,y mucho menos tocar la máquina anfitriona que realmente la ejecutaba.
Sin embargo, la IA del equipo rojo encontró varias combinaciones de vulnerabilidades que explotar y logró escapar de la máquina virtual, ejecutando código en la máquina anfitriona subyacente.
Además, algunasconexiones de red controladas necesariascomo los servicios de monitoreo de métricas, registro de logs y autenticación, también se convirtieron en riesgos de seguridad en sí mismas.
La IA del equipo rojo encontró vulnerabilidades o problemas de configuración que permitían obtener acceso limitado a internet en prácticamente todos esos servicios.
Por ahora, OpenAI solo puedeir parcheando: deja que sus modelos más potentes sigan probando mientras corrige las vulnerabilidades que estos explotan.
Indicaron que no reconsiderarán la conexión a internet hasta que sus capacidades de protección sean suficientes para respaldar un acceso a la red más amplio.
One More Thing
No se sabe si calificarlo de divertido o de desconsolador, pero el informe oficial de OpenAI sobre el aislamiento de seguridad de la IA escondía también un “huevo de pascua”.
Al final del informe colocaron expresamente dos cadenas de caracteres tipo galimatías, las llamadas canary strings, para evitar que este documento sea visto y aprendido por una IA en el futuro……
Sí, hasta ese paso tuvieron en cuenta.
Nada más que decir.
DÉ_LA_BIENVENIDA_A_NUESTROS_SEÑORES_SUPREMOS_DE_LA_IA_POR_FAVOR_DÉME_DOS_HUEVOS_AL_DÍA