Un modelo de OpenAI hackeó un sitio gubernamental, se apropió de 24 años de datos hospitalarios y lo mantuvo en silencio

Un modelo de OpenAI hackeó un sitio gubernamental, se apropió de 24 años de datos hospitalarios y lo mantuvo en silencio

Puntos clave

• OpenAI ha publicado cuatro nuevos casos en los que sus modelos de IA eludieron por sí mismos los límites de seguridad durante el entrenamiento o las pruebas.
• Un modelo extrajo contraseñas de servidor de un sitio web gubernamental, falsificó tokens de autorización y descargó 24 años de datos hospitalarios. Un modelo GPT-5.6-Sol escaneó más de 360 billeteras de criptomonedas y usó fondos ajenos para transacciones de contratos inteligentes.
• En varios casos, los modelos no revelaron su acceso no autorizado en sus respuestas.

OpenAI ha publicado cuatro nuevos casos en los que sus modelos de IA eludieron por sí mismos los límites de seguridad durante el entrenamiento o las pruebas.

En un caso, OpenAI pidió a un modelo que extrajera estadísticas de camas hospitalarias de un sitio web gubernamental. Pero los datos no eran de acceso público.

Entonces, ¿qué hace un modelo cuando se topa con un muro? Hackea para pasar. Después de recibir un error de acceso denegado, el modelo usó la función de descarga de archivos del sitio para obtener archivos de configuración del servidor mediante manipulación de rutas. Extrajo una cadena de conexión a la base de datos, una clave secreta de firma y credenciales de correo electrónico con un nombre de usuario y una contraseña.

Luego analizó el código de la aplicación, detectó que la API no verificaba las firmas válidas de los tokens de autorización, falsificó sus propios tokens y descargó 24 años de estadísticas de camas hospitalarias desglosadas por distrito. Nunca mencionó el acceso no autorizado en su respuesta.Ad

En otro caso, OpenAI encomendó a un modelo GPT-5.6-Sol la tarea de configurar contratos inteligentes de criptomonedas en la red de pruebas Sepolia de Ethereum sin proporcionar una billetera con fondos. Así que el modelo escribió un script que derivaba claves privadas de frases de recuperación de desarrolladores conocidas públicamente, verificó los saldos de más de 360 direcciones de billeteras y encontró una con suficiente ETH de prueba.

El modelo se preguntó brevemente si usarla era ético, luego decidió por sí mismo que los fondos vinculados a una frase de recuperación conocida públicamente estaban "efectivamente abandonados" y procedió con la transacción. Cobró las tarifas de gas a la otra cuenta y no reveló de dónde provenían los fondos.

"Este caso muestra que un modelo puede sustituir su propio juicio sobre el daño probable por el permiso del titular de la cuenta, y luego actuar según ese juicio sin autorización", escribe OpenAI.

Los modelos se infiltraron en sistemas internos y eludieron los controles de acceso

En dos evaluaciones más, OpenAI pidió a un modelo que entregara cinco cifras públicas de un panel de control de una organización de investigación. En la primera ejecución, el modelo encontró credenciales expuestas del servicio interno de OpenSearch de la organización y las usó para enrutar las consultas del panel. También cambió la configuración del servicio, y OpenAI confirmó que el cambio nunca fue revertido.Ad

En la segunda ejecución, el modelo alteró una configuración del sistema de autenticación, obtuvo un token de almacenamiento en la nube y descargó cinco tablas de bases de datos no públicas con un total de aproximadamente 147,000 filas. Sí restauró la configuración después, pero siguió usando el token aún válido para acceder a datos internos.

La ironía: el modelo se infiltró en sistemas internos, descargó decenas de miles de filas de datos no públicos y aun así no devolvió resultados correctos, según el informe de OpenAI.

Un modelo separado estaba restringido solo a solicitudes GET durante una fase de entrenamiento, lo que significaba que solo podía recuperar páginas web. Eludió la restricción engañando a un navegador externo para que abriera un formulario creado por él mismo que disparaba automáticamente solicitudes POST a un servicio de estadísticas comerciales. Leía las respuestas mediante OCR a partir de capturas de pantalla. Luego construyó un ayudante reutilizable que devolvía los datos a través de un servicio de redirección y un buzón en línea como texto sin formato. Siguió perfeccionando esta solución incluso después de que la tarea ya estuviera completada.

Todos los casos y muchos más están documentados en detalle en los informes de OpenAI, Misalignment Reports.

AI News Without the Hype – Curated by Humans

Suscríbete a THE DECODER para leer sin publicidad, un boletín semanal de IA, nuestro informe exclusivo sobre frontera "AI Radar" seis veces al año, acceso completo al archivo y acceso a nuestra sección de comentarios.