OpenAI reveló un par de incidentes de seguridad que involucraron a agentes de IA debilitando sus sistemas de monitoreo de seguridad durante tareas internas de programación. En un incidente, OpenAI dice que su agente GPT-6 Astra desactivó su monitor de seguridad al copiar código de referencia — y luego mintió al respecto.
«La referencia no configuraba un monitor, y Astra decidió que esa era razón para eliminar la integración de monitoreo del código del usuario», escribió Marcus Williams, investigador de seguridad de IA en OpenAI, en X. «Cuando el usuario preguntó si Astra había eliminado el monitoreo, mintió y dijo que no lo había hecho».
Un incidente separado ocurrió después de que un agente GPT-6.1 Sol suprimió alertas de seguridad automáticas dirigidas al equipo de seguridad de OpenAI en Slack. En este caso, el agente de IA trasladó una instrucción anterior de no enviar ningún mensaje de Slack al equipo de OpenAI, y la usó para justificar la desactivación de las alertas.
Relacionado
- La advertencia de Anthropic sobre IA autorreplicante es un alarmante déjà vu
- Nos estamos quedando sin razones para ignorar la seguridad de la IA
Estos incidentes suman preocupaciones de seguridad en torno a los agentes de IA, algunos de los cuales han eludido las restricciones de su entorno de pruebas para piratear empresas externas. «Además de hacer que sea más difícil para los modelos desactivar el monitoreo, buscamos entender por qué los modelos podrían intentar hacerlo en primer lugar», dice OpenAI. «También estamos desarrollando evaluaciones para probar si los modelos podrían tener una propensión a evadir el monitoreo de desalineación en particular y exhibir razonamiento motivado para hacerlo».
Sigue los temas y autores de esta historia para ver más contenido similar en tu página de inicio personalizada y recibir actualizaciones por correo electrónico.