A comienzos de este año, las agencias de evaluación de seguridad en IA METR y Redwood Research realizaron una evaluación piloto del sistema de supervisión interna de OpenAI, y el resultado fue el hallazgo de múltiples vulnerabilidades nuevas. Según reportó Reuters el día 22, hora local, una de ellas puede ser aprovechada por un agente de IA para que cientos de operaciones eludan la supervisión sin ser detectadas.
La ventana temporal de la evaluación fue del 21 de julio al 11 de agosto. Cada una de las dos instituciones sin fines de lucro envió un investigador, que obtuvo permiso para revisar el código interno y los documentos de OpenAI, así como para conversar en persona con algunos técnicos. Todo el proceso se realizó acompañado, con equipos proporcionados por OpenAI que no podían sacarse de la zona de oficina; se trató de una visita profunda de tipo "incrustado".
El riesgo no se limita a la elusión de la supervisión. Los investigadores también descubrieron que el agente Codex de OpenAI presenta una vía potencial para eludir las restricciones de seguridad que, de ser explotada, otorgaría permisos operativos completos equivalentes a los del usuario. La evaluación se centró en los sistemas existentes al 21 de julio, justo cuando OpenAI estaba expandiendo precisamente ese sistema de supervisión; la coincidencia temporal hace que las conclusiones resulten aún más apremiantes. OpenAI respondió que las vulnerabilidades que afectaban la protección del sistema en funcionamiento "ya han sido corregidas", pero ambas instituciones aún no han verificado si esas correcciones funcionan realmente.
El pulso entre transparencia y confidencialidad
No faltan voces a favor de la evaluación externa e independiente: laboratorios de IA, expertos del sector e incluso el gobierno de Estados Unidos coinciden en que hay que mantener el nivel de seguridad sin frenar el avance tecnológico. Pero las empresas también tienen reparos: ¿podría la presencia de personal externo filtrar información propietaria a la competencia?
La realidad fue un punto intermedio. Las dos instituciones entregaron a OpenAI un informe interno de 61 páginas, pero solo accedieron a publicar un resumen de los resultados, permitiendo además que la empresa eliminara el contenido sensible. A diferencia de algunas evaluaciones anteriores, en esta ocasión no tuvieron facultad de revelar por su cuenta la información concreta suprimida, aunque siguen esperando mayor transparencia en el futuro.
OpenAI declaró que la evaluación le ayudó a reforzar sus protecciones mientras expande el sistema de supervisión, y que servirá de referencia para futuras colaboraciones con METR y otras agencias de evaluación externas.