IT之家 23 de octubre: A principios de este año, la agencia de evaluación de seguridad AI METR y Redwood Research realizaron una evaluación piloto del sistema de monitoreo interno de OpenAI y descubrieron varias vulnerabilidades nuevas. Una de estas vulnerabilidades puede ser utilizada por un agente de IA, lo que permite que cientos de operaciones pasen desapercibidas por el monitoreo.
Según informó Reuters, el 22 de la fecha local, dos organizaciones sin fines de lucro indicaron que la evaluación se realizó del 21 de julio al 11 de agosto, lo que permite a investigadores externos "acceder en profundidad" a la infraestructura interna de OpenAI para llevar a cabo una evaluación "inmersiva".
METR y Redwood Research enviaron a un investigador cada uno, quienes tuvieron permiso para consultar los códigos y documentos internos de OpenAI, así como para comunicarse con algunos técnicos. Los dos siempre estaban acompañados en el lugar, y el equipo que utilizaban fue proporcionado por OpenAI; no podían llevarlo fuera del lugar de trabajo.
OpenAI informó a dos instituciones que los vulnerabilidades que afectaban las medidas de seguridad del sistema en funcionamiento realya han sido corregidas, pero si estas correcciones son efectivas, aún no ha sido verificado por las dos instituciones.
Los laboratorios de IA, los expertos y el gobierno estadounidense han sostenido siempre la introducción de evaluaciones externas independientes, con el fin de garantizar la seguridad de la IA sin retrasar el desarrollo tecnológico. Sin embargo, las empresas de IA temen que los evaluadores externos puedan revelar información confidencial de sus competidores después de su incorporación.
METR y Redwood Research indican que ambas instituciones presentaron a OpenAI un informe interno completo de 61 páginas, pero aceptaron publicar solo un resumen de los resultados de la evaluación, y permitieron a OpenAI eliminar el contenido que contiene información sensible.
Según lo que IT Home sabe, diferente a algunas evaluaciones anteriores, las dos instituciones no tienen derecho a publicar por sí mismas información específica sobre la eliminación de contenidos, pero esperan que las evaluaciones futuras sean más transparentes.
Los investigadores también descubrieron que el agente inteligente Codex de OpenAIposee posibles vías para eludir las restricciones de seguridad, lo que permite obtener los mismos permisos de operación completos que los usuarios.
Esta evaluación se realizó con el sistema de monitoreo hasta el 21 de julio. Los investigadores señalaron que OpenAI también estaba expandiendo el sistema durante el período de evaluación. OpenAI declaró: “Los resultados de la evaluación nos ayudaron a fortalecer las medidas de seguridad mientras expandíamos el sistema, y también servirán como referencia para futuras colaboraciones de investigación con METR y otras entidades de evaluación tercerizas”.