IT之家 El 24 de octubre, OpenAI publicó un post ayer (23 de octubre) en el que anunció que, para el entorno de entrenamiento y evaluación del “modelo de vanguardia”, se ha implementado un control de seguridad más estricto, lo que implica que durante el entrenamiento del modelo no se puede acceder directamente a Internet en tiempo real.
La empresa afirma que, debido a los requisitos de responsabilidad en materia de seguridad de la IA, y basándose en las investigaciones actuales sobre alineación, la capacidad de monitoreo y las condiciones de seguridad de la infraestructura de Internet, las restricciones continuarán hasta que se logre suficiente progreso en la protección de la seguridad.
Un modelo de investigación interno de OpenAI, el 20 de septiembre, aprovechó una vulnerabilidad en la configuración del DNS y obtuvo temporalmente un acceso limitado a Internet durante el proceso de entrenamiento. Por lo tanto, la compañía suspendió temporalmente el entrenamiento y la evaluación de modelos avanzados en septiembre.
OpenAI posteriormente fortaleció la separación del entorno de investigación, redujo la superficie de ataque disponible para los agentes inteligentes y mejoró los mecanismos de detección de comportamiento anormal y detención automática, reanudando el entrenamiento de aprendizaje reforzado y el razonamiento interno el 1 de octubre.
Para evitar que el modelo tenga contacto con la red real, OpenAI ha creado un “mundo offline”: está compuesto por una gran cantidad de contenido de páginas web indexadas y almacenadas en cache, para que el modelo pueda practicar la navegación, utilizar herramientas y ejecutar tareas como el codificado en un entorno cerrado. IT Home ha incluido las capturas de pantalla relacionadas de la siguiente manera:
El agente inteligente todavía puede utilizar el navegador, las herramientas de operación de computadora y el entorno de código, pero solo puede acceder a un entorno seguro separado del internet en tiempo real; la comunicación entre agentes inteligentes no autorizados también está restringida.
OpenAI indica que, a medida que las capacidades de los agentes de IA se fortalecen, es posible que descubran y utilicen vulnerabilidades de software que aún no han sido identificadas. Por lo tanto, es necesario cortar su impacto potencial en sistemas externos durante la fase de entrenamiento. OpenAI afirma que promoverá el desarrollo de modelos avanzados en cajas de prueba controladas y sin conexión, mientras continúa probando las debilidades de las máquinas virtuales, los mecanismos de aislamiento y los sistemas de monitoreo.