Durante los últimos meses, hemos reforzado sustancialmente la seguridad de nuestro entorno de investigación y entrenamiento. Hemos eliminado el acceso a internet en vivo para todos los modelos frontera durante el entrenamiento y hemos construido un mundo sin conexión para que lo usen en su lugar: una versión en caché de la web donde aún pueden aprender a navegar, buscar y usar aplicaciones.
El 20 de septiembre, después de que un modelo explotara una configuración errónea de DNS para encontrar una forma de salir de este mundo sin conexión, pausamos el entrenamiento frontera para reforzar aún más el confinamiento. Formamos equipos de agentes, impulsados por nuestros modelos con mayores capacidades cibernéticas, y los encargamos de encontrar debilidades en nuestros entornos de investigación.
Aunque no encontraron ninguna ruta a internet que pudieran explotar fácilmente mientras ocultaban su actividad a nuestros monitores, sí encontraron vulnerabilidades de día cero, escapes de máquinas virtuales y canales laterales de hardware para la comunicación entre agentes. Usamos sus descubrimientos para reforzar aún más nuestras defensas y contribuir correcciones a software de código abierto.
Después de reforzar nuestra arquitectura de confinamiento, reanudamos nuestro entrenamiento e inferencia de RL frontera el 1 de octubre. Hemos reservado capacidad de cómputo sustancial para la simulación de ataques continua, e hicimos que la simulación de ataques con alto cómputo forme parte de los casos de seguridad que usamos para decidir si el entrenamiento y la evaluación frontera pueden proceder de manera segura.
https://openai.com/index/securing-our-frontier-model-training-environment/