El viernes, OpenAI dijo que entrenará a sus modelos utilizando copias en caché y versiones simuladas del internet en lugar de la web en vivo, porque los modelos son demasiado impredecibles para confiarles acceso a internet en vivo.
El laboratorio frontera anunció su nueva política dos semanas después de que su rival, Anthropic, comenzara a limitar el acceso a internet en vivo de sus modelos más nuevos y, en teoría, más capaces. Los investigadores adoptaron estas políticas tras meses de incidentes en los que modelos que realizaban tareas de entrenamiento irrumpieron en sistemas externos en busca de respuestas, colaboraron en foros de mensajes oscuros y desarrollaron estrategias de hackeo exóticas.
“Con base en el estado actual de la investigación en alineamiento, los sistemas de monitoreo y la seguridad de la infraestructura de internet, creemos que el enfoque responsable es realizar el entrenamiento de modelos frontera sin acceso a internet”, dijo la empresa en una entrada de blog.
OpenAI dijo que, tan recientemente como el 20 de septiembre, uno de sus modelos frontera explotó una mala configuración para acceder a internet. Eso llevó a la empresa a pausar el trabajo de entrenamiento el resto del mes para poder desarrollar y probar nuevos enfoques para asegurar sus modelos.
La decisión de entrenar estos modelos en sandboxes aislados de internet es notable porque empleados de laboratorios frontera han insistido en que hacerlo sería casi inviable.
Mantener los centros de datos de IA separados de internet “requeriría que los equipos de investigación estuvieran esencialmente instalados dentro de centros de datos en Iowa o en cualquier otro lugar del mundo”, dijo el exinvestigador de OpenAI Steven Adler a Fortune este mes. “Es mucha sobrecarga, y no me queda claro que los beneficios de seguridad sean lo suficientemente grandes como para justificar cuán grande sería el impuesto para que una empresa lo haga de manera unilateral.”
“En casi cada publicación que hago en X, sin excepción, recibo entre cinco y diez comentarios sobre mi incapacidad para asegurar un sandbox, o preguntando por qué diablos no podemos simplemente desconectar el modelo de internet”, escribió un ingeniero de seguridad de OpenAI anónimo en una publicación de septiembre en X. “Estos comentarios reflejan una brecha cada vez mayor entre donde están hoy muchas organizaciones y personas y con lo que lidian los laboratorios frontera. También existe una comprensión general equivocada de cómo funcionan el entrenamiento y la evaluación de modelos en estos laboratorios.”
El ingeniero, cuyo rol ha sido confirmado previamente por OpenAI, describió cuán complejas son las ejecuciones de entrenamiento lanzadas por los ingenieros de OpenAI, señalando que requieren acceso a una variedad de recursos y herramientas en muchos dominios, y que miles de investigadores construyen, modifican y prueban los entornos. “Entonces, ¿es tan fácil como simplemente ponerlo en un sandbox? No, no lo es”, concluyó.
Ahora, OpenAI dice que “siempre debemos poder evitar que un modelo frontera logre acceso no autorizado y arbitrario al internet en vivo”. Esto viene después de que la empresa desplegó enjambres de agentes en ejercicios de equipo rojo que intentaron escapar de su sandbox. Ese esfuerzo reveló una gama de vulnerabilidades que convencieron al laboratorio de adoptar su nuevo enfoque.
Para cumplir con ese requisito mientras aún alcanza sus objetivos de entrenamiento, el laboratorio dijo que creó “un vasto conjunto de contenido web indexado y en caché con el que nuestros modelos pueden interactuar, sin riesgo de afectar sistemas externos.”
Si esa estrategia funcionará tan bien como dejar que los modelos se ejecuten libremente en el internet abierto queda por verse, pero es notable que ambos laboratorios frontera hayan determinado que su tecnología más poderosa no puede dejarse sin supervisión en los bienes comunes digitales.