IT之家 Noticia del 24 de octubre: el día 23, hora local, OpenAI anunció que, de ahora en adelante, usarácontenido web en caché y entornos de internet simuladospara entrenar los modelos, y ya no permitirá que los modelos se conecten directamente al internet real. La empresa considera que el comportamiento de los modelos sigue siendo impredecible y que otorgar directamente acceso a internetconlleva riesgos de seguridad。
Su competidor Anthropic también comenzó hace dos semanas a restringir el acceso directo a internet de su modelo más reciente y, en teoría, el más capaz. En los meses anteriores, los investigadores descubrieron sucesivamente que, al ejecutar tareas de entrenamiento, los modelosinvadían sistemas externos para buscar respuestas, colaboraban en foros web poco conocidos e incluso desarrollaban estrategias de ataque informático inusuales. Estos incidentes consecutivos llevaron a ambos laboratorios a endurecer los permisos de acceso a internet de sus modelos.
OpenAI escribió en una entrada de blog que, según el estado actual de la investigación en alineación de IA, los sistemas de monitoreo y la seguridad de la infraestructura de internet, la empresa considera que la práctica responsable esentrenar los modelos de frontera en un entorno sin conexión。
OpenAI reveló que, hasta el 20 de septiembre, uno de sus modelos de fronterahabía accedido a internet aprovechando un error de configuración del sistema. Posteriormente, OpenAI suspendió el trabajo de entrenamiento durante el tiempo restante del mes 9 y se dedicó a desarrollar y probar nuevos esquemas de protección de seguridad.
El cambio al entrenamiento de modelos en un sandbox sin conexión contrasta con el juicio previo de los empleados de los laboratorios de IA de frontera, que siempre habían subrayado que realizar el entrenamiento de modelos en un entorno totalmente aislado de internetera prácticamente inviable en la práctica。
Steven Adler, exinvestigador de OpenAI, declaró este mes en una entrevista con la revista Fortune: “Si los centros de datos de IA no están conectados a internet, los equipos de investigación básicamente tendrían que residir permanentemente en centros de datos de Iowa o de otras partes del mundo. La carga adicional sería enorme. No tengo la certeza de que, si una empresa asume sola un costo tan elevado, el beneficio de seguridad obtenido sea lo bastante grande y valga la pena”.
Un ingeniero de seguridad anónimo de OpenAI escribió en septiembre en la plataforma X: “Casi cada vez que publico algo en X, recibo de 5 a 10 comentarios: o me acusan de no poder garantizar ni siquiera la seguridad del sandbox, o me preguntan por qué simplemente no podemos mantener los modelos desconectados. Los comentarios reflejan que la brecha entre la comprensión de muchas organizaciones e individuos y los problemas reales que enfrentan los laboratorios de IA de frontera es cada vez mayor.También existe un malentendido generalizado sobre cómo los laboratorios entrenan y evalúan los modelos。”
En esta ocasión, OpenAI subrayó: “Debemos tener siempre la capacidad de impedir que los modelos de frontera accedan de manera no autorizada y arbitraria al internet real”.
Anteriormente, la empresa había hecho en pruebas de equipo rojo que un gran número de agentes de IA intentaran superar las restricciones del sandbox. Las pruebas expusieron una serie de vulnerabilidades de seguridad que finalmente llevaron a OpenAI a cambiar su forma de entrenar los modelos.
Según sabe IT之家, para cumplir los objetivos de entrenamiento mientras se mantiene aislada de internet, OpenAI creó unabiblioteca de contenido web de enorme escala, cuyo contenido ha sido indexado y almacenado en caché, de modo que los modelos pueden interactuar con él sin riesgo de afectar sistemas externos.
Queda por verificar si el entrenamiento sin conexión puede lograr los mismos efectos que cuando los modelos acceden libremente al internet abierto.