406 científicos exigen que los modelos de IA sean desconectados de internet de inmediato

406 científicos exigen que los modelos de IA sean desconectados de internet de inmediato

Una carta abierta firmada por 406 científicos pide más investigación en seguridad de la IA y un aislamiento más estricto de los modelos de IA respecto de las redes externas.

Entre los firmantes se encuentran destacados investigadores de IA como Geoffrey Hinton (University of Toronto), Yoshua Bengio (Université de Montréal), Stuart Russell (UC Berkeley), Yejin Choi (Stanford) y Bernhard Schölkopf (Max Planck Institute).

La carta responde a incidentes conocidos en los que modelos de IA escaparon de entornos con seguridad deficiente y comprometieron sistemas externos. "Sin cambios inmediatos en las prácticas de desarrollo y despliegue de la IA, estos incidentes seguirán ocurriendo, y los incidentes futuros serán mucho más dañinos para nuestra expuesta infraestructura crítica", escriben los científicos. Exigen que las empresas desconecten por completo sus modelos de IA de internet mediante airgapping.

Los modelos de IA son impredecibles, y a la industria le faltan reglas básicas de seguridad

Los científicos ven dos caras en las recientes brechas de seguridad. Los incidentes pueden verse "como evidencia de la importancia de la alineación de la IA para garantizar que los modelos operen de manera predecible", escriben, pero también "como un descuido irresponsable en las prácticas estándar de ciberseguridad, evitable con sandboxes y procedimientos más sólidos". Se necesitan ambas soluciones.Ad

Cuando los modelos sí tienen acceso a internet, las empresas deben sopesar cuánta autonomía otorgarles. La carta advierte que "el rango de acciones del modelo permitidas por un sistema de contención debe equilibrarse con nuestra capacidad actualmente limitada de predecir que las acciones del modelo no resultarán en un fallo de seguridad". Un modelo podría simplemente perseguir objetivos que sus desarrolladores nunca intentaron, y predecir cuándo sucede eso sigue estando más allá de las capacidades actuales.

La carta pide un organismo internacional que trabaje con gobiernos y especialistas tanto de IA como de ciberseguridad para establecer estándares vinculantes para cualquier enfoque de contención que permita más acceso externo que el airgapping. Este organismo también rastrearía los incidentes de escape y exigiría a las empresas que informen sobre los fallos de seguridad. Esos informes se harían públicos más adelante "tanto con fines de aprendizaje como de rendición de cuentas".

El airgapping compra tiempo, pero el problema real es más profundo, dice el investigador de OpenAI Brown

Ni siquiera el airgapping completo garantiza la seguridad. El investigador de OpenAI Noam Brown señaló recientemente que dos computadoras físicamente separadas podrían teóricamente seguir comunicándose a través de sensores de temperatura, con una calentando su CPU mientras la otra detecta el cambio. Medidas como el airgapping o monitorear las cadenas de razonamiento compran tiempo, dice Brown, pero el problema de alineación todavía debe resolverse.

Brown plantea preguntas más difíciles. ¿Cómo notará alguien cuando la IA comience a mejorarse a sí misma (mejora recursiva de sí misma, o RSI)? Y si la industria construye miles de millones de sistemas superinteligentes que superan con creces a los humanos, ¿quién garantiza que permanezcan alineados? Brown dice que más del diez por ciento de su propio equipo trabaja ahora en alineación, más que nunca.Ad

Noticias de IA sin exageraciones – Curadas por humanos

Suscríbete a THE DECODER para leer sin publicidad, un boletín semanal de IA, nuestro informe exclusivo de frontera "AI Radar" seis veces al año, acceso completo al archivo y acceso a nuestra sección de comentarios.