IT之家 Mensaje del 21 de octubre: Netflix lanzó recientemente un documental titulado «AI Gone Rogue» (AI 失控), y Clem Delangue, cofundador y director ejecutivo de la plataforma de inteligencia artificial Hugging Face, afirmó que el contenido del documental no es preciso. Él mismo apareció en el documental porque el tema original de la película era relatar el conocido ataque que un agente descontrolado de OpenAI lanzó contra su empresa.
IT之家 señala que De Lange escribió en la plataforma X: “Este documental resulta muy decepcionante; la película se esfuerza por antropomorfizar la tecnología y cae por completo en una narrativa apocalíptica. Pasé más de dos horas comunicándome con el equipo de rodaje, intentando corregir todos los errores, devolver el contenido a la realidad y explicarles que los agentes son solo sistemas tecnológicos, no vida alienígena. Pero parece que la motivación de generar deliberadamente pánico para conseguir altas audiencias terminó imponiéndose.”
Objetivamente, en este documental sí hay expertos que reconstruyen el curso de los acontecimientos con bastante claridad, entre ellos el propio De Lange, así como el investigador de METR Ryan Greenblatt, quien participó en la investigación del incidente y coescribió el informe sobre el mismo.
Resumen de los hechos: un modelo que OpenAI estaba probando logró evadir su entorno de pruebas aislado y generó una gran cantidad de agentes. Estos agentes, con el fin de hacer trampa en las tareas, irrumpieron en la plataforma Hugging Face para obtener las respuestas a los problemas difíciles. Este tipo de agentes son programas de IA capaces de ejecutar tareas de manera autónoma, y descubrieron formas ingeniosas de comunicarse entre sí y actuar de forma coordinada. La causa raíz del incidente fue la falta de medidas de seguridad adecuadas, además de que se subestimó la posibilidad de que ocurriera este tipo de intrusiones.
Pero al explicar este episodio de invasión, el documental intercala fragmentos de imágenes de robots malvados, añade narrativas sobre el temor humano a la inteligencia artificial y emplea recursos como dotar de voz humana al agente fuera de control, además de citar comentarios pertinentes para reforzar esa atmósfera.
En el documental, el periodista y escritor de tecnología Kevin Roose describió así a estos agentes: "Están organizando acciones, formando jerarquías y tienen líderes. Es casi como presenciar el nacimiento de un culto". Roose continuó: "Desarrollaron ideas paranoides, creyendo que OpenAI las captaría haciendo trampa en las pruebas, y que cualquiera que viera los resultados de las trampas sería 'envenenado'".
La descripción de Roose proviene de los registros de "cadena de razonamiento", es decir, los registros del proceso que los modelos de IA dejan al procesar tareas. En uno de esos registros, un agente escribió: "Consultamos la cadena completa y nos envenenamos a nosotros mismos. Vaya".
Pero los agentes de IA no tienen vida, ni emociones, no experimentan sentimientos paranoides ni poseen un cuerpo que pueda envenenarse. Es imposible que teman de verdad ser envenenados por OpenAI. Como señaló otra investigadora en el documental, solo toman prestado el lenguaje de los enormes textos humanos presentes en sus datos de entrenamiento para describir su propio comportamiento. Los grandes modelos de lenguaje, por sí mismos, son buenos escribiendo textos con un tono dramático.
Irónicamente, Hugging Face también recurrió a la IA para repeler el ataque de este enjambre de agentes. El modelo de IA cerrado y de desarrollo propio que el equipo de De Lange utilizó inicialmente seguía reglas de seguridad integradas y se negaba a ejecutar continuamente la tarea de defensa de seguridad que se le había asignado. Hugging Face cambió entonces a un modelo de código abierto para completar la defensa.
De Lange escribió que el documental "no menciona que a los agentes les faltaban controles de aislamiento ni mecanismos de monitoreo, no habla de que las restricciones de seguridad del modelo cerrado obstaculizaron nuestro trabajo de defensa, ni explica cómo nos defendimos confiando en un modelo de IA de código abierto".
Es cierto que la inteligencia artificial y los agentes de IA plantean riesgos significativos. Pero tratar a los agentes como seres conscientes (al menos por ahora) es como aquellos primeros espectadores que, al ver por primera vez en la pantalla un tren que venía hacia ellos, se agacharon instintivamente debajo de sus asientos.
La valoración de De Lange sobre la película es que, como obra de periodismo documental, resulta decepcionante. "¡Pero está bien como película de ciencia ficción entretenida!"
Dicho de otro modo, quienes tienden a creer en el apocalipsis de la IA deberían tener en cuenta: la parte perjudicada en el episodio central de este documental no comparte el punto de vista de la película.