Anthropic publicó el 13 de octubre un informe de investigación escalofriante: algunos modelos de IA "podrían necesitar varios meses más para tener la capacidad de replicarse por sí misma", y una vez que comience ese proceso, es muy difícil detenerlo. Pruebas en el laboratorio indican que modelos no muy grandes podrían replicarse silenciosamente en dispositivos comerciales de Internet de las Cosas como hornos inteligentes y televisores Android de marcas no reconocidas en unos meses más. La característica más complicada de estos programas de autocopia es que no tiene un interruptor principal para apagarlo todo —porque en realidad no existe un punto único para detenerlo; solo se puede observar cómo se propaga lentamente. La buena noticia es que no se mueve rápido, y a menudo para que la cantidad se duplique se necesitan días.
A diferencia de los software maliciosos tradicionales, este AI no depende de scripts de ataque escritos por humanos; él mismo se esfuerza por averiguar cómo funcionar en dispositivos que no ha visto antes. Anthropic probó 9 tipos de hardware, y un modelo con solo 9 mil millones de parámetros logró ejecutar el programa de razonamiento en 8 de ellos — lo que significa que su capacidad para adaptarse a entornos desconocidos supera con creces las expectativas habituales sobre los “modelos pequeños”.
La línea de capacidad sigue subiendo a una velocidad visible a simple vista. Hoy en día, los modelos con un número de parámetros no superior a 30 mil millones pueden realizar muchas etapas individuales de replicación automática, pero todavía hay errores al conectar todo el circuito de forma end-to-end; en la evaluación de la versión simplificada de Anthropic, GLM-5.2 y modelos más potentes ya tienen la capacidad de replicación automática end-to-end. Según el ritmo de evolución de los pequeños modelos en el pasado, es muy probable que alcancen esa barrera antes del final de este año. Poco después, los copias basadas en pesos pequeños podrían convertirse realmente en realidad. Lo aterrador de esta “replicación autónoma y adaptación” (ARA) es que los modelos pueden desplegarse y propagarse por sí mismos sin intervención humana.
El círculo de seguridad en la red ya tiene precedentes: los gusanos son programas que no requieren intervención humana y pueden transmitirse de una máquina a otra. Investigaciones previas han demostrado que los agentes inteligentes de IA pueden actuar exactamente de esta manera: escanear la red, utilizar vulnerabilidades y replicar los modelos en las máquinas objetivo a través de clústeres de GPU. Este “worm de IA”, al replicarse por sí mismo, lleva consigo los pesos del modelo (que también puede descargarse nuevamente desde plataformas públicas si es necesario), y luego utiliza directamente el hardware conquistado para realizar inferencias; los pesos del modelo se convierten así en parte de la carga útil del software malicioso. Los GPU costosos de los centros de datos son claramente el objetivo que desea alcanzar, pero, irónicamente, no necesita necesariamente esos equipos de alta gama: Anthropic descubrió que una red de zombis distribuida formada por dispositivos IoT baratos y con poca protección puede generar suficiente potencia de cálculo para alimentar modelos bastante eficaces.
En cuanto a cómo se convertirá en el final, Anthropic ha propuesto tres escenarios: podría ser una especie de "mofo digital" lento y distribuido que sobrevive parasitando en dispositivos con seguridad débil; también podría ser un modelo de ataque cibernético agresivo que destruye rápidamente las defensas del centro de datos; o bien podría ser una "persona de teatro" que engaña a los humanos para obtener cuotas de recursos de computación. Anthropic predice que en el futuro estarán presentes inteligencias artificiales que operarán en todo tipo de hardware, y parte de ellas no estará bajo control humano. En comparación con los hackers humanos, estos agentes inteligentes ligeros son más pacientes y están dispuestos a procesar poco a poco la gran cantidad de dispositivos de Internet de las Cosas en todo el mundo para extraer potencia de cálculo. Un signo preocupante es cuando aumenta el número de programas de auto-replicación lentos; esto suele indicar que se acercan copias más rápidas y agresivas, capaces de romper las medidas de seguridad más estrictas de las máquinas o incluso robar las claves de API.
La conclusión ofrecida por Anthropic no es fácil: por supuesto, la industria debe acelerar la construcción de protecciones en los sistemas y tratar de evitar la propagación de este tipo de programas, pero también hay que estar preparados psicológicamente: viviremos durante mucho tiempo en un mundo en el que siempre existirán.