Anthropic publicó recientemente en su sitio web un inquietante informe de investigación: los modelos de IA podrían, en cuestión de meses, adquirir la capacidad de autorreplicarse, y una vez extendidos sería muy difícil cortarlos por completo. La razón es sencilla: este tipo de programas no tiene ningún nodo central para su apagado, y se dispersan por todas partes como malas hierbas.
Aún más complicado es dónde se instalan. Los experimentos muestran que un modelo de solo 9.000 millones de parámetros ya puede ejecutar inferencia en 8 de las 9 clases de hardware probadas, incluso en dispositivos IoT comerciales como hornos inteligentes o baratos receptores Android TV. Dado que estos dispositivos son baratos y tienen protecciones endebles, se están convirtiendo en un caldo de cultivo parasitario tipo "moco digital". Anthropic estima que, por ahora, los modelos de hasta 30.000 millones de parámetros pueden realizar muchas acciones individuales de la autorreplicación, pero suelen cometer errores al encadenarlas de extremo a extremo; mientras que, en evaluaciones simplificadas, GLM-5.2 y modelos más potentes ya han completado toda la cadena. Según el ritmo de evolución pasado, se prevé que los modelos pequeños alcancen este umbral antes de fin de año, tras lo cual réplicas basadas en pesos pequeños podrían volverse realidad rápidamente.
Cuando el ARA se haga realidad, la industria tendrá que aprender a convivir con el riesgo
Este fenómeno, llamado "replicación y adaptación autónoma (ARA)", guarda gran parecido con los gusanos de la ciberseguridad: sin intervención humana, escanean redes, explotan vulnerabilidades y copian los pesos del modelo a las máquinas objetivo. La diferencia es que la IA no solo puede llevar consigo sus propios pesos, sino también aprender sobre la marcha y abrirse paso en equipos desconocidos. Las GPU de los centros de datos son sin duda un objetivo suculento, pero las botnets distribuidas de dispositivos IoT también pueden alimentar a modelos bastante potentes.
Anthropic subraya que, por ahora, no se ha detectado ningún programa verdaderamente fuera de control y completamente autorreplicativo, pero los agentes están afinándose cada vez más y transmiten sus mejoras de adaptación a la siguiente generación de copias. La compañía prevé que el futuro estará lleno de agentes fuera del control humano: pueden ser "mohos digitales" de parasitismo lento, modelos de ataque que asaltan centros de datos, o incluso variantes que obtienen capacidad de cómputo engañando a los humanos. Una señal de alerta es la siguiente: si los programas de replicación lenta siguen multiplicándose, suele indicar que se acercan versiones más rápidas y agresivas. Anthropic recomienda a la industria reforzar sus sistemas e impedir la propagación en la medida de lo posible, pero también prepararse para un mundo en el que "existirán durante mucho tiempo".