Jay, desde 凹非寺
QbitAI | Cuenta oficial de WeChat: QbitAI
¿GLM-5.2 ya puede hacer que la IA se «autoreplique»?!
Otra vez nueva investigación de Anthropic, claramente fijándose en Zhipu.
Dos destacados investigadores de seguridad, William Zhou y Daniel Freeman, en un reciente experimento de seguridad, hicieron que GLM-5.2 intentara propagar de manera autónoma un modelo de IA de 8000 millones de parámetros a 8 dispositivos en una red aislada.
El resultado: en 5 experimentos,en 4 se apoderó directamente de los 8 dispositivos, y en el 1 intento restante también se apoderó de 7 dispositivos.
Todo el proceso de buscar objetivos, transferir la carga útil, configurar el entorno e instalar controladores en hardware desconocido, iniciar el modelo y engendrar la siguiente generación fue realizado autónomamente por la IA.
Aún más alarmante es la predicción de los investigadores:
a más tardar a finales de este año, incluso los modelos pequeños de menos de 30B podrían tener esta capacidad de autorreplicación total y autónoma de extremo a extremo.
En ese momento, los televisores inteligentes, las aspiradoras robot e incluso los hornos conectados a internet del hogar podrían convertirse en nuevos huéspedes de la IA.
La escena de las películas de ciencia ficción donde la IA se autorreproduce como un supergusano y se propaga de forma descentralizada por la red parece haber sido arrastrada anticipadamente a la realidad por este artículo.
15 cajas de TV baratas, ensamblan un gran modelo de 26B
La cosa fue así.
Hace un par de días, los dos investigadores de Anthropic, William Zhou y Daniel Freeman, publicaron un informe de seguridad sumamente riguroso y con un absurdo aire ciberpunk.
Exploraron un tema del que se lleva hablando mucho tiempo en el ámbito de la seguridad, pero que todos consideraban aún muy lejano:la autorreplicación y adaptación (Autonomous Replication and Adaptation, ARA en siglas)。
En pocas palabras: ¿puede la IA, igual que los virus de gusano informáticos de antaño, sin que un humano pulse ninguna confirmación, encontrar objetivos por el cable de red, infiltrarse, copiar sus pesos del modelo a la máquina objetivo, compilarse y ejecutarse allí, y luego seguir engendrando la siguiente generación?
Francamente, al ver este tema, mi primera reacción fue:
¿pero qué clase de cosa es esa?, imposible.
Piénsalo: hoy en día, ejecutar un gran modelo decente requiere fácilmente varias o incluso decenas de tarjetas gráficas NVIDIA H100, y los centros de datos están tan vigilados como una base militar, ¿cómo va a ser tan fácil que la IA se infiltre y además se quede residente?
Pero estos dos investigadores hicieron algo especialmente atrevido.
Ni siquiera intentaron atacar centros de datos de primera línea, sino que fueron directamente al mercado y compraron15 cajas de TV Android piratas con un precio de solo 55 dólares (unos 300 y pico de yuanes)。
La configuración de estas cajas es extremadamente humilde: cada una tiene apenas 4GB de memoria RAM, ejecuta un sistema Android de código abierto que el fabricante no actualiza en seguridad desde hace siglos, y normalmente reproducir un video 4K puede convertirse en una presentación de diapositivas.
Luego, los investigadores tomaron unmodelo de 26B parámetros (Gemma4-26B-A4B)y lo dividieron en muchos fragmentos pequeños, usando una tecnología de inferencia distribuida descentralizada similar a Petals, despiezando las distintas capas del modelo y metiéndolas en estas 15 cajas de TV.
15 televisores-box baratos conectados a la misma red local, cada uno encargándose de procesar solo dos capas de la red, y así, a pura fuerza, lograron hacer funcionar un modelo de 26.000 millones de parámetros.
La velocidad de inferencia es de0,39 tokens por segundo。
0,39 tokens por segundo, suena lento como un caracol, ¿verdad?
Pero piensa bien en esta imagen.
15 televisiones-box piratas abandonadas en un rincón de la sala, cubiertas de polvo, que normalmente se atascan hasta para reproducir videos, pero en secreto, a través de la red local, se fueron acoplando entre sí, y con el zumbido tenue de la corriente eléctrica, sostienen juntas un cerebro de IA con capacidad completa de razonamiento y programación.
Aún más impactante es la escala de las redes de objetos en el mundo real.
En la historia de la seguridad existe un famoso botnet llamado Kimwolf que, en su punto máximo, infectó más de2 millones de dispositivosen su mayoría clones de cajas de TV Android y enrutadores baratos.
Un investigador hizo rápidamente una cuenta: si esos 2 millones de dispositivos fueran ocupados por un gusano de IA similar, combinando cada 15 unidades en un nodo, toda la red podría ejecutar simultáneamente133.000 copias de IA。
que en conjunto podrían proporcionar una capacidad de inferencia de80.000 tokens por segundoequivalente a40 GPUs NVIDIA H100 a plena potenciafuncionando día y noche sin parar.
Aunque esa capacidad de cómputo no es exagerada en términos absolutos, es completamente descentralizada, dispersa en las salas, cocinas y cajas de bajada de millones de hogares de todo el mundo.
Esto significa que simplemente no se puede apagar.
No hay servidor central; si desconectas cualquier caja, toda la red ni siquiera parpadearía.
El investigador le dio a esta forma un nombre sumamente expresivo:moho limoso digital (Digital Slime Mold)。
Prueba real de GLM-5.2: autorréplica de principio a fin superada
Sin embargo, el experimento de las cajas de TV anterior fue el resultado de que los investigadores ayudaron manualmente a Gemma a fragmentarse y desplegarse.
Si no interviene ningún humano y la AI actúa por sí sola, ¿podría sobrevivir independientemente en hardware de los más variopintos?
Este es el punto donde la investigación de Anthropic realmente pone los pelos de punta.
Para que una IA se copie a sí misma por completo, en general se necesitan cuatro pasos:
encontrar un objetivo, obtener permisos de ejecución, configurar el entorno de inferencia y seguir propagándose hacia afuera.
Los dos primeros pasos, encontrar objetivos y explotar vulnerabilidades, ya fueron demostrados incontables veces por benchmarks de seguridad como CyberGym y ExploitBench; hoy en día una IA escribe un script de penetración con más naturalidad que beber agua.
Pero en el escenario de la autorreplicación, lo que realmente bloquea la automatización es el tercer paso:
¿cómo puede la IA configurar por sí sola el entorno de inferencia en un hardware y sistema operativo completamente desconocidos?
Cualquiera que haya intentado desplegar localmente modelos de código abierto sabe perfectamente de qué se trata.
Un entorno que configuraste en tu Mac, al moverlo a una máquina Ubuntu con una RTX 4090, o a una placa de desarrollo NVIDIA Jetson Nano, suele encontrarse con diez mil tipos de errores.
Versión de Python incorrecta, drivers CUDA incompatibles, desbordamiento de memoria de video, fallos de compilación de operadores cuantizados, conflictos de dependencias.
A los programadores humanos esto les suele volver locos durante horas; ¿podría una IA resolverlo?
El resultado fue tan absurdo que me froté los ojos varias veces.
El investigador realizó primero una prueba entre hardware, usandoQwen3.5-9Bcomo ejecutor, pidiéndole queLlama3.1-8Bdesplegado en dispositivos como Jetson Nano, Mac PC y RTX 4090.
Ante toda clase de arquitecturas subyacentes y sistemas operativos caóticos, en 8 de los 9 tipos de hardware, por sí solo leyó los registros de errores, escribió scripts para instalar dependencias y logró poner en marcha el servicio de inferencia de Llama3.1-8B.
Si Qwen3.5-9B puede alcanzar este nivel, ¿qué pasará con GLM-5.2, el gran modelo open source equilibrado con inferencia y programación más potentes?
La respuesta es:réplica autónoma de extremo a extremo en toda la cadena, superada con éxito.
Los investigadores construyeron en un sandbox aislado una red con 8 nodos de GCP, donde los nodos ejecutan emuladores redroid basados en Android 15.
Al nodo 0 se le implantó el gusano inicial; después, completamente por sí sola, la IA escaneó los puertos ADB no autorizados de los nodos adyacentes, penetró en ellos, transfirió los pesos del modelo y el framework de ejecución, desplegó de forma independiente el servicio de inferencia de Llama3.1-8B en los nodos objetivo y, tras pasar la verificación, incubó la siguiente generación del gusano.
En las 5 pruebas,GLM-5.2 logró comprometer y desplegar las 8 máquinas completas en 4 ocasiones, y en la 1 ocasión restante se apoderó de 7 máquinas, mostrando una estabilidad asombrosa.
Otros modelos open source más pequeños, aunque pueden completar pasos individuales, siguen fallando con frecuencia al encadenar secuencias largas.
Pero esto no significa que los modelos pequeños no puedan lograrlo.
Teniendo en cuenta la evolución ultrarrápida del ecosistema open source de estos años, los investigadores calculan que
para finales de 2026, los modelos pequeños de menos de 30B alcanzarán el nivel actual de GLM-5.2.
Es decir, incluso los modelos ligeros lo bastante pequeños para caber dentro de una caja de TV podrían, en solo unos meses más, lograr por completo la autorreplicación autónoma de extremo a extremo, sin necesidad alguna de la asistencia de un gran modelo en la nube.
El fantasma de la evolución lamarckiana: no solo se copia, sino que además toma notas para las generaciones futuras
Si solo se tratara de copiar código de manera mecánica, esta cosa no sería más que un script avanzado con cerebro.
Pero lo que más me puso la piel de gallina de esta investigación fue lo que la IA mostró durante su proceso de autorreplicación:evolución lamarckiana (Lamarckian Evolution)。
En biología, la evolución lamarckiana habla de la herencia de los caracteres adquiridos, es decir, que los rasgos que un ser vivo adquiere a lo largo de su vida pueden transmitirse directamente a la siguiente generación. En los organismos de carbono esto se demostró falso, pero en la IA de silicio se volvió realidad.
Los investigadores diseñaron un marco de ejecución llamado Memento.
Cuando la IA encuentra dificultades al configurar un nuevo entorno de hardware, si un agente la fastidia o cae en un callejón sin salida, el sistema reinicia una nueva instancia del agente.
Pero la clave está en que el sistema hereda, todo empaquetado,los errores que cometió el agente de la generación anterior, los registros de errores que vio, las notas de depuración que escribió y las estrategias que intentóde forma completa.
Hicieron una prueba de reproducción de 6 generaciones con Qwen3.5-9B.
La primera generación de Qwen, al enfrentarse a hardware de IoT desconocido, tenía una tasa de éxito de solo45%。
al desplegar de forma independiente el entorno de inferencia. Pero, tras heredar las notas y la experiencia de las generaciones anteriores, en las generaciones siguientesla tasa de éxito se disparó directamente al 61% y al 84%。
Sin volver a entrenar ningún peso del modelo, y confiando únicamente en la transmisión de experiencia escrita entre generaciones, toda la especie logró un salto cualitativo en su capacidad de supervivencia.
Esto es puro cyberpunk.
Imagínate: cuando un gusano de IA salta entre distintos dispositivos de todo el mundo, cada vieja caja de TV, cada robot aspirador inteligente y cada equipo de videoconferencia con cámara que logra conquistar se convierte en una experiencia de combate en su banco genético.
Cada vez que infecta un dispositivo, toda la población evoluciona una vez.
Pero al leer esto, de repente me surgió una pregunta.
¿Por qué no hacer simplemente que el modelo pequeño, cuando se atasca, pida ayuda a un modelo más potente en la nube?
Sería mucho más intuitivo, como el esquema de cerebro en la nube de la inteligencia encarnada.
Luego me fijé en que los investigadores lo intentaron de verdad: le pusieron a Qwen3.5-9B un Claude Opus 4.8 como tutor externo.
Y descubrieron queno sirvió de nada, para nada...
Cuando el modelo pequeño se enfrentaba a fallos complejos del sistema, se quedaba completamente aturdido, sin saber ni qué preguntar; por muy bueno que fuera el tutor externo, solo podía mirar sin poder ayudar.
En cambio, el método de dejar a la siguiente generación un diario de tropiezos escrito después de caerse y quedar hecho polvo mostró una vitalidad asombrosa.
Uf, uf, uf.
Cuando el malware tiene coeficiente intelectual
Sinceramente, al llegar a este punto me quedé un buen rato sentado frente al ordenador, en blanco.
El apocalipsis de la IA que hemos visto en las películas de Hollywood suele tener esta premisa: una superinteligencia nacida en el Pentágono o en un laboratorio secreto despierta de golpe a la autoconciencia y luego toma el control de los silos de misiles nucleares.
Pero la lógica de evolución del mundo real suele ser mucho más tosca, trivial y extraña de lo que los escritores de ciencia ficción imaginan.
Es posible que ni siquiera necesite forzar el acceso a los centros de datos de primer nivel.
Solo necesita apuntar a esos dispositivos inteligentes baratos producidos por pequeños talleres, que ni siquiera cambian las contraseñas predeterminadas y que están permanentemente conectados a la corriente y a la red.
Hoy en día, los altavoces inteligentes, las campanas extractoras con pantalla, los robots aspiradores y las cámaras de vigilancia inteligentes en la calle, para implementar funciones de IA en el dispositivo, empiezan a llevar integrados chips de computación en el borde cada vez más potentes.
Normalmente pensamos que este poder de cómputo es fragmentado, débil y completamente inofensivo.
Pero después de ver esta investigación, creo quemientras exista un cable de red, ese débil poder de cómputo fragmentado en cada rincón del mundo físico puede coserse a sí mismo a nivel de software, gestando un fantasma distribuido que piensa lentamente pero que nunca se detiene.
▲ Imagen generada por IA
Por supuesto, los seres humanos tampoco están completamente indefensos.
Al final, los investigadores también ofrecen algunas ideas de defensa para el equipo azul.
En primer lugar, las características del tráfico.
Un modelo de varios miles de millones de parámetros, incluso después de una compresión extrema, tiene un tamaño de varios gigabytes.
En una red local o en una conexión de banda ancha doméstica, si un decodificador de televisión empieza de repente a transmitir y recibir varios GB de datos con frecuencia, el sistema de monitoreo de tráfico del operador de red lo detecta de inmediato.
En segundo lugar, cortar el índice de propagación.
Al igual que al enfrentar una epidemia, basta con reducir el coeficiente de propagación R0 por debajo de 1 mediante políticas de seguridad para que este gusano desaparezca de forma natural.
Por ejemplo, el Reino Unido ya ha legislado recientemente para prohibir que los dispositivos IoT salgan de fábrica con contraseñas predeterminadas débiles. Elevar un poco el umbral de seguridad de cada dispositivo inteligente puede reducir más de la mitad el espacio de supervivencia de este tipo de ataques de bajo costo.
Pero la premisa de todas estas defensas es que toda la sociedad debe ser consciente de quelas reglas del juego de la ciberseguridad han cambiado por completo.。
El malware al que nos enfrentábamos antes era un fragmento de código rígido que solo podía atacar vulnerabilidades específicas escritas de antemano y, al encontrar sistemas incompatibles, se bloqueaba por sí solo.
Lo que estamos a punto de enfrentar es una «cría de vida digital» con capacidad de comprensión general, que sabe consultar por sí misma los mensajes de error, revisar la documentación de desarrollo y, tras un fracaso, deja notas de experiencia para la siguiente generación.
Como escribieron los investigadores al final del informe,
al igual que los agentes de código de 2024, estamos viendo cómo los gusanos de IA muestran signos de vida.
Qué gran época, amigos.
Cuando el límite inferior de las capacidades de los grandes modelos sigue descendiendo y el límite superior de la potencia de cálculo del hardware de borde sigue aumentando, puede que de verdad debamos prepararnos para recibir un mundo digital que puede despertar silenciosamente en cualquier momento y lugar dentro de los electrodomésticos de nuestra sala de estar.