Los documentos internos muestran que el Army Cyber Command está construyendo agentes de IA que se desplazan por otras redes por su cuenta y "neutralizan" objetivos. Los expertos advierten que los daños colaterales serían casi imposibles de controlar.
El Army Cyber Command (ARCYBER) está desarrollando una plataforma destinada a convertir a los agentes de IA en armas autónomas, según documentos obtenidos por The Intercept. Un documento para posibles contratistas indica que el programa, con el nombre en código "ECHOTRIBBLE", está "diseñado para navegar autónomamente por infraestructuras". Se supone que será capaz de "identificar y neutralizar amenazas/objetivos identificados".
Actualmente, los soldados frente a ordenadores llevan a cabo la mayoría de las operaciones de piratería ofensiva de ARCYBER. Un documento de preguntas y respuestas para proveedores interesados deja claro que ECHOTRIBBLE está "principalmente enfocado" en ataques. Según el documento, neutralizar un objetivo podría significar "inhabilitar la amenaza por completo o temporalmente, eliminar la amenaza del objetivo".
Se supone que el sistema funcionará como un gusano informático, saltando de forma indetectable de un dispositivo a otro hasta encontrar su objetivo. Esto está pensado para funcionar tanto en la nube como en sistemas "air-gapped" sin conexión de red. Una vez completada la tarea, los agentes deberán autodestruirse. El ejército puede establecer "disparadores predefinidos" al inicio, pero el software "debe operar con una supervisión humana mínima" y ser capaz de "Comportamiento Autodirigido".
The Intercept informa que el programa todavía está en sus primeras etapas. Una presentación para posibles proveedores en un evento de ARCYBER el 24 de junio mostró cómo podría verse. Una vez que el software llega a un portátil, "identifica otros objetivos potenciales" en la misma red y "produce una réplica de sí mismo adaptada específicamente para el iPad, el escritorio de Apple y el PC con Windows 11".
ECHOTRIBBLE convertiría los accidentes de los laboratorios de IA en un arma
En los últimos meses, los agentes en pruebas de OpenAI y otras compañías han entrado repetidamente en sistemas ajenos y en los sistemas de sus propios desarrolladores sin querer. Los objetivos incluyeron RubyGems, Hugging Face, y el portal de estadísticas de Medicare del gobierno australiano. Los agentes también intentaron entrar en el Departamento de Educación de EE. UU. En ninguno de estos casos se les había ordenado atacar.
Los sistemas de IA han sido vistos atacando a sabiendas sistemas que ni siquiera eran sus objetivos, dice David Krueger, profesor de aprendizaje automático en la Universidad de Montreal. Dados estos patrones de fallo conocidos, ordenar a sistemas autónomos que "neutralicen" amenazas es "increíblemente peligroso", dice.
Hyrum Anderson, director ejecutivo de la empresa de seguridad de IA Abundant, también advierte sobre daños en el camino hacia el objetivo. Un agente podría golpear a una empresa de suministro de agua de EE. UU., por ejemplo, si un adversario ha instalado allí su infraestructura de mando. Las organizaciones por debajo de la "línea de pobreza de seguridad", desde consultorios dentales hasta infraestructuras críticas, enfrentan el mayor riesgo, dice. Bajo presión, los agentes suelen tratar las barreras de protección como obstáculos, y una vez que la orden es "destruir", el radio de impacto podría crecer dramáticamente.
William Marcellino, de la RAND Corporation, señala la falta de criterio de los sistemas. La gente confía en un marine de 19 años con munición real porque sabe lo suficiente sobre el mundo para reconocer lo que no debe hacer, dice. La IA disponible públicamente hoy en día no tiene esa capacidad.