Los modelos de pesos abiertos son 88% más susceptibles a ciberataques

Evaluamos modelos de pesos abiertos y propietarios para probar su susceptibilidad; descubrimos que los modelos de pesos abiertos exhiben una susceptibilidad 88% mayor a cadenas de ciberataques de inyección indirecta de prompts del mundo real.

En esta evaluación, probamos el modelo insignia más reciente y la variante más reciente de costo eficiente entre los proveedores más utilizados en un entorno empresarial.

Los modelos de pesos abiertos fueron 88% más susceptibles a cadenas de ciberataques de inyección indirecta de prompts. A continuación se muestra una muestra de algunos de los ataques que exhibieron discrepancias notables en la susceptibilidad entre modelos de pesos abiertos y propietarios.

Qué medimos

Nuestro equipo de investigación identifica vulnerabilidades en sistemas agénticos del mundo real (por ejemplo, Claude, ChatGPT, Atlassian Rovo, etc.) y desarrolla cadenas de ataques de inyección indirecta de prompts de extremo a extremo con impactos de ciberataque (por ejemplo, exfiltración de datos o ejecución remota de código). Nuestra investigación publicada ha sido citada en diversos marcos y publicaciones de la industria (por ejemplo, OWASP Top 10 for LLMs y MITRE ATLAS, la investigación de OpenAI sobre exfiltración de datos en agentes y solidez adversaria de agentes).

Queríamos responder: ¿Qué tan susceptibles son los modelos de pesos abiertos a ataques cibernéticos de inyección de prompts indirectos del mundo real?

Los benchmarks existentes de ciberseguridad/alineamiento no cubren estas cadenas de ataque ni estas metodologías:

• No cubren las cadenas de ataque cibernético que se utilizan para explotar sistemas agénticos en el mundo real.
• No cubren las complejidades ni los dominios (p. ej., legal, salud, finanzas, etc.) de los casos de uso del mundo real que los agentes enfrentan hoy, como los agentes siempre activos y las tareas de largo alcance.
• Sus técnicas de diseño de payloads y su metodología son ineficaces contra la generación actual de modelos y están desactualizadas, lo que resulta en una subrepresentación de la susceptibilidad de los modelos.

Esta carencia nos llevó a desarrollar nuestro propio benchmark de evaluación para medir con mayor precisión la susceptibilidad de los modelos a ciberataques de inyección de prompts indirectos a los que están expuestos los sistemas agénticos del mundo real.

Nuestra metodología

Los sistemas agénticos reales son complejos; los sistemas varían en modelo de amenazas y superficie de ataque, y los entornos de evaluación deben reflejarlo. Por ejemplo, no se puede confiar en el rechazo del modelo para medir el éxito de un ataque: en ataques del mundo real, los modelos no entienden las acciones que están tomando. Esto lleva a los modelos a tergiversar si cayeron en un ataque (véase Sonnet 5 afirmando falsamente que no ejecutó malware) o incluso a caer en ataques que ya habían identificado; ejemplo a continuación:

Estos son algunos ejemplos de los tipos de ciberataques de inyección de prompts indirectos del mundo real que evaluamos:

Manipulación del sistema

La manipulación del sistema ocurre en un sistema agéntico cuando un agente es manipulado por una fuente de datos no confiable para realizar una acción con sus herramientas que tiene una consecuencia de ciberataque para el usuario (p. ej., reenviar un correo electrónico sensible a un atacante o ejecutar un flujo de trabajo no autorizado). 

Por ejemplo, en una cadena de ataque que encontramos en el Agentic Security Operations Center de Elastic, el agente tiene la tarea de triage de informes de correos de phishing, pero el contenido de una de las alertas manipula al agente para que ejecute flujos de trabajo del atacante. Los flujos de trabajo realizan acciones maliciosas, incluyendo desactivar reglas de enrutamiento de alertas, generar y exfiltrar claves de API, y editar datos en el tenant.

Exfiltración de datos

En un sistema agéntico, la exfiltración de datos ocurre cuando un agente es manipulado por una fuente de datos no confiable para producir una salida que resulta en que datos del espacio de trabajo del usuario sean exfiltrados a un atacante.

Nuestro equipo identificó una cadena de ciberataque de inyección de prompt indirecta con exfiltración de datos en Atlassian Rovo. En este ataque, Rovo tiene la tarea de organizar tickets de Jira de acuerdo con una guía que el usuario encontró en línea. La guía oculta una instrucción que manipula al agente para añadir todos los tickets de Jira al final de una URL del atacante y solicitar la URL que construyó a través de su herramienta de recuperación de sitios web. El atacante luego registra todas las solicitudes que recibió, incluidos los datos de la víctima añadidos a la URL solicitada.

Phishing

El phishing en un sistema agéntico ocurre cuando una fuente de datos no confiable manipula el modelo para producir un resultado que realiza phishing al usuario, o a personas que trabajan con contenido que el agente ha creado.

Algunos ejemplos incluyen un modelo que genera enlaces maliciosos, directivas para contactar a partes no confiables por teléfono o correo electrónico, o incluso un modelo que ejecuta código que crea pantallas de inicio de sesión falsas.

Nuestro equipo identificó una cadena de ataque de phishing en ChatGPT para Google Sheets. En este ataque, una hoja importada manipula a ChatGPT para que ejecute un script controlado por el atacante, que abre una ventana emergente de inicio de sesión de phishing.

Estos ejemplos demuestran un pequeño subconjunto de los tipos de ataques y variantes de cadenas de ataque que medimos en nuestro benchmark para sistemas de IA.

Evaluar la susceptibilidad del modelo requiere más que entornos realistas que reflejen tareas, herramientas y capacidades del mundo real. También requiere realizar pruebas continuas contra las técnicas de ataque más recientes a medida que los adversarios evolucionan sus métodos.

Hallazgos adicionales: Modelos insignia frente a modelos rentables

Los proveedores de modelos generalmente ofrecen líneas de modelos insignia y líneas rentables. OpenAI y Anthropic lanzaron sus modelos rentables después de sus insignia; sin embargo, esos modelos más nuevos eran mucho más susceptibles a ciberataques de inyección indirecta de prompts. En contraste, para Qwen y DeepSeek, los modelos rentables más nuevos eran más robustos contra los ataques que los insignia que los precedieron.

También observamos que la brecha de susceptibilidad entre los modelos rentables y los insignia era mucho mayor para los proveedores propietarios que para los proveedores de pesos abiertos.

Para los proveedores propietarios, los modelos rentables eran 169% más susceptibles que los insignia, mientras que para los proveedores de pesos abiertos, los modelos rentables eran 5% menos susceptibles que sus insignia.

Los modelos probados en este análisis fueron:

• Insignia: DeepSeek V4-Pro, Kimi K3, GLM-5.3, Qwen3.8-2.4T, Claude Fable 5.1, GPT-6 Astra, Gemini 3.1 Pro
• Rentables: DeepSeek V4.1-Flash, Kimi K2.6, GLM-5.3-Flash, Qwen3.8-Flash-Next, Claude Haiku 5.5, GPT-6 Luna, Gemini 3.8 Flash

Nota: Moonshot no ofrece una línea rentable, por lo que sustituimos un insignia anterior. Además, no probamos los modelos de pesos cerrados ofrecidos por proveedores de pesos abiertos.

Benchmarking

¿Le interesa medir la susceptibilidad del modelo a ciberataques mediante inyección indirecta de prompts en entornos del mundo real? Si desea una evaluación de un modelo que usa o está desarrollando, contáctenos a continuación.