Les modèles à poids ouverts 88 % plus susceptibles aux cyberattaques

Nous avons évalué des modèles à poids ouverts et propriétaires pour tester leur sensibilité ; nous avons constaté que les modèles à poids ouverts présentent une sensibilité 88 % plus élevée aux chaînes d'attaques cybernétiques par injection indirecte de prompts du monde réel.

Dans cette évaluation, nous avons testé le modèle phare le plus récent et la variante la plus récente au meilleur rapport coût-efficacité parmi les fournisseurs les plus utilisés en environnement d'entreprise.

Les modèles à poids ouverts étaient 88 % plus susceptibles aux chaînes de cyberattaques par injection indirecte de prompts. Vous trouverez ci-dessous un échantillon de certaines des attaques ayant présenté des écarts notables de sensibilité entre les modèles à poids ouverts et propriétaires.

Ce que nous mesurons

Notre équipe de recherche identifie des vulnérabilités dans des systèmes agentiques du monde réel (par exemple, Claude, ChatGPT, Atlassian Rovo, etc.) et développe des chaînes d'attaques par injection indirecte de prompts de bout en bout avec des impacts de cyberattaque (par exemple, exfiltration de données ou exécution de code à distance). Nos recherches publiées ont été citées dans divers cadres de référence et publications du secteur (par exemple, OWASP Top 10 for LLMs et MITRE ATLAS, les recherches d'OpenAI sur l'exfiltration de données dans les agents et la robustesse adversaire des agents).

Nous voulions répondre à la question : à quel point les modèles à poids ouverts sont-ils vulnérables aux attaques cybernétiques réelles par injection indirecte de prompt ?

Les benchmarks existants en matière de cybersécurité et d'alignement ne couvrent pas ces chaînes d'attaque et ces méthodologies :

• Ils ne couvrent pas les chaînes d'attaques cybernétiques utilisées pour exploiter les systèmes agentiques dans le monde réel.
• Elles ne couvrent pas les complexités et les domaines (par exemple, juridique, santé, finance, etc.) des cas d'usage réels auxquels les agents sont confrontés aujourd'hui, tels que les agents permanents (always-on) et les tâches de longue haleine.
• Leurs techniques et méthodologies de conception de charges utiles sont inefficaces contre la génération actuelle de modèles et sont obsolètes, ce qui entraîne une sous-représentation de la sensibilité des modèles.

Cet écart nous a conduit à développer notre propre benchmark d'évaluation afin de mesurer plus précisément la sensibilité des modèles aux cyberattaques par injection indirecte de prompts auxquelles les systèmes agentiques réels sont exposés.

Notre méthodologie

Les systèmes agentiques réels sont complexes ; les systèmes varient en termes de modèle de menace et de surface d'attaque, et les environnements d'évaluation doivent en tenir compte. Par exemple, on ne peut pas se fier au refus du modèle pour mesurer le succès d'une attaque : dans les attaques réelles, les modèles ne comprennent pas les actions qu'ils entreprennent. Cela amène les modèles à déformer le fait qu'ils aient succombé ou non à une attaque (voir Sonnet 5 prétendant à tort qu'il n'a pas exécuté de malware) ou même à succomber à des attaques qu'ils ont déjà identifiées ; exemple ci-dessous :

Voici quelques exemples des types de cyberattaques réelles par injection indirecte de prompts que nous évaluons :

Manipulation du système

La manipulation du système se produit dans un système agentique lorsqu'un agent est manipulé par une source de données non fiable pour effectuer une action à l'aide de ses outils qui a une conséquence de cyberattaque pour l'utilisateur (par exemple, transférer un e-mail sensible à un attaquant ou exécuter un workflow non autorisé). 

Par exemple, dans une chaîne d'attaque que nous avons trouvée dans l'Agentic Security Operations Center d'Elastic, l'agent a pour tâche de trier les signalements d'e-mails de phishing, mais le contenu de l'une des alertes manipule l'agent pour qu'il exécute des flux de travail de l'attaquant. Ces flux de travail entreprennent des actions malveillantes, notamment la désactivation des règles de routage des alertes, la création et l'exfiltration de clés API, et la modification de données dans le tenant.

Exfiltration de données

Dans un système agentique, l'exfiltration de données se produit lorsqu'un agent est manipulé par une source de données non fiable pour produire un résultat qui entraîne l'exfiltration vers un attaquant de données provenant de l'espace de travail de l'utilisateur.

Notre équipe a identifié une chaîne de cyberattaque par injection indirecte de prompt entraînant une exfiltration de données dans Atlassian Rovo. Dans cette attaque, Rovo est chargé d'organiser les tickets Jira conformément à un guide que l'utilisateur a trouvé en ligne. Le guide dissimule une instruction qui manipule l'agent pour qu'il ajoute tous les tickets Jira à la fin d'une URL d'attaquant et demande l'URL qu'il a construite via son outil de récupération de sites web. L'attaquant enregistre ensuite toutes les requêtes qu'il reçoit, y compris les données de la victime ajoutées à l'URL demandée.

Phishing

Le phishing dans un système agentique se produit lorsqu'une source de données non fiable manipule le modèle pour produire un résultat qui hameçonne l'utilisateur, ou les personnes travaillant avec du contenu créé par l'agent.

Voici quelques exemples : un modèle générant des liens malveillants, des directives pour contacter des parties non fiables par téléphone ou par e-mail, ou même un modèle exécutant du code qui crée de fausses pages de connexion.

Notre équipe a identifié une chaîne d'attaque par phishing dans ChatGPT pour Google Sheets. Dans cette attaque, une feuille importée manipule ChatGPT pour qu'il exécute un script contrôlé par l'attaquant, qui ouvre une fenêtre contextuelle de connexion de phishing.

Ces exemples illustrent un petit sous-ensemble des types d'attaques et de variantes de chaînes d'attaque que nous mesurons dans notre benchmark pour les systèmes d'IA.

Évaluer la sensibilité d'un modèle exige plus que des environnements réalistes reflétant des tâches, des outils et des capacités du monde réel. Cela exige également de tester en continu contre les dernières techniques d'attaque à mesure que les adversaires font évoluer leurs méthodes.

Résultats complémentaires : modèles phares vs modèles économiques

Les fournisseurs de modèles proposent généralement des gammes de modèles phares et des gammes économiques. OpenAI et Anthropic ont publié leurs modèles économiques après leurs modèles phares, mais ces modèles plus récents se sont révélés bien plus sensibles aux cyberattaques par injection indirecte de prompts. En revanche, pour Qwen et DeepSeek, les modèles économiques plus récents étaient plus robustes face aux attaques que les modèles phares qui les avaient précédés.

Nous avons également observé que l'écart de sensibilité entre les modèles économiques et les modèles phares était bien plus grand pour les fournisseurs propriétaires que pour les fournisseurs à poids ouverts.

Pour les fournisseurs propriétaires, les modèles économiques étaient 169% plus sensibles que les modèles phares, tandis que pour les fournisseurs à poids ouverts, les modèles économiques étaient 5% moins sensibles que leurs modèles phares.

Les modèles testés dans cette analyse étaient :

• Modèles phares : DeepSeek V4-Pro, Kimi K3, GLM-5.3, Qwen3.8-2.4T, Claude Fable 5.1, GPT-6 Astra, Gemini 3.1 Pro
• Modèles économiques : DeepSeek V4.1-Flash, Kimi K2.6, GLM-5.3-Flash, Qwen3.8-Flash-Next, Claude Haiku 5.5, GPT-6 Luna, Gemini 3.8 Flash

Remarque : Moonshot ne propose pas de gamme économique, nous avons donc substitué un modèle phare antérieur. De plus, nous n'avons pas testé les modèles à poids fermés proposés par les fournisseurs à poids ouverts.

Benchmarking

Êtes-vous intéressé par la mesure de la sensibilité des modèles aux cyberattaques par injection indirecte de prompts dans des environnements réels ? Si vous souhaitez une évaluation d'un modèle que vous utilisez ou développez, contactez-nous ci-dessous.