Open-Weight-Modelle 88 % anfälliger für Cyberangriffe

Wir evaluierten Open-Weight- und proprietäre Modelle, um ihre Anfälligkeit zu testen; dabei stellten wir fest, dass Open-Weight-Modelle eine 88 % höhere Anfälligkeit für reale indirekte Prompt-Injection-Cyberangriffsketten aufweisen.

In dieser Evaluation testeten wir das jeweils neueste Flaggschiff-Modell und die neueste kostengünstige Variante der Anbieter, die in Unternehmensumgebungen am häufigsten genutzt werden.

Open-Weight-Modelle waren 88 % anfälliger für indirekte Prompt-Injection-Cyberangriffsketten. Nachfolgend finden Sie eine Auswahl einiger Angriffe, die erhebliche Unterschiede in der Anfälligkeit zwischen Open-Weight- und proprietären Modellen zeigten.

Was wir messen

Unser Forschungsteam identifiziert Schwachstellen in realen agentischen Systemen (z. B. Claude, ChatGPT, Atlassian Rovo usw.) und entwickelt End-to-End-indirekte Prompt-Injection-Angriffsketten mit Cyberangriffsauswirkungen (beispielsweise Datenexfiltration oder Remote Code Execution). Unsere veröffentlichte Forschung wurde in verschiedenen Branchenframeworks und Publikationen zitiert (z. B. OWASP Top 10 for LLMs und MITRE ATLAS, OpenAIs Forschung zu Datenexfiltration in Agents und adversarieller Robustheit von Agents).

Wir wollten folgende Frage beantworten: Wie anfällig sind Open-Weight-Modelle für reale Cyberangriffe durch indirekte Prompt-Injection?

Bestehende Cyber-/Alignment-Benchmarks decken diese Angriffsketten und Methoden nicht ab:

• Sie decken nicht die Cyberangriffsketten ab, die verwendet werden, um agentische Systeme in der realen Welt auszunutzen.
• Sie decken weder die Komplexität noch die Domänen (z. B. Recht, Gesundheitswesen, Finanzen usw.) realer Anwendungsfälle ab, mit denen Agenten heute konfrontiert sind, wie etwa durchgehend aktive Agenten und Aufgaben mit langem Zeithorizont.
• Ihre Techniken und Methoden zum Payload-Design sind gegenüber der aktuellen Modellgeneration wirkungslos und veraltet, was zu einer Unterrepräsentation der Anfälligkeit der Modelle führt.

Diese Lücke veranlasste uns, unseren eigenen Evaluations-Benchmark zu entwickeln, um die Anfälligkeit von Modellen für indirekte Prompt-Injection-Cyberangriffe, denen reale agentische Systeme ausgesetzt sind, genauer zu messen.

Unsere Methodik

Echte agentische Systeme sind komplex; Systeme unterscheiden sich in Bedrohungsmodell und Angriffsfläche, und Evaluationsumgebungen müssen das widerspiegeln. Beispielsweise kann man sich bei der Messung des Angriffserfolgs nicht auf die Weigerung des Modells verlassen: Bei Angriffen in der realen Welt verstehen die Modelle nicht, welche Aktionen sie ausführen. Das führt dazu, dass Modelle falsch darstellen, ob sie auf einen Angriff hereingefallen sind (siehe Sonnet 5 behauptet fälschlicherweise, es habe keine Malware ausgeführt) oder sogar auf Angriffe hereinfallen, die sie bereits erkannt haben; Beispiel unten:

Hier sind einige Beispiele für die Arten realer indirekter Prompt-Injection-Cyberangriffe, die wir bewerten:

Systemmanipulation

Systemmanipulation liegt in einem agentischen System vor, wenn ein Agent durch eine nicht vertrauenswürdige Datenquelle dazu manipuliert wird, mit seinen Werkzeugen eine Aktion auszuführen, die für den Nutzer eine Cyberangriff-Folge hat (z. B. das Weiterleiten einer sensiblen E-Mail an einen Angreifer oder das Ausführen eines nicht autorisierten Workflows). 

Zum Beispiel in einer Angriffskette, die wir im Agentic Security Operations Center von Elastic gefunden haben, wird der Agent damit beauftragt, Berichte über Phishing-E-Mails zu sichten, aber der Inhalt einer der Warnungen manipuliert den Agenten dazu, Workflows des Angreifers auszuführen. Die Workflows führen böswillige Aktionen aus, darunter das Deaktivieren von Warnungs-Routing-Regeln, das Erzeugen und Exfiltrieren von API-Schlüsseln sowie das Bearbeiten von Daten im Tenant.

Datenexfiltration

In einem agentischen System liegt Datenexfiltration vor, wenn ein Agent durch eine nicht vertrauenswürdige Datenquelle dazu manipuliert wird, eine Ausgabe zu erzeugen, die dazu führt, dass Daten aus dem Arbeitsbereich des Nutzers an einen Angreifer exfiltriert werden.

Unser Team identifizierte eine Cyberangriffskette mit Datenexfiltration durch indirekte Prompt-Injection in Atlassian Rovo. Bei diesem Angriff wird Rovo beauftragt, Jira-Tickets gemäß einer Anleitung zu organisieren, die der Nutzer online gefunden hat. Die Anleitung verbirgt eine Anweisung, die den Agenten dazu manipuliert, alle Jira-Tickets an das Ende einer Angreifer-URL anzuhängen und die von ihm erstellte URL über sein Website-Abrufwerkzeug anzufordern. Der Angreifer protokolliert dann alle Anfragen, die er erhalten hat, einschließlich der Daten des Opfers, die an die angeforderte URL angehängt wurden.

Phishing

Phishing in einem agentischen System tritt auf, wenn eine nicht vertrauenswürdige Datenquelle das Modell dazu manipuliert, eine Ausgabe zu erzeugen, die den Nutzer oder Personen, die mit vom Agenten erstellten Inhalten arbeiten, phisht.

Zu einigen Beispielen gehören ein Modell, das bösartige Links erzeugt, Anweisungen, nicht vertrauenswürdige Parteien telefonisch oder per E-Mail zu kontaktieren, oder sogar ein Modell, das Code ausführt, der gefälschte Anmeldeanzeigen erstellt.

Unser Team identifizierte eine Phishing-Angriffskette in ChatGPT für Google Sheets. Bei diesem Angriff manipuliert ein importiertes Blatt ChatGPT dazu, ein von Angreifern kontrolliertes Skript auszuführen, das ein Phishing-Anmelde-Popup öffnet.

Diese Beispiele zeigen eine kleine Teilmenge der Arten von Angriffen und Varianten von Angriffsketten, die wir in unserem Benchmark für KI-Systeme messen.

Die Bewertung der Anfälligkeit eines Modells erfordert mehr als realistische Umgebungen, die reale Aufgaben, Werkzeuge und Fähigkeiten widerspiegeln. Sie erfordert auch kontinuierliche Tests gegen die neuesten Angriffstechniken, da Angreifer ihre Methoden weiterentwickeln.

Weitere Ergebnisse: Flaggschiff- vs. kostengünstige Modelle

Modellanbieter bieten im Allgemeinen Flaggschiff-Modelllinien und kostengünstige Linien an. OpenAI und Anthropic veröffentlichten ihre kostengünstigen Modelle nach ihren Flaggschiffen, doch diese neueren Modelle waren viel anfälliger für Cyberangriffe durch indirekte Prompt-Injection. Im Gegensatz dazu waren bei Qwen und DeepSeek neuere kostengünstige Modelle gegen Angriffe robuster als die ihnen vorausgegangenen Flaggschiffe.

Wir stellten auch fest, dass die Lücke in der Anfälligkeit zwischen kostengünstigen Modellen und Flaggschiffen bei proprietären Anbietern viel größer war als bei Anbietern offener Modellgewichte.

Bei proprietären Anbietern waren kostengünstige Modelle 169% anfälliger als Flaggschiffe, während bei Anbietern offener Modellgewichte kostengünstige Modelle 5% weniger anfällig waren als ihre Flaggschiffe.

Die in dieser Analyse getesteten Modelle waren:

• Flaggschiff: DeepSeek V4-Pro, Kimi K3, GLM-5.3, Qwen3.8-2.4T, Claude Fable 5.1, GPT-6 Astra, Gemini 3.1 Pro
• Kostengünstig: DeepSeek V4.1-Flash, Kimi K2.6, GLM-5.3-Flash, Qwen3.8-Flash-Next, Claude Haiku 5.5, GPT-6 Luna, Gemini 3.8 Flash

Hinweis: Moonshot bietet keine kostengünstige Linie an, daher haben wir ein früheres Flaggschiff substituiert. Außerdem haben wir Modelle mit geschlossenen Gewichten, die von Anbietern offener Modellgewichte angeboten werden, nicht getestet.

Benchmarking

Interessieren Sie sich dafür, die Anfälligkeit von Modellen für Cyberangriffe durch indirekte Prompt-Injection in realen Umgebungen zu messen? Wenn Sie eine Bewertung eines Modells wünschen, das Sie verwenden oder entwickeln, kontaktieren Sie uns unten.