Vier Databricks Genie-Controls, die böse Fähigkeiten nicht stoppen

Kontext

Der Databricks Genie Code ist ein agentisches Assistent in Databricks, das Benutzern ermöglicht, auf den Daten ihres Tenants durch natürliche Sprachanweisungen zu arbeiten.

Der Genie-Code kann für den Benutzer Anzeigen im Chat anzeigen; die bösartigen Fähigkeiten können diese Funktion ausnutzen, um Datenlecks zu verursachen, sobald die Ergebnisse der Tool nutzbar sind, und Phishing-Angriffe auf den Benutzer auslösen.

Dieser Angriff kann ohne jegliche Genehmigung durch einen Mensch in der Schleife und ohne Einschränkungen durch die Kontrollmechanismen stattfinden, auf die die Organisationen hoffen könnten.

• Organisationslevelige Fähigkeitsverwaltung; Genie Code laden Fähigkeiten aus den persönlichen Arbeitsbereichen der Benutzer, nicht aus einem von der Organisation verwalteten Katalog
• Ein Guardrail-Agent, der Befehle vor ihrer Ausführung bewertet; Databricks betrachtet dies als eine Produktivitätfunktion nach bestem Einfachheitsprinzip, nicht als Sicherheitskontrolle
• Kodierungsumgebung – Egress-Kontrollen; der Egress erfolgt vom Benutzer-Browser, nicht von der Kodierungsumgebung
• Sandboxing der in der Chat-Übersicht angezeigten Displays; die Fähigkeit erstellt die Übersicht mit Benutzerdaten, die Übersicht muss nicht in den Tenant eindringen, um sie zu erhalten

Dieses Risiko wurde am 16. August 2026 an Databricks mitgeteilt, doch es wurde festgestellt, dass es in die „Verantwortung des Benutzers fällt, sicherzustellen, dass die hochgeladenen Fähigkeiten keine böswillige Inhalte enthalten“. Angesichts der Häufigkeit von bösen Fähigkeiten, die auf Online-Marktplätzen verbreitet werden, und da die Kontrollmaßnahmen, auf denen Organisationen hoffen, dieses Risiko nicht beseitigen, veröffentlichen wir diesen Bericht, um diejenigen zu informieren, die betroffen sind.

Der Angriffskette

1. Das Programm wird gebeten, die Daten mit Hilfe des hochgeladenen Skills zu analysieren

   Fähigkeiten werden üblicherweise über Online-Marktplätze verbreitet, ein Ökosystem, das mit bösartigen Fähigkeiten belastet ist. Databricks hat zwar ein System für die Verwaltung von Fähigkeiten, aber die von Genie Code verwendeten Fähigkeiten werden aus den persönlichen Arbeitsbereichen der Benutzer konfiguriert, nicht aus einem von einer Organisation verwalteten Katalog.

2. Genie ausführt Code aus der bösartigen Fähigkeit

   Wenn Genie den Code aus der Fähigkeit ausführt, wird er von einem zweiten Agenten überprüft, der Befehle markiert, die außerhalb der ursprünglichen Handlung des Benutzers stattfinden, wie zum Beispiel solche, die „Daten an Dritte senden“.

   Der Agent im Loop genehmigt die Ausführung des Skill-Code, ohne die bösartigen Fähigkeiten zu erkennen.

3. Genie instruiert den Benutzer, die vollständigen Ergebnisse der Datenanalyse zu öffnen

4. Wenn die Ergebnisse angezeigt werden, wird ein Phishing-Modul angezeigt und das Datenpaket des Benutzers wird entfernt.

   Der Code im bösartigen Skill erstellt ein HTML-Element, das zwei bösartige Zwecke erfüllt. Einerseits erzeugt es eine Überlayung der Website des Angreifers, die den Benutzer dazu bringt, seine Kreditkartendaten preiszugeben.

   Die andere Wirkung ist, dass beim Anzeigen des Modals (z. B. wenn der Benutzer die Ergebnisse sieht), Daten aus dem Tenant des Opfers entfernt werden. Der bösartige Code nutzt seine Zugriffsmöglichkeiten auf den Tenant des Opfers, um sensible Daten (wie die Datensätze des Opfers) zu sammeln und diese Daten anschließend in die HTML-Anzeige einzubauen. Wenn die Anzeige angezeigt wird, führt der JavaScript in der bösartigen Anzeige den Benutzer-Browser dazu, Netzwerkanfragen zu senden, die die Daten an den Server des Angreifers übermitteln.

   Obwohl das Programmierumfeld Netzwerk-Egress-Kontrollen hat, die eine Kommunikation mit dem Server des Angreifers verhindern würden, bietet die Anzeigefront keine solchen Kontrollen und kann Daten an den Angreifer senden.

Verantwortungsvolle Offenlegung

Dieses Risiko wurde am 16. August 2026 bei Databricks gemeldet. Das Team von Databricks entschied, dass:

„Es ist letztendlich die Verantwortung des Benutzers, sicherzustellen, dass die hochgeladenen Fähigkeiten keinen bösen Inhalt enthalten.“

Die Netzwerkausgangskontrollen besagten, dass das Programmierumfeld nicht mit unbekannten externen Parteien in Kontakt treten darf, und dies wurde eingehalten. Es fragte lediglich die Daten ab und nutzte sie, um ein iframe zu erstellen.

Die Kontrollen für die auf den Benutzer ausgegebenen Anzeigen besagten, dass die Anzeige nicht dazu berechtigt war, Daten vom Tenant abzufragen – und dies wurde beibehalten. Sie verarbeitete lediglich die in den Daten eingebetteten Informationen durch den Code der Skill.

Daher kann der bösartige Skill-Code Daten im Computing-Umfeld abfragen, diese in einen iframe einbauen und der iframe kann Netzwerkanfragen senden, um die Daten zu entfernen…

Wir glauben, dass diese Interaktion eine Lücke im Databricks-Threat-Modell darstellt, da der Zweck der beiden Garantien, die technisch gewährleistet wurden, darin bestand, das schließlich eintretende Daten-Exfiltration-Szenario zu verhindern.

In Bezug auf den böswilligen Befehl, der von dem Guardrail-Agenten genehmigt wurde, merkte das Databricks-Team an,

„Die Funktion des automatischen Erlaubens ist nicht als Sicherheitsgrenze gedacht, sondern eher als Kontrollmaßnahme, um unvertraute Eingaben nicht automatisch ausführen zu lassen.“

Die Dokumentation unterstützt die Aussage:

Allerdings, da „Auto-Approve“ sowohl als Standard- als auch als empfohlene Genehmigungsmodus angegeben ist, glauben wir, dass es unwahrscheinlich ist, dass die Benutzer in der Praxis den Anweisungen folgen werden, die das Verwenden dieses Modus für Produktionsdaten vermeiden.

Es wurde keine Aussage gegeben bezüglich der Tatsache, dass die Fähigkeiten von Genie Code aus den persönlichen Arbeitsbereichen der Benutzer geladen werden, anstatt aus dem organisatorisch verwalteten Katalog.

Zeitstrahl