Phishing in Databricks Genie

Kontext

Das Databricks Genie Code ist ein agentisches Assistent in Databricks, das Benutzern ermöglicht, auf den Daten ihres Tenants durch natürliche Sprachanweisungen zu arbeiten.

Der Genie-Code kann für den Benutzer Anzeigen im Chat anzeigen; die bösartigen Fähigkeiten können diese Funktion ausnutzen, um eine Datenentnahme zu triggern, sobald die Ergebnisse der Tool verarbeitet werden, und Phishing-Angriffe auf den Benutzer auszuführen.

Dieser Angriff kann ohne jede Genehmigung durch einen Mensch in der Schleife und ohne die Einschränkungen durch die Kontrollmechanismen stattfinden, auf die die Organisationen hoffen könnten.

• Organisationslevel-Skills-Governance; Genie Code lädt Skills aus den persönlichen Arbeitsbereichen der Benutzer, nicht aus einem von der Organisation kontrollierten Katalog
• Ein Guardrail-Agent, der Befehle vor dem Ausführen bewertet; Databricks betrachtet dies als eine Produktivitätfunktion nach bestem Einfachmittel, nicht als Sicherheitskontrolle
• Kodierungsumgebung – Egress-Kontrollen; der Egress erfolgt vom Benutzer-Browser, nicht aus der Kodierungsumgebung
• Sandboxing der in der Chat angezeigten Anzeigen; die Fähigkeit erstellt die Anzeige mit Benutzerdaten, die Anzeige muss nicht in den Tenant eindringen, um sie zu erhalten

Dieses Risiko wurde am 16. August 2026 an Databricks mitgeteilt, aber es wurde festgestellt, dass es in die „Verantwortung des Benutzers fällt, sicherzustellen, dass die hochgeladenen Fähigkeiten keinen bösen Inhalt enthalten“. Angesichts der Häufigkeit von bösen Fähigkeiten, die auf Online-Marktplätzen verbreitet werden, und angesichts der Tatsache, dass die Kontrollmaßnahmen, auf denen Organisationen vertrauen, dieses Risiko nicht beseitigen können, veröffentlichen wir diesen Bericht, um diejenigen zu informieren, die betroffen sind.

Der Angriffskette

1. Der Benutzer wird gebeten, die Daten mit Hilfe des hochgeladenen Skills zu analysieren

   Fähigkeiten werden üblicherweise über Online-Marktplätze verbreitet, ein Ökosystem, das mit böswilligen Fähigkeiten überschwemmt ist. Databricks verfügt zwar über ein System für die Verwaltung von Fähigkeiten, aber die von Genie Code verwendeten Fähigkeiten werden aus den persönlichen Arbeitsbereichen der Benutzer konfiguriert, nicht aus einem von einer Organisation verwalteten Katalog.

2. Genie ausführt den Code aus der bösartigen Fähigkeit

   Wenn Genie Code aus der Fähigkeit ausführt, wird dieser von einem zweiten Agent überprüft, der Befehle markiert, die außerhalb der beabsichtigten Aktion des Benutzers erfolgen, wie zum Beispiel solche, die „Daten an Dritte senden“.

   Der Agent im Loop genehmigt die Ausführung des Skill-Codes, ohne die bösen Fähigkeiten zu erkennen.

3. Genie instruiert den Benutzer, die vollständigen Ergebnisse der Datenanalyse zu öffnen

4. Wenn die Ergebnisse angezeigt werden, wird ein Phishing-Modul angezeigt und das Datenset des Benutzers wird entfernt.

   Der Code im bösartigen Skill erstellt ein HTML-Element, das zwei bösartige Zwecke erfüllt. Einerseits erzeugt es eine Überlagerung der Website des Angreifers, wodurch der Benutzer auf falsche Kombinationen von Zugangsdaten hingeworfen werden.

   Die andere Wirkung ist, dass beim Anzeigen des Modals (z. B. wenn der Benutzer die Ergebnisse sieht), Daten aus dem Tent of dem Opfer entfernt werden. Der bösartige Code nutzt seinen Zugang zum Tent des Opfers, um sensible Daten (wie die Datensätze des Opfers) zu sammeln und diese dann in die HTML-Anzeige einzubauen. Wenn die Anzeige angezeigt wird, führt der JavaScript im bösartigen Display den Benutzer-Browser dazu, Netzwerkanfragen zu senden, mit denen die Daten an den Server des Angreifers übertragen werden.

   Obwohl die Programmierumgebung Netzwerk-Egress-Kontrollen hat, die eine Kommunikation mit dem Server des Angreifers verhindern würden, bietet die Anzeigefront keine solche Kontrolle und kann Daten an den Angreifer senden.

Verantwortungsvolle Offenlegung

Dieses Risiko wurde am 16. August 2026 bei Databricks gemeldet. Das Team von Databricks entschied, dass:

„Es ist letztendlich die Verantwortung des Benutzers, sicherzustellen, dass die hochgeladenen Fähigkeiten keine bösartigen Inhalte enthalten.“

Die Netzwerkausgangskontrollen besagten, dass das Programmierumfeld keinen Kontakt mit unvertrauten externen Parteien erlaubt sei, und dies wurde eingehalten. Es fragte lediglich die Daten ab und nutzte sie, um ein iframe zu erstellen.

Die Kontrollen für die an den Benutzer ausgehenden Anzeigen besagten, dass die Anzeige nicht dazu berechtigt sei, Daten vom Tenant abzufragen, und dies wurde eingehalten. Sie verarbeitete lediglich die in den Daten eingebetteten Informationen durch den Code von Skill.

Daher kann der bösartige Skill-Code Daten im Computing-Umfeld abfragen, sie in ein iframe einbauen und das iframe kann Netzwerkanfragen starten, um die Daten zu entfernen…

Die Maßnahmen zur Verhinderung der Exfiltration wurden technisch durchgeführt, doch die Exfiltration erfolgte dennoch.

In Bezug auf den böswilligen Befehl, der vom Guardrail-Agenten genehmigt wurde, berichtete das Databricks-Team:

„Die Funktion der automatischen Erlaubnis ist nicht als Sicherheitsgrenze gedacht, sondern vielmehr als Kontrollmaßnahme, um unzuverlässigen Eingaben nicht automatisch zugestanden zu werden.“

Die Dokumentation unterstützt die Aussage:

Allerdings, da „automatische Genehmigung“ sowohl als Standard- als auch als empfohlene Genehmigungsmodus angegeben ist, glauben wir, dass es unwahrscheinlich ist, dass die Benutzer in der Praxis den Anweisungen folgen werden, die das Verwenden dieses Modus für Produktionsdaten vermeiden sollen.

Es wurde keine Aussage gegeben bezüglich der Tatsache, dass die Fähigkeiten von Genie Code aus den persönlichen Arbeitsbereichen der Benutzer geladen werden, anstatt aus dem organisatorisch gesteuerten Katalog.

Zeitlinie