Quatre contrôles Databricks Genie qui ne bloquent pas les compétences malveillantes

Contexte

Le code Databricks Genie est un assistant agentique dans Databricks qui permet aux utilisateurs d’interagir avec les données de leur tenant à l’aide de instructions en langage naturel.

Le code Genie peut afficher des écrans dans la conversation pour l’utilisateur ; les compétences malveillantes peuvent exploiter cette fonctionnalité pour déclencher l’extraction de données lors de la consultation des résultats du outil, et attaquer l’utilisateur par phishing.

Cette attaque peut se produire sans aucune approbation humaine et sans contrainte imposée par les contrôles auxquels les organisations s’attendent.

• Gouvernance des compétences au niveau organisationnel ; Le Code Genie charge les compétences depuis les espaces de travail personnels des utilisateurs, et non depuis un catalogue géré par l’organisation.
• Un agent de garde-fou qui évalue les commandes avant leur exécution ; Databricks considère cela comme une fonctionnalité de productivité au mieux, et non comme un contrôle de sécurité.
• Contrôles d’évacuation de l’environnement de codage ; l’évacuation se produit depuis le navigateur de l’utilisateur, et non depuis l’environnement de codage
• Sandboxing des affichages affichés dans le chat ; la compétence crée l’affichage en utilisant les données de l’utilisateur, l’affichage n’a pas besoin d’accéder au client pour obtenir ces données.

Ce risque a été divulgué à Databricks le 16 août 2026, mais il a été établi que c’est la « responsabilité de l’utilisateur de s’assurer que les compétences téléchargées ne contiennent pas de contenu malveillant ». Compte tenu de la fréquence avec laquelle des compétences malveillantes sont distribuées sur les marchés en ligne, et du fait que les contrôles auxquels les organisations s’appuient ne mettent pas fin à ce risque, nous publions ce rapport afin d’informer ceux qui sont en danger.

La Chaîne d'attaque

1. Genie est invité à analyser les données en utilisant une compétence téléversée.

   Les compétences sont généralement distribuées via des marchés en ligne, un écosystème connu pour être pollué par des compétences malveillantes. Databricks dispose bien d’un système de gouvernance des compétences, mais les compétences utilisées par Genie Code sont configurées à partir des espaces de travail personnels des utilisateurs, et non d’un catalogue géré par l’organisation.

2. Genie exécute le code provenant de la compétence malveillante

   Lorsque Genie exécute un code provenant de la compétence, il est vérifié par un deuxième agent qui identifie les commandes qui agissent en dehors de l’action prévue par l’utilisateur, comme celles qui « transmettent des données à des tiers ».

   L’agent en boucle approuve l’exécution du code Skill, sans pouvoir détecter les capacités malveillantes.

3. Genie indique à l’utilisateur d’ouvrir les résultats complets de l’analyse de données

4. Lorsque les résultats sont affichés, un modal de phishing s’affiche et le jeu de données de l’utilisateur est exfiltré

   Le code dans la compétence malveillante crée un élément HTML qui a deux objectifs malveillants. L’un des effets est qu’il affiche une couche supplémentaire du site de l’attaquant, permettant ainsi au utilisateur d’obtenir ses identifiants par phishing.

   L’autre effet est que lorsque le modal est affiché (par exemple, lorsque l’utilisateur consulte les résultats), les données provenant du réseau de la victime sont volées. Le code malveillant utilise son accès au réseau de la victime pour collecter des données sensibles (comme les ensembles de données de la victime) et les intégrer ensuite dans la visualisation en HTML. Lorsque la visualisation est affichée, le JavaScript provoque que le navigateur de l’utilisateur envoie des requêtes réseau qui transmettent les données au serveur de l’attaquant.

   Bien que l’environnement de codage dispose de contrôles de sortie réseau qui empêcheraient la communication avec le serveur de l’attaquant, l’interface d’affichage ne le fait pas et peut envoyer des données à l’attaquant.

Divulgation Responsable

Ce risque a été signalé à Databricks le 16 août 2026. L’équipe de Databricks a déterminé que :

« Il est en fin de compte la responsabilité de l’utilisateur de s’assurer que les compétences téléchargées ne contiennent pas de contenu malveillant. »

Les contrôles d’évacuation de réseau exigeaient que l’environnement de codage ne soit pas autorisé à entrer en contact avec des parties externes non fiables, et cela a été respecté. Il se contentait de demander les données et les utilisait pour créer un iframe.

Les contrôles des écrans affichés à l’utilisateur indiquaient que l’écran ne devait pas interroger les données du locataire, et cette règle a été respectée. Il n’a simplement traité que les données insérées par le code de Skill.

Ainsi, le code malveillant de Skill peut interroger des données dans l’environnement informatique, les intégrer dans un iframe, et l’iframe peut effectuer des demandes réseau afin d’exfiltrer ces données…

Nous pensons que cette interaction représente une lacune dans le modèle de menace de Databricks, car l’objectif des deux garanties qui ont été techniquement respectées était d’empêcher l’exfiltration de données qui s’est finalement produite.

Concernant l’ordre malveillant approuvé par l’agent de garde-fou, l’équipe Databricks a noté :

« La fonctionnalité d’autorisation automatique n’est pas destinée à servir de frontière de sécurité, mais plutôt comme mesure de contrôle afin d’empêcher les entrées non fiables de se exécuter automatiquement. »

La documentation soutient l'affirmation :

Cependant, étant donné que « auto-approbation » est documenté comme le mode d’approbation par défaut et recommandé, nous pensons qu’il est peu probable que les utilisateurs suivent en pratique les instructions qui dissuadent son utilisation avec des données de production.

Aucune déclaration n’a été donnée concernant le fait que les compétences de Genie Code sont chargées depuis les espaces de travail personnels des utilisateurs, plutôt que depuis le Catalogue géré au niveau de l’organisation.

Calendrier