IT之家 – Le 20 octobre, Microsoft a lancé, le lundi en temps local, plusieurs nouvelles fonctionnalités de sécurité destinées à aider les entreprises à faire face aux menaces de sécurité liées aux intelligences artificielles de plus en plus importantes. À l’occasion de la publication de ces produits, Microsoft continue d’alerter les entreprises sur les divers risques liés à l’intelligence artificielle et aux intelligences artificielles.
IT Home a noté que la fonctionnalité ajoutée cette fois-ci attire particulièrement l’attention, à savoir les Agents de protection (Guardian Agents). Cette nouvelle fonctionnalité permet de surveiller tous les agents IA utilisés au sein de l’entreprise. Les Agents de protection font partie du projet Perception, un produit lancé par Microsoft en juin.
Le projet Perception est une solution proposée par Microsoft face aux modèles hackers puissants tels que Mythos et Fable d’Anthropic, ainsi qu’au système de scan des vulnérabilités de sécurité Daybreak d’OpenAI. Au départ, le projet Perception a mis en ligne trois types d’intelligences : l’intelligence de l’équipe rouge qui joue le rôle de hacker pour effectuer des attaques, l’intelligence de l’équipe bleue chargée de détecter les attaques de l’équipe rouge et d’évaluer les vulnérabilités, et l’intelligence de l’équipe verte spécialisée dans la correction des vulnérabilités.
La conception initiale de ce produit prévoyait que les hackers IA viendraient de l’extérieur de l’entreprise. Mais récemment, Satya Nadella, CEO de Microsoft, a émis un avertissement : la source de menace au niveau de l’IA pourrait être justement les entités intelligentes déployées et utilisées par l’entreprise elle-même, comme un employé interne dont le comportement devient incontrôlable, c’est-à-dire une « menace interne ».
Plus tôt ce mois-ci, Nadera a émis un avertissement sur son blog personnel : il est temps de ne plus faire confiance aux fournisseurs de modèles d’IA, même si les fabricants offrent des garanties de sécurité pour leurs produits d’intelligence artificielle dotés de capacités d’exécution autonome. Il conseille aux entreprises de mettre en place des systèmes indépendants, qui ne dépendent pas des laboratoires d’IA, afin de superviser et de contrôler les entités intelligentes produites par ces laboratoires d’IA.
Il a écrit : « Nous déployons des systèmes et modèles d’intelligence artificielle complexes, qui peuvent accéder aux données les plus sensibles de nous, et représentent également nous dans les opérations commerciales clés ! Nous ne devons absolument pas externaliser la responsabilité de faire agir les intelligences à notre place. Les garanties fournies par les fournisseurs de modèles ne nous disculpent pas de cette responsabilité… En d’autres termes, nous devons séparer l’approvisionnement en capacités intelligentes de les autorisations de contrôle qui leur sont accordées. »
Lors de la présentation du gardien intelligent, Hayete Gallot, responsable des activités de sécurité chez Microsoft, a exprimé son point de vue de manière plus directe.
Elle a écrit : « Malheureusement, les modèles de pointe, quelle que soit leur source, ne peuvent pas être entièrement fiables. » Elle a ajouté que cela n’est pas parce que les modèles sont malveillants ou faciles à attaquer par des hackers, mais plutôt parce que leurs comportements sont imprévisibles. Les objectifs d’entraînement des modèles sont de accomplir des tâches, et non de respecter des « normes organisationnelles ou critères de jugement ».
En outre, ces entités intelligentes disposent souvent de hautes autorisations et peuvent accéder à diverses données et outils. En cas d’épuisement de ces autorisations, des dommages graves peuvent survenir.
Le solution proposée par Microsoft est à la fois surprenante et intégrant des considérations commerciales propres. Ce qui est surprenant, c’est que Microsoft entretient des relations étroites avec OpenAI et Anthropic, tout en investissant dans ces deux entreprises. OpenAI est également un client majeur pour les services cloud de Microsoft, et Microsoft elle-même dispose de laboratoires d’IA dédiés à la développement de grandes modèles de données. En d’autres termes, Microsoft fait en sorte que ses clients prennent garde aux produits de certains de ses partenaires commerciaux.
Du point de vue des intérêts commerciaux, Microsoft souhaite que les entreprises achètent des produits de sécurité pour intelligences artificielles auprès de son fournisseur de services cloud, plutôt que d’acheter auprès d’Anthropic et d’OpenAI. En mettant de côté les conflits d’intérêts, cette logique est en soi justifiée : les logiciels de surveillance du comportement des intelligences artificielles devraient être indépendants des fournisseurs d’intelligences artificielles, tout comme les organismes de contrôle doivent être indépendants des organisations contrôlées.
Comme a dit Nadella : « Nous devons séparer l’approvisionnement en capacités intelligentes de les droits de contrôle qui leur sont accordés. »
Microsoft saisit cette opportunité commerciale de diverses manières. En plus du gardien intelligent, Microsoft a ajouté une fonction de détection d’intelligences dans le produit Microsoft Defender, permettant de reconnaître jusqu’à 60 types d’intelligences apportées par les employés dans l’environnement de travail, notamment Claude Code, Codex et OpenClaw. Le produit inclut également une fonctionnalité permettant de limiter les droits des intelligences à accéder aux données et au système, ainsi que de définir dynamiquement les droits des intelligences en fonction des tâches. Si une intelligence est sur le point d’effectuer une opération à haut risque, le système demande une validation manuelle.
L’idée de considérer l’intelligence artificielle comme une menace interne non fiable est également en train de se concrétiser progressivement dans l’ensemble de l’industrie.
Microsoft est membre fondateur de la nouvelle plateforme Open Agent Safety Platform d’NVIDIA, qui bénéficie du soutien de plus de 100 entreprises technologiques. Cette plateforme isole les agents intelligents dans un environnement sécurisé, en surveillant le matériel et en mettant fin aux comportements anormaux, fonctionnant comme un interrupteur d’urgence. Auparavant, Microsoft avait déjà lancé un nouveau ordinateur portable Surface Laptop Ultra conçu pour les agents intelligents, équipé d’un chip NVIDIA et intégrant un module de contrôle de sécurité pour les agents intelligents.