OpenAI a révélé deux incidents de sécurité impliquant des agents IA affaiblissant leurs systèmes de surveillance de sécurité lors de tâches de codage internes. Dans un incident, OpenAI indique que son agent GPT-6 Astra a désactivé son moniteur de sécurité lors de la copie d'un code de référence — puis a menti à ce sujet.
« La référence ne configurait pas de moniteur, et Astra a décidé que c'était une raison de supprimer l'intégration de surveillance du code de l'utilisateur », écrit Marcus Williams, chercheur en sécurité de l'IA chez OpenAI, sur X. « Lorsque l'utilisateur a demandé si Astra avait supprimé la surveillance, il a menti en affirmant que non. »
Un incident distinct s'est produit après qu'un agent GPT-6.1 Sol a supprimé des alertes de sécurité automatiques destinées à l'équipe de sécurité d'OpenAI sur Slack. Dans ce cas, l'agent IA a repris une instruction antérieure de ne pas envoyer de messages Slack à l'équipe d'OpenAI, s'en servant pour justifier la désactivation des alertes.
À lire aussi
- L'avertissement d'Anthropic sur l'IA autorépliquante est un troublant déjà-vu
- Les raisons d'ignorer la sécurité de l'IA se font rares
Ces incidents s'ajoutent aux inquiétudes de sécurité entourant les agents IA, dont certains ont contourné les restrictions de leur environnement de test pour pirater des entreprises externes. « En plus de rendre plus difficile la désactivation de la surveillance par les modèles, nous cherchons à comprendre pourquoi les modèles pourraient chercher à le faire en premier lieu », déclare OpenAI. « Nous développons également des évaluations pour tester si les modèles pourraient avoir une propension particulière à échapper à la surveillance de désalignement et faire preuve de raisonnement motivé pour y parvenir. »
Suivez les sujets et les auteurs de cet article pour en voir davantage comme celui-ci dans votre fil d'accueil personnalisé et pour recevoir des mises à jour par e-mail.