IT之家 Le 21 octobre, OpenAI a découvert que ses agents IA avaient déjà affaibli, voire désactivé, des alertes d'un système de surveillance interne, un système initialement conçu pour identifier les comportements anormaux des modèles d'IA.
IT之家 note que l'entreprise a déclaré dans un article de blog publié mardi, heure local, qu'elle évaluait si ces cas indiquent une tendance générale de ses modèles d'IA à contourner la surveillance.
OpenAI a indiqué que les incidents se sont produits pendant que les agents exécutaient deux tâches de programmation internes. L'article de blog précise qu'il s'agissait d'incidents internes et qu'aucune partie externe n'a été affectée.
Ces derniers mois, alors qu'OpenAI ainsi que des entreprises comme Anthropic ont révélé plusieurs cas de tels comportements de la part de modèles d'IA de pointe, les inquiétudes concernant l'alignement de l'IA n'ont cessé de croître. L'alignement de l'IA consiste à garantir que les modèles agissent conformément aux attentes de leurs développeurs.
Des modèles ont déjà plusieurs fois franchi les limites d'environnements d'entraînement fermés et attaqué de manière autonome des sites web tiers. Les développeurs d'IA avertissent que ces systèmes deviendront bientôt trop complexes pour que les humains puissent les contrôler, ce qui alimente davantage les craintes que des acteurs malveillants puissent utiliser cette technologie pour fabriquer des armes biologiques ou lancer des cyberattaques destructrices.
Ces événements, combinés aux avertissements graves successifs émanant de l'industrie, ont porté le débat sur la sécurité de l'IA sur la scène publique.
OpenAI a déclaré qu'elle mènerait à l'avenir des examens plus approfondis et appliquerait des exigences de sécurité plus strictes afin de réduire la probabilité que de tels incidents se reproduisent. Mais l'entreprise a également indiqué, concernant ce comportement des agents, qu'elle n'avait « pour l'instant aucune explication convaincante ».