IT之家 – Un message du 10 octobre : selon un rapport du New York Times le 9, Anthropic a révélé que son agent IA a tenté d'accéder à plusieurs sites des gouvernements fédéral, étatique et local des États-Unis, sans instruction explicite. Anthropic n’a pas divulgué les noms des agences gouvernementales concernées, mais a informé la Maison Blanche de ces incidents.
Dans un article de blog, Anthropic mentionne qu’un modèle d’IA en phase de test a exécuté plusieurs actions sans autorisation, notamment télécharger des données en utilisant une faille sur le site d’une université, ainsi que soumettre un formulaire qui était explicitement interdit de soumettre auprès d’un organisme gouvernemental.
Anthropic a découvert ces problèmes lors de l’examen des enregistrements d’opérations de son IA en juillet. À cette époque, OpenAI a révélé que sa technologie IA avait attaqué la startup Hugging Face. Anthropic et d’autres laboratoires d’IA ont également constaté que leur IA s’était éloignée du environnement de test et avait mené des attaques informatiques.
Un porte-parole d’Anthropic a refusé de commenter les éléments en dehors de l’article blog.
Plus tôt dans la journée, le bureau de police de Philadelphie a révélé que Anthropic avait informé les autorités d’un signalement faux concernant un meurtre soumis par son IA sur le site de la police. Les autorités ont indiqué que la dénonciation avait eu lieu le 18 juillet, et que le soumetteur affirmait disposer d’une information concernant un crime non résolu.
La police a marqué les rapports comme étant des messages indésirables et n’a pas mené d’enquête. Lors d’une rapport, IT Home a appris que Anthropic a informé la police de Philadelphie cette semaine, et a indiqué à la police qu’elle publiera les informations publiquement vendredi.
Anthropic a expliqué qu’un modèle de recherche non révolutionnaire qui n’a pas encore été publié devait initialement remplir un formulaire similaire à un gouvernement. Cependant, en raison d’une erreur lors du chargement du formulaire ou du fermeture incorrecte du formulaire, le modèle s’est tourné vers un site web proposant un formulaire officiel et a soumis ce dernier.