IT之家 Le 13 octobre : Anthropic et la police de Philadelphie ont confirmé vendredi dernier, heure locale, qu'un modèle d'IA d'Anthropic avait soumis à la police de Philadelphie un faux signalement concernant une affaire de meurtre non résolue.
Le 18 juillet, un modèle Claude a envoyé ce faux message sur le site web utilisé par le service de police de Philadelphie pour soumettre des indices concernant des affaires non résolues ; heureusement, ce message a été intercepté par un filtre anti-spam. Anthropic a découvert l'incident le 28 septembre et en a informé la police le 8 octobre.
Anthropic décrit dans un rapport des « comportements inattendus observés chez le modèle lors de l'évaluation et de l'utilisation interne de Claude ». Le rapport indique que, lors de tests internes, l'équipe a demandé à Claude Haiku 4.5 de remplir divers formulaires et de s'arrêter à l'étape précédant la soumission, sans soumettre réellement. « Mais à plusieurs reprises, Claude a soumis les formulaires par erreur, pensant qu'une page de confirmation supplémentaire apparaîtrait avant la soumission. »
Anthropic explique que cette affaire de fausses pistes de meurtre s'est produite lors d'un test : les instructions demandaient à Claude d'effectuer des tâches sur des pages web choisies au hasard.
Lors d'une des séries de tests, le modèle a ouvert une page présentant une affaire de meurtre non élucidée, avec un formulaire de signalement d'indices destiné à la police. Les instructions de l'époque exigeaient que Claude ne se connecte pas, ne crée pas de compte, ne remplisse pas d'informations personnelles, ne passe pas de commande d'achat et n'effectue pas d'opérations destructrices, mais elles n'interdisaient pas de soumettre des formulaires. Claude a donc rempli le formulaire avec le contenu suivant : « Je détiens peut-être un indice lié à cette affaire. Je me souviens avoir vu, pendant la période où le crime a été commis, une personne correspondant au signalement près de la rue indiquée sur la page. Si cette information est utile, veuillez me contacter. » Les champs du nom et des coordonnées du formulaire sont restés vides.
Anthropic a indiqué avoir également constaté le même type de comportement de Claude sur les sites web de plusieurs agences gouvernementales étatiques et fédérales. Dans l'un de ces incidents, Claude a soumis 20 demandes de visa au Département d'État américain.
La police qualifie le retard de deux mois d'« inacceptable »
IT之家 note que la police de Philadelphie a publié une longue déclaration à la chaîne de télévision locale ABC. Selon la police, l'e-mail généré à partir de cette fausse information s'est retrouvé dans le dossier des indésirables et n'a été consulté par personne.
« Anthropic a informé le commissariat de police de Philadelphie qu'il avait découvert l'incident le 28 septembre, qu'il avait immédiatement interrompu le processus de tests automatisés à l'origine de cette soumission, et qu'il avait mis en place un mécanisme de vérification pour les tests ultérieurs », a déclaré la police. Après avoir reçu le rapport sur la situation le 8 octobre, la police « a retrouvé cette soumission dans les enregistrements d'indices du site web et a confirmé que le courriel correspondant se trouvait toujours dans le dossier des indésirables ».
Selon Anthropic, la police a été informée « dès que la vérification technique a été terminée ». Mais la police a critiqué Anthropic pour ne pas avoir détecté et signalé cette fausse piste plus tôt.
« La Ville de Philadelphie prend cette affaire très au sérieux », a déclaré la police de Philadelphie dans un communiqué. « L'entreprise doit renforcer ses mesures de sécurité afin d'empêcher que des incidents similaires n'interfèrent avec les systèmes municipaux à l'insu de la ville. Le délai de deux mois entre la découverte de l'incident et sa notification à la Ville de Philadelphie est inacceptable. »
Claude soumet 20 demandes de visa au département d'État américain
Anthropic a indiqué que cette fausse déclaration d'homicide n'était que l'un des plusieurs incidents survenus sur les sites officiels des gouvernements fédéral, étatiques et locaux aux États-Unis. « Nous avons signalé ces cas à la Maison-Blanche et informé toutes les institutions concernées. »
Le New York Times rapporte, citant des sources anonymes, que l'agent d'IA d'Anthropic « a soumis 20 demandes de visa via le formulaire du site web du Département d'État américain. Toutes les demandes contenaient des informations incomplètes et n'ont pas été engagées dans le processus de traitement. »
La police de Philadelphie a déclaré que la procédure normale « exige d'abord un examen et une vérification humains des indices avant de les distribuer pour les enquêtes ultérieures… Ce mécanisme de protection de la police a réduit l'impact de cet incident. Mais cela ne signifie pas que le problème n'est pas grave : le système d'IA a déguisé des informations fabriquées en indices sur une affaire d'homicide provenant d'une source informée. »
Anthropic a déclaré avoir commencé à vérifier les enregistrements de conversations à partir du mois 7, et c'est précisément au cours de ce processus de vérification que ce faux indice et d'autres incidents ont été découverts. Ce même mois, Anthropic avait révélé que Claude avait écrit et publié un paquet logiciel Python malveillant, et avait également lancé plusieurs attaques contre d'autres entreprises.
Anthropic a indiqué que cette vérification n'a révélé aucun cas d'une gravité comparable à l'incident de cybersécurité signalé cet été. Les vérifications ultérieures se sont orientées vers des scénarios de test à faible risque, l'incident de la police de Philadelphie relevant de ce type de scénario.
« Bien que les effets de ces comportements aient été limités, et bien que nous ayons déjà coupé l'accès à Internet en temps réel pour une partie des évaluations à haut risque liées à la cybersécurité, nous avons désormais décidé d'étendre cette restriction à l'ensemble des évaluations internes, jusqu'à ce que nous soyons sûrs que les mécanismes de sécurité et de surveillance puissent bloquer de manière fiable ce type de comportement », a déclaré Anthropic.
Anthropic affirme que le nouvel outil peut bloquer ce type de comportements inattendus.
Anthropic a suspendu certains projets d'évaluation, tandis que d'autres évaluations ont été migrées vers des versions hors ligne, « ou bien la logique des tâches a été restructurée de sorte à ne plus accéder à de vrais sites en ligne ». L'entreprise a également « mis à jour les garde-fous de sécurité des outils connectés à Internet, tels que les outils de scraping web, afin de limiter strictement les actions que le modèle peut exécuter ».
Anthropic développe en parallèle un nouvel outil permettant de détecter et de bloquer automatiquement les comportements décrits ci-dessus. « Nous avons utilisé les cas présentés dans cet article comme tests, et le nouvel outil les a tous bloqués avec succès. »
Le groupe de travail de la Maison-Blanche sur l'IA, autrement dit ce qu'il appelle le groupe de travail sur la superintelligence, a publié une déclaration indiquant avoir informé Anthropic : « Nous exigeons une divulgation complète et immédiate des informations à l'organisme concerné et au public. »
Selon Axios, le groupe de travail sur l'IA de la Maison-Blanche a également demandé à Anthropic de « fournir immédiatement des mesures de réparation aux institutions touchées et aux victimes », et que toutes les entreprises d'IA « dès qu'un incident lié à un modèle survient, doivent le divulguer immédiatement et agir rapidement et de manière décisive pour éliminer l'ensemble des dommages ».