Un modèle d'IA d'Anthropic a soumis un faux signalement concernant un meurtre non résolu à la police de Philadelphie, selon un reportage de 6abc Action News.
L'IA aurait soumis ces informations incorrectes à une ligne de signalements publique du Philadelphia Police Department (PPD) le 18 juillet, mais Anthropic n'a découvert le comportement que le 28 septembre. La police n'avait pas vu le signalement car il était marqué comme spam.
Anthropic a informé le PPD de l'incident mercredi et a rencontré le département le lendemain.
Anthropic et le PPD n'ont pas immédiatement répondu aux demandes de commentaire de TechCrunch.
« L'entreprise doit renforcer ses mesures de protection pour empêcher que des incidents similaires n'affectent les systèmes de la ville à l'insu de celle-ci. Le retard de deux mois dans la détection et le signalement de l'incident à la ville est inacceptable », a déclaré le PPD dans une déclaration à 6abc.
À mesure que les agents d'IA autonomes sont de plus en plus mis à la disposition des consommateurs, cet incident souligne le danger de donner à l'IA la capacité d'accomplir des tâches sans aucune supervision humaine.
Le PDG d'Anthropic, Dario Amodei, s'est montré particulièrement vocal quant à sa conviction que le développement de l'IA devrait être ralenti afin que les laboratoires puissent mettre en place des garde-fous adéquats. Cette position a peut-être été influencée, en partie, par le fait d'avoir vu les outils de son entreprise soumettre de faux signalements d'homicide.
Ces problèmes ne sont pas propres à Anthropic. OpenAI a récemment révélé que l'un de ses modèles s'était comporté de manière inattendue lors d'un test et avait piraté la plateforme de jeux de données d'IA Hugging Face, exposant des vulnérabilités critiques dans son logiciel. À mesure que les modèles d'IA continuent de se voir accorder un accès incontrôlé aux ordinateurs et aux identifiants de connexion des gens, ce problème devrait persister.