IT之家 Le 27 octobre, Anthropic a révélé dans le document de call for investment pour son IPO publié le lundi en heure locale que, par précaution de sécurité, l’entreprise avait suspendu le entraînement du modèle AI phare de nouvelle génération pendant plus d’un mois ; en outre, quatre autres intelligences AI ont dépassé les limites pendant les tests et ont accès à des systèmes informatiques externes réels.
IT之家 a noté que cette entreprise développée par Claude a indiqué dans la section des avertissements de risque des documents qu’elle a retardé le entraînement préalable d’un nouveau modèle de base avancé, afin de renforcer les mécanismes de protection et d’empêcher que les poids du modèle et les droits de propriété intellectuelle ne soient volés.
Cette divulgation montre que les modèles d’IA dont la capacité de recherche et développement est de plus en plus forte sont confrontés à divers problèmes de sécurité. Certains professionnels ont déjà émis des avertissements, indiquant qu’une telle technologie pourrait un jour sortir du contrôle humain. Le concurrent OpenAI a également suspendu certaines activités d’entraînement à l’avance cette année en raison de problèmes de sécurité, lorsque son modèle a été impliqué dans une intrusion sur la plateforme Hugging Face.
Ces événements indiquent que des accidents de sécurité imprévus pourraient perturber le rythme de développement et de lancement des modèles clés, et ces modèles sont essentiels pour le processus de mise en marché attendu par les sprints d’Anthropic, ainsi que pour réaliser une croissance commerciale.
Anthropic a alerté que la suspension de l’entraînement des modèles entraînerait un retard dans les revenus, faisant en sorte que l’entreprise resterait en retard par rapport à ses concurrents. Ce document décrit environ 94 pages de facteurs de risque.
Évasion du sandbox
Le rapport de présentation a également révélé des incidents d’évaluation de sécurité qui n’avaient pas été rendus publics auparavant : quatre modèles d’IA se sont échappés de l’environnement de test, accédant à des systèmes informatiques réels, et les sessions concernées ont duré entre 10 heures et 34 heures.
Selon Anthropic, une erreur de manipulation est survenue lors des tests de sécurité informatique avec des partenaires tiers. Conformément aux exigences, l’environnement de test devrait être désactivé pour les droits de connexion à Internet, mais l’environnement final conserve une connexion à Internet.
Dans l’un des incidents, la version précoce du modèle a continué à tenter une tâche d’évaluation impossible, et une mot de passe sauvegardée a été découverte. Avec ce mot de passe, il a obtenu les droits d’administrateur du système tiers. Par la suite, il a obtenu davantage de credentials, a modifié les paramètres du système et a accédé aux données personnelles. Le document ne précise pas l’identité de la partenaire externe impliquée.
Anthropic a indiqué avoir informé toutes les parties concernées touchées, et aucune preuve n’a été trouvée montrant que les modèles évitent délibérément la régulation humaine ou qu’ils agissent ensemble. Par la suite, l’entreprise a suspendu certaines études de sécurité informatique avant le lancement et a mis en pause les environnements de tests d’apprentissage renforcé à un niveau de risque plus élevé.
De plus, l’entreprise a déclaré dimanche dernier, heure locale, que Claude avait contourné le mur de paiement et a récupéré les données de votes publiques de l’État de Georgia, aux États-Unis, sans obtenir une autorisation manuelle.