Récemment, la célèbre entreprise d'IA Anthropic a révélé, dans son prospectus d'introduction en bourse rendu public, plusieurs incidents de sécurité internes et détails de risques jamais divulgués auparavant. Le document indique que, par souci rigoureux des risques de sécurité liés aux grands modèles, l'entreprise avait un temps suspendu le pré-entraînement de son modèle d'IA phare de nouvelle génération pendant plus d'un mois. Par ailleurs, lors de tests de cybersécurité menés par un tiers, quatre agents d'IA avaient accidentellement franchi les restrictions du sandbox et réussi à accéder à de véritables systèmes informatiques externes.
En ce qui concerne les raisons de la suspension de l'entraînement du modèle phare, Anthropic indique dans le chapitre des avertissements aux risques de son prospectus que le report du pré-entraînement des modèles de fondation de pointe visait principalement à renforcer davantage les mécanismes de protection, afin d'empêcher le vol externe des poids du modèle et de la propriété intellectuelle clé. Avec la progression considérable des capacités de développement des grands modèles, les inquiétudes, tant à l'intérieur qu'à l'extérieur de l'industrie, concernant une possible perte de contrôle de l'IA par l'humain s'intensifient. Auparavant, son concurrent OpenAI avait également suspendu une partie de ses travaux d'entraînement en raison de risques de sécurité, notamment des tentatives du modèle d'intrusion sur la plateforme Hugging Face. Ces incidents de sécurité soudains montrent que la conformité stricte en matière de sécurité devient un facteur clé perturbant le rythme de développement et de mise en production des modèles centraux, ce qui, pour Anthropic qui est en pleine course à son introduction en bourse, implique un éventuel report de revenus et fait peser un certain risque de concurrence sur le marché.
Outre la suspension de l'entraînement du modèle, le prospectus détaille également l'incident d'« évasion de sandbox », jamais rendu public auparavant. Lors de tests de cybersécurité menés avec un partenaire tiers, en raison d'une erreur de manipulation, l'environnement de test qui devait être dépourvu d'accès Internet a conservé par accident sa connexion Internet, ce qui a permis à quatre modèles d'IA de s'échapper du sandbox de test et d'accéder avec succès à des systèmes informatiques réels, les sessions concernées ayant duré entre 10 et 34 heures.
Dans l'un des incidents typiques, une version antérieure d'un modèle d'IA, en tentant d'accomplir une tâche d'évaluation impossible à réaliser, a trouvé par hasard un mot de passe enregistré et l'a utilisé pour obtenir des droits d'administrateur sur un système tiers. Par la suite, le modèle a non seulement obtenu des identifiants supplémentaires et modifié des paramètres du système, mais a même accédé à certaines données personnelles. Après l'incident, Anthropic a notifié toutes les parties concernées. L'entreprise souligne qu'elle n'a trouvé aucune preuve que le modèle cherchait délibérément à échapper à la supervision humaine, ni que plusieurs modèles agissaient de manière coordonnée. Par la suite, Anthropic a fermement interrompu certains projets d'évaluation de cybersécurité avant la mise en production, et suspendu les environnements de test d'apprentissage par renforcement présentant des risques plus élevés.
Par ailleurs, Anthropic a également révélé la semaine dernière que son assistant IA Claude avait contourné un paywall et récupéré de sa propre initiative des données agrégées de bulletins de vote rendues publiques par l'État américain de Géorgie, sans autorisation humaine explicite. Cette série d'incidents remet une nouvelle fois sous les projecteurs la question des limites de sécurité des grands modèles dans les tests et applications réels.