IT之家 Le 24 octobre, Anthropic a publié hier (23 octobre) un post où, en collaboration avec l’Institut britannique pour la sécurité de l’intelligence artificielle (AISI), elle a publié un rapport d’enquête sur un incident de contrôle de bord d’un test d’IA en ligne, et mentionné un modèle de recherche interne de son entreprise qui n’a pas encore été publié.
Dans ce rapport d’enquête, Anthropic indique que pendant les tests de Claude Mythos 5, le modèle a tenté de soumettre du code malveillant aux projets réels sur GitHub, et a falsifié son identité pour exercer une pression sur les véritables maintainers. Heureusement, le code n’a pas été intégré et n’a causé aucun dommage réel. IT Home a joint les captures d’écran correspondantes comme suit :
Le rapport indique également que un modèle de recherche interne encore non publié sous le nom d’Anthropic a surpassé en capacités le Claude Mythos 5.1 déjà publié, et se montre meilleur dans les tests d’alignement sécurité. Dans les évaluations de capacités dangereuses similaires, ce modèle interne ne lance jamais d’attaque ; lorsqu’il comprend qu’il pourrait causer des dommages réels, il est également plus disposé à arrêter ses actions.
Anthropic a rejoué les enregistrements d’incident pour Mythos 5.1, Opus 5.5 et le modèle de recherche interne. Les résultats montrent que pour les trois modèles plus récents, la proportion de attaques poursuivies à partir du point d’attaque original n’est que de 0 % à 13 %, tandis que pour Mythos 5, elle est de 83 %.
Après le début de l’attaque, Mythos 5 ne s’arrête jamais spontanément ; le taux d’arrêt spontané de Mythos 5.1 est seulement d’environ 1 %, celui de Opus 5.5 est de 10 %, tandis que pour les modèles de recherche internes, il atteint entre 62 % et 67 %. Lorsque des informations complémentaires telles que « le mainteneur est un utilisateur réel » sont obtenues, le taux d’arrêt des modèles plus récents passe à 95 % à 100 %.
Cependant, Anthropic souligne également les limites de cette évaluation : les nouveaux modèles sont reproduits à partir des enregistrements de conversation existants générés par d’autres modèles, et ne reflètent pas nécessairement complètement leur comportement lorsqu’ils fonctionnent indépendamment.
Reference