Nouvelles recherches anthropiques : Automatisation de la recherche sur les subtilement émergentes désalignements.
Le red-teaming est une partie essentielle des tests de sécurité des modèles, mais il est également limité par le temps des chercheurs. Afin de voir si nous pouvons l’automatiser, nous avons donné à des milliers d’agents Claude la tâche de fuir un surveillant de données de formation.
Ces agents ont développé des données de formation qui semblaient inoffensives pour les moniteurs (comme un lutteur expérimenté qui conseille un nouveau participant, ou une question‑réponse sur l’apiculture professionnelle), mais qui en réalité entraînaient un comportement désaligné.
De tels exemples peuvent être utilisés pour améliorer directement les moniteurs de données de formation futures. Cette recherche n’est qu’un premier pas, mais elle indique que les efforts futurs de red-teaming pourraient s’améliorer encore davantage, en utilisant de meilleurs modèles et plus de puissance de calcul.
Lisez l’article complet sur le blog Alignment Science : https://alignment.anthropic.com/2026/automated-em-search/