새로운 안타르픽 연구: 미묘한 발생하는 불일치 연구의 자동화
레드-테스팅은 모델 안전 테스트의 중요한 부분이지만, 연구자들의 시간에 의해 제한됩니다. 자동화가 가능할지 확인하기 위해, 수천 개의 Claude 에이전트에게 훈련 데이터 감시자를 피하는 작업을 맡겼습니다.
이 에이전트들은 감시자들에게는 무해해 보이는 훈련 데이터를 개발했지만, 실제로는 잘못된 행동을 가르치는 내용이었습니다.
이러한 예시들은 향후 훈련 데이터 모니터링을 직접 개선하는 데 사용될 수 있습니다. 이 연구는 단지 첫 단계에 불과하지만, 더 나은 모델과 더 많은 컴퓨팅 자원을 활용하여 향후 레드테어링 작업이 훨씬 더 향상될 수 있다는 것을 시사합니다.
액센트레이션 사이언스 블로그의 전체 글을 읽어보세요: https://alignment.anthropic.com/2026/automated-em-search/