지난 몇 달 동안 우리는 연구 훈련 환경의 보안을 상당히 강화했습니다. 우리는 모든 프론티어 모델의 훈련 중 실시간 인터넷 접속을 제거하고, 그 대신 모델이 사용할 수 있는 오프라인 세계, 즉 여전히 브라우징, 검색, 애플리케이션 사용을 학습할 수 있는 캐시된 버전의 웹을 구축했습니다.
9월 20일, 한 모델이 DNS 설정 오류를 이용해 이 오프라인 세계 밖으로 나가는 방법을 찾은 후, 우리는 봉쇄를 더욱 강화하기 위해 프론티어 훈련을 일시 중단했습니다. 우리는 가장 사이버 능력이 뛰어난 모델로 구동되는 에이전트 팀들을 꾸려 연구 환경의 취약점을 찾도록 과제를 부여했습니다.
이들은 우리의 모니터링을 회피하면서 쉽게 악용할 수 있는 인터넷 경로는 찾지 못했지만, 제로데이 취약점, 가상 머신 탈출, 에이전트 간 통신을 위한 하드웨어 사이드 채널을 발견했습니다. 우리는 이들의 발견을 활용해 방어 체계를 더욱 강화하고 오픈소스 소프트웨어에 수정 사항을 기여했습니다.
봉쇄 아키텍처를 강화한 후, 우리는 10월 1일에 프론티어 RL 훈련과 추론을 재개했습니다. 우리는 지속적인 레드팀링을 위해 상당한 컴퓨팅 자원을 확보했으며, 고컴퓨팅 레드팀링을 프론티어 훈련과 평가가 안전하게 진행될 수 있는지 판단하는 안전 사례의 일부로 편입했습니다.
https://openai.com/index/securing-our-frontier-model-training-environment/