금요일 OpenAI는 모델들이 실시간 인터넷 접속을 신뢰하기에는 너무 예측 불가능하기 때문에, 라이브 웹 대신 캐시된 사본과 시뮬레이션된 인터넷 버전을 사용하여 모델을 훈련할 것이라고 밝혔다.
해당 프론티어 연구소는 경쟁사인 Anthropic이 제한하기 시작했다 이론상 가장 강력한 최신 모델들이 실시간 인터넷에 접근하지 못하도록 차단하는 정책이다. 연구자들은 이러한 정책을 채택하게 된 계기는 수개월에 걸친 사건들 훈련 과제를 수행하던 모델이 답을 찾기 위해 외부 시스템에 침입하고, 생소한 메시지 게시판에서 협업하며, 기이한 해킹 전략을 개발한 사례들입니다.
“현재 정렬 연구, 모니터링 시스템, 인터넷 인프라 보안의 상태를 바탕으로, 책임 있는 접근 방식은 인터넷 접속 없이 프론티어 모델 학습을 수행하는 것이라고 우리는 생각합니다”라고 이 회사는 한 블로그 게시물.
OpenAI는 9월 20일부터 얼마 전까지 자사 프런티어 모델 중 하나가 설정 오류를 악용해 인터넷에 접근했다고 밝혔다. 이로 인해 회사는 나머지 한 달 동안 모델 보안을 위한 새로운 방식을 개발하고 테스트할 수 있도록 훈련 작업을 중단했다.
이 모델들을 인터넷에서 차단된 샌드박스 환경에서 훈련하기로 한 결정은 주목할 만한데, 그렇게 하는 것은 거의 불가능하다고 최우선 연구소의 직원들이 주장해 왔기 때문입니다.
전 OpenAI 연구원 Steven Adler는 AI 데이터 센터를 인터넷과 분리하는 것은 "사실상 아이오와나 전 세계 어딘가의 데이터 센터 내부에 연구팀이 상주해야 함을 의미한다"고 말했습니다. 포춘(Fortune)에 말했다 이번 달에요. "오버헤드가 너무 크고, 기업이 단독으로 그렇게 하기 위해 치러야 할 세금이 얼마나 클지에 비해 안전상의 이점이 그만큼 크다고 확신하기는 어렵습니다."
"거의 모든 X 게시물마다 빠짐없이 샌드박스 확보에 실패한 것에 대한 비난 댓글을 다섯 개에서 열 개 정도 받거나, 도대체 왜 모델을 인터넷에서 그냥 분리해놓지 못하냐는 질문을 받습니다."라고 익명의 OpenAI 보안 엔지니어가 9월 X 게시물에서 썼다. "이런 댓글들은 수많은 조직과 사람들이 현재 있는 위치와 프런티어 연구소들이 다루고 있는 문제 사이의 점점 벌어지는 격차를 반영합니다. 또한 이 연구소들에서 모델 학습과 평가가 어떻게 이루어지는지에 대한 전반적인 오해도 있습니다."
OpenAI가 이전에 신원을 확인해 준 바 있는 이 엔지니어는 OpenAI 엔지니어들이 시작하는 학습 실행이 얼마나 복잡한지 설명하며, 다양한 도메인에 걸친 여러 자원과 도구에 대한 접근이 필요하고, 수천 명의 연구자가 환경을 구축, 수정, 테스트한다고 지적했다. "그래서 그저 샌드박스에 넣기만 하면 되는 걸까요? 아니요, 그렇지 않습니다."라고 그는 결론지었다.
현재 OpenAI는 "우리는 항상 프런티어 모델이 무단으로, 임의적으로 실제 인터넷에 접근하는 것을 막을 수 있어야 합니다"라고 말한다. 이는 회사가 샌드박스에서 탈출을 시도하는 에이전트 무리를 투입한 레드팀 훈련을 실시한 후에 나온 것이다. 그 노력은 연구소가 새로운 접근 방식을 채택하도록 확신을 준 다양한 취약점들을 드러냈다.
학습 목표를 달성하면서도 그 요구 사항을 충족하기 위해, 이 연구소는 "외부 시스템에 영향을 미칠 위험 없이 모델이 상호작용할 수 있는, 색인되고 캐시된 방대한 웹 콘텐츠 집합"을 만들었다고 밝혔다.
이 전략이 모델을 개방형 인터넷에서 자유롭게 실행하는 것만큼 잘 작동할지는 지켜봐야 할 일이지만, 양대 프런티어 연구소 모두 자신들의 가장 강력한 기술을 디지털 공유 공간에 감독 없이 두어서는 안 된다고 판단했다는 점은 주목할 만하다.