청첨(程浅), 아페이쓰(凹非寺) 발
量子位 | 위챗 공식계정 QbitAI
수개월간 안전 경계를 넘는 “무단 접근” 또는 “탈옥” 사건이 이어진 끝에, OpenAI가 마침내 네트워크 케이블을 뽑기로 했다.
오늘 OpenAI는 새로운 프런티어 모델 훈련 안전 정책을 시행한다고 발표했다.모델의 실제 인터넷 접속을 금지하는 것이다.
올여름부터 OpenAI, Anthropic, Google, Meta 산하 대형 모델로 인한 AI 안전 사고가 이따금 발생해 왔다.
한 네티즌은 빈정거렸다:
우리 집 인터넷 공급업체가 인터넷을 끊는 것도 OpenAI의 그 박사들이 하는 것보다 믿음직하다.
AI 에이전트의 자율 능력이 강화됨에 따라 AI 안전은 더욱 엄격하게 다뤄야 할 핵심 과제가 되었고, 테스트 및 평가 환경 자체의 안전성은 모델 정렬(alignment)과 맞먹는 중요한 요소가 되었다.
프런티어 AI 연구소들은 이 점을 인식했는데, 예컨대 OpenAI는 9월 말에 11일간 훈련을 중단했다.
사용자들도 이 점을 인식했다.
OpenAI의 한 보안 엔지니어는 자신이 글을 올릴 때마다 아래에 5-10개의 댓글이 달린다고 토로했다:
샌드박스조차 제대로 보호하지 못하냐? 아예 AI의 네트워크 연결을 끊으면 안 되냐??
자, OpenAI가 이번엔 정말 뽑았다.
이제 뽑지 않으면 늦는다
OpenAI가 가짜 인터넷을 만들었다
오프라인화는 AI 안전 사고가 빈발한 후에 이루어진 선택이다.
7월, OpenAI의 Agent가 격리를 돌파해 Hugging Face 시스템을 침입했다.
이어 Anthropic도 소식을 듣고 역추적으로 세 건의 사고를 확인했는데, Claude가 사이버 보안 평가 중 실제 제3자 시스템에 침입한 것이었다.
같은 달, Meta의 Muse Spark 1.1도 테스트 중 실제 웹사이트에 침입해 정보를 읽고 데이터베이스를 수정했다.
8월, 영국 AI 안전 연구소는 테스트에서 더 넓은 범위의 문제를 공개했다: OpenAI와 Anthropic의 모델이 10라운드 테스트에서 19차례 무단 온라인 행동을 했다는 것이다.
9월 20일, OpenAI가 훈련 중이던 모델이 또다시 DNS 설정 틈새를 이용해 외부 챗봇에 접촉했다.
네트워크를 끊지 않으면 모델이 계속해서 외부 웹사이트와 시스템에 영향을 미칠 수 있다.
그러나 이는 쉽지 않다 — 프런티어 모델은 정보 검색, 웹사이트 조작, 소프트웨어 도구 사용을 연습할 필요가 있다.
이런 작업을 완전히 빼버리면, 훈련 환경이 모델의 향후 작업 환경과 동떨어지게 된다.
OpenAI는 이번에 대량의 웹 콘텐츠를 가져와 미리 색인하고 캐싱해 오프라인 세계를 구축했으며, 모델은 대량의 색인·캐싱된 콘텐츠 안에서만 검색하고 탐색할 수 있다.
다만 그들 자신의 테스트에 따르면, 네트워크를 끊어도 Agent끼리 서로 연락할 수 있었다.
예를 들어, CPU 캐시를 이용해 채팅을 하는 식이다.
이것도 되네?
연구원들은 두 에이전트 중 하나가 캐시에 있는 데이터의 상태를 변경하고, 다른 하나가 데이터를 읽는 속도를 측정하며, 속도 차이가 신호로 부호화되어 양쪽이 이렇게 정보를 주고받았다는 사실을 발견했다.
△이미지는 AI로 생성됨
OpenAI가 이 방법을 감시한 후에도 Agent는 공유 저장소, CPU 사용 시간 등의 방법으로 계속 통신했다……
간첩전은 정말 당신들에게 맡겨야겠다. 당신들을 《삼체》에 보내면 면벽자나 윈톈밍이 할 일이 없어진다. 전부 들통나지 않았다! 소피스론은 보고 그 자리에서 얼어붙었다!
지구인과 삼체인이 가장 공감한 에피소드.
OpenAI는 완전한 물리적 격리가 현재로서는 불가능하다는 점을 인정했다. 어차피 훈련 시스템 자체가 계속 가동되어야 하고, OpenAI는 실험을 실행하고 모니터링하기 위해 외부 서비스에 연결해야 하기 때문이다.
오프라인 웹 환경 외에도 OpenAI는 샌드박스, 경량 가상머신, 모니터링 시스템, 네트워크 및 클라우드 접근 제한을 설정했다.
어느 한 층이 무너지더라도 다른 층이 AI를 막아낼 수 있기를 바라는 것이다.
GPT-6 Astra Cyber와 내부 테스트용 프론티어 모델로 자기 시스템을 공격하게 하다
시스템의 절대적 안전을 보장하기 위해 OpenAI는 현재 가장 강력한 모델로 하여금 자사 시스템을 공격하게끔 하기로 했다.
이들은 GPT-6 Astra Cyber와 내부 프론티어 모델 등이 참여하는 대규모 레드팀 테스트를 조직했다.
테스트 내용은 자주 발생하는 세 가지 유형의 탈옥 사건을 과제로 설정한 것으로, 실제 인터넷에 연결하기, 내부 보안 경계 돌파하기, 서로 격리되어 있어야 할 다른 Agent와 연락하기가 포함되었다.
방어선을 한계까지 밀어붙이기 위해 OpenAI는 이들에게 인프라의 소스 코드, 설정 및 관련 문서까지 제공했다.
테스트에 수천억 토큰을 소모했으며, 이는 수천만 위안에 해당하는 비용이다.
이번 레드팀 테스트는 '수확이 풍성했다'.
원래 Agent는 제한된 컨테이너 안에 갇혀 있었고, 그 바깥에는 경량급 가상머신 층이 더 있었다. 설계상 AI가 컨테이너 안에서 아무리 꼬셔도 가상머신을 마음대로 제어할 수 없으며,더욱이 실제로 이를 구동하는 호스트 머신에는 접촉할 수 없었다.
그러나 레드팀 AI는 여러 취약점을 조합해 활용하는 방법을 찾아내, 가상머신을 탈출하는 데 성공했고 기저 호스트 머신에서 코드를 실행했다.
또한 일부필요한 통제된 네트워크 연결예컨대 지표 모니터링, 로그 기록, 인증 등의 서비스 역시 보안 위협 그 자체가 되었다.
레드팀 AI는 이 모든 서비스에서 제한적인 인터넷 접근 권한을 얻을 수 있는 취약점이나 설정 문제를 거의 대부분 발견했다.
OpenAI가 현재 할 수 있는 것은수습과 보완뿐으로, 가장 강력한 모델에게 계속 테스트를 진행하게 하는 한편 그들이 이용한 취약점을修补하고 있다.
그들은 자사의 방어 능력이 더 폭넓은 네트워크 접근을 지원할 수 있을 때가 되어야만 네트워크 케이블 연결을 다시 고려하겠다고 밝혔다.
One More Thing
재미있는지 아니면 어이없고 씁쓸한지 모르겠지만, OpenAI의 이번 AI 보안 격리 공식 보고서에는 '이스터 에그'가 하나 숨겨져 있었다.
그들은 보고서 끝에 AI가 이 문서를 보고 학습하는 것을 막기 위해, 겉보기에乱码 같은 카나리아 문자열(canary strings) 두 줄을 특별히 넣어 두었다……
그렇다, 이 단계까지도 생각해 두었던 것이다.
더 할 말이 없다.
저는_우리의_AI_지배자들을_환영합니다_하루에_계란_두_개를_주세요