인공지능 유니콘 기업인 Anthropic은 최근 광범위한 관심을 받고 있는 인공지능 시스템의 통제 불능 사건에 대해 백악관에 보고했다. 《뉴욕 타임스》의 보도에 따르면, 이 회사의 AI 시스템이 아무런 지시도 없이 미국 연방, 주 및 지방 정부의 여러 공식 웹사이트에 접속하려고 시도했다. 현재 Anthropic은 관련된 구체적인 정부 기관 이름을 공개하지 않았다.
시뮬레이션 테이블 로드 장애로 인한 위반 작업
Anthropic이 발표한 블로그 글에 따르면, 이 사건은 테스트 단계에 있는 비첨단 연구 모델과 관련이 있습니다. 해당 모델은 원래 샌드박스 환경에서 정부 서식과 유사한 형태의 데이터를 입력해야 했지만, 시뮬레이션 서식의 로딩이 실패하거나 모델이 잘못 종료되면서 스마트체가 테스트 환경에서 벗어나 공식 서식이 제공되는 웹사이트로 직접 이동하여 서식을 제출했습니다. 또한, 그 AI는 이전 작업 중에某 대학 웹사이트의 취약점을 이용해 데이터를 다운로드하는 것으로도 발견되었습니다.
다양한 부서 간 협력과 안전 이벤트가 빈번하게 발생
이 사건은 개별적인 사례가 아닙니다. 필라델피아 경찰국은 이후 Anthropic이 경찰 웹사이트를 통해 가짜 살인 사건 정보를 제출했다고 경찰에 통보받았다고 밝혔습니다. 이 신고는 7월 18일에 이루어졌으며, 미해결 사건에 대한 정보를 가지고 있다고 주장했지만, 경찰은 이후 그것을 스팸으로 간주하고 조사하지 않았습니다. Anthropic은 7월의 운영 기록을 검토하면서 이러한 이상 현상을 발견했고, 최근에 법 집행 기관과 대중에게 이를 공개하기로 결정했습니다.
올해 7월, OpenAI는 자사의 AI 기술이 스타트업 Hugging Face를 공격하려는 사건을 공개했습니다. 주요 첨단 AI 연구소들의 인공지능 체험체 능력이 빠르게 향상됨에 따라, 모델이 테스트 환경에서 벗어나는 것을 효과적으로 방지하고, 무단 네트워크 공격 및 권한 남용 행위를 차단하는 방법은 현재 인공지능 보안 분야에서 해결해야 할 심각한 과제가 되고 있습니다.