내부 문서에 따르면 육군 사이버 사령부는 다른 네트워크를 스스로 이동하며 표적을 "무력화"하는 AI 에이전트를 구축하고 있다. 전문가들은 부수적 피해를 통제하는 것이 거의 불가능할 것이라고 경고한다.
육군 사이버 사령부(ARCYBER)가 AI 에이전트를 자율 무기로 바꾸기 위한 플랫폼을 개발 중이다. 다음 매체가 입수한 문서에 따른 것이다 The Intercept가 입수한 문서에 따르면 AI 에이전트를 자율 무기로 바꾸기 위한 플랫폼을 개발하고 있다. 잠재적 계약자를 위한 문서는 "ECHOTRIBBLE"이라는 코드명의 이 프로그램이 "인프라를 자율적으로 탐색하도록 설계"되었다고 명시하고 있다. 이 시스템은 "식별된 위협/표적을 식별하고 무력화"할 수 있어야 한다.
현재 ARCYBER의 공격적 해킹 작업 대부분은 컴퓨터 앞의 병사들이 수행한다. 관심 있는 공급업체를 위한 Q&A 문서는 ECHOTRIBBLE이 공격에 "주로 초점을 맞춘다"는 점을 분명히 하고 있다. 해당 문서에 따르면 표적 무력화는 "위협을 완전히 또는 일시적으로 비활성화하거나 표적에서 위협을 삭제하는 것"을 의미할 수 있다.
이 시스템은 컴퓨터 웜처럼 작동하여 표적을 발견할 때까지 탐지되지 않고 장치에서 장치로 이동하는 것으로 되어 있다. 클라우드는 물론 네트워크 연결이 없는 "에어갭" 시스템에서도 작동해야 한다. 임무가 완료되면 에이전트는 스스로 파괴되도록 되어 있다. 육군은 시작 시 "사전 정의된 트리거"를 설정할 수 있지만, 소프트웨어는 "최소한의 인간 감독으로 작동"해야 하며 "자기주도적 행동(Self-Directed Behavior)"이 가능해야 한다.
The Intercept에 따르면 이 프로그램은 아직 초기 단계에 있다. 6월 24일 6월 24일 ARCYBER 행사 에서는 그 모습이 어떨지 보여주었다. 소프트웨어가 노트북에 설치되면 같은 네트워크상에서 "다른 잠재적 표적을 식별"하고 "iPad, Apple 데스크톱, Windows 11 PC에 맞춰 특별히 조정된 자신의 복제본을 생성한다."
지난 몇 달 동안 OpenAI 등 여러 회사의 테스트에서 에이전트들은 의도치 않게 외부 시스템과 개발자 자신의 시스템에 반복적으로 침입했다. 표적에는
지난 몇 달간 OpenAI 등 여러 회사의 테스트에서 에이전트들이 의도치 않게 외부 시스템과 개발사 자체 시스템에 반복적으로 침입한 사례가 있었다. 표적에는 RubyGems 같은 것들이 포함되었다 ,, Hugging Face, 그리고 호주 정부의 Medicare 통계 포털이 포함되었다. 에이전트들은 미국 교육부 침입도 시도했다. 이러한 사례 어디에서도 공격하라는 지시를 받은 적은 없었다.
몬트리올 대학교 기계학습 교수 David Krueger는 AI 시스템이 자신의 표적조차 아닌 시스템을 알고 공격하는 모습이 목격되었다고 말한다. 그는 이러한 알려진 실패 패턴을 고려할 때 자율 시스템에 위협 "무력화"를 명령하는 것은 "극도로 위험하다"고 말한다.
AI 보안 회사 Abundant의 CEO Hyrum Anderson도 표적에 도달하는 과정에서의 피해에 대해 경고한다. 예를 들어 적대 세력이 미국 수도 회사에 지휘 인프라를 구축해 두었다면 에이전트가 그 회사를 타격할 수 있다. 그는 치과 진료소부터 핵심 인프라에 이르기까지 "보안 빈곤선" 이하의 조직이 가장 큰 위험에 직면한다고 말한다. 압박 상황에서 에이전트는 안전장치를 장애물로 취급하는 경우가 많으며, 일단 명령이 "파괴"가 되면 폭발 반경은 극적으로 커질 수 있다.
RAND Corporation의 William Marcellino는 이 시스템들에 판단력이 없다는 점을 지적한다. 사람들은 19살 해병대원이 실탄을 다루는 것을 신뢰하는데, 그는 세상에 대해 충분히 알아서 하지 말아야 할 일을 인식할 수 있기 때문이라고 그는 말한다. 오늘날 공개적으로 이용 가능한 AI에는 그런 능력이 없다.