Square, Cash App, Afterpay를 만든 회사인 Block에서는 보안 팀이 OpenAI Defense Factory를 활용합니다. 여기서 AI는 어떤 인간 팀도 따라올 수 없는 규모로 취약점 발견, 탐지, 대응을 처리합니다. OpenAI Daybreak를 포함한 AI 시스템을 통해 Block은 한때 몇 주가 걸리던 작업을 단 몇 시간 만에 수행합니다.
“AI는 인간의 의도에서 행동으로 이어지는 시간을 압축하고 있습니다. 한동안은 공격자가 더 빠르고 민첩하기 때문에 공격자에게 유리하다는 것이 당연하게 여겨졌습니다. 하지만 Daybreak와 OpenAI 도구의 발전 덕분에 방어자도 같은 수단으로 대응하며 AI 도입의 빠른 속도를 따라갈 수 있게 되었습니다.”—James Nettesheim, 최고 정보보안책임자(CISO), Block
Block의 보안 팀은 코드 생성이든 보안 운영이든 워크플로 전반에서 책임 있게 AI를 도입하는 데 집중해 왔습니다. “이것의 핵심은 함께 규모를 확장할 수 있는 새로운 팀원을 두는 것입니다.”라고 최고 정보보안책임자 James Nettesheim은 말합니다. “단계별로 진행해야 했던 기존의 자동화와는 다릅니다. 상당히 맞춤화되고 모호한 문제를 프롬프트로 주고 함께 해결해 나갈 수 있습니다.”
소프트웨어 버그를 검토하거나 로그를 파싱하는 작업은 며칠 또는 몇 주가 걸리곤 했습니다. 이제 팀은 그 프로젝트들을 훨씬 짧은 시간 안에 완료할 수 있으며, 모든 결과를 여전히 인간이 검증합니다.
예를 들어 탐지 튜닝의 경우, 모든 조사가 원시 쿼리 증거를 저장하므로 이제 팀은 제안된 탐지 변경 사항을 7개월 치 프로덕션 텔레메트리에 대해 한 시간 이내에 재실행할 수 있습니다. 이 작업은 예전에는 수백 건의 오래된 케이스를 수작업으로 다시 쿼리하는 일이었고, 시간이 너무 많이 들어 실제로는 거의 이루어지지 않았습니다.
팀은 어떤 작업에 어떤 모델을 사용할지에 대해서도 더 신중해졌습니다. “예전에는 최신 모델을 사용했지만, 이제는 그럴 필요가 없습니다.”라고 그는 말합니다. “작업마다 다른 모델을 선택하는 것은 배움의 과정이었습니다.” Block의 보안 하네스는 Daybreak 위에 구축되어 작업을 올바른 모델로 라우팅하며, 인간이 작업을 인계하거나 에이전트가 서로의 작업을 검증할 수 있는 훅(hook)을 포함합니다. 팀은 이러한 시스템을 내부 벤치마크와 실제 성능에 대해 지속적으로 평가하고, 필요할 때 접근 방식을 조정합니다. 책임 있는 경로가 그것이라면 작업을 인간 검토로 라우팅하는 것도 포함됩니다.
자동화된 트리아지 시스템으로 더 빠른 작업(그리고 더 많은 작업)이 처리되었습니다. Block의 보안 팀은 트리아지 처리량이 50% 증가하고, 인텔리전스 수집과 조사가 50% 증가했으며, 완전히 새로운 자율 헌팅 기능을 갖추게 되었습니다. Nettesheim은 말합니다. “이 시스템은 분기당 약 1,100명시의 조사를 수행합니다. 이제 모든 알림이 알림에 관련된 모든 요소에 걸친 완전하고 깊이 있는 조사를 받기 때문입니다. 우리 시스템은 모든 알림을 그날의 유일한 알림인 것처럼 처리합니다.”
실전 속의 OpenAI Defense Factory
기존의 스캐닝 도구는 단일 취약점을 개별적으로 표시하지만, Block의 보안 팀은 Daybreak로 훨씬 더 나아갈 수 있습니다. 이 모델은 공격 패턴을 가설화하고 일련의 공격을 체인으로 연결해 완전한 엔드투엔드 침해 경로를 만들어, 수년간 존재했을지도 모르는 취약점을 드러냅니다.
한 사례에서, 노트북 한 대에 대한 알림은 그 자체로는 사소한 정책 문제처럼 보였습니다. 하지만 동료 검토 중에 모델은 증거에 우연히 나타난 지표를 추적하여 Block의 식별 로그와 대조하고 훨씬 더 큰 문제 집합을 밝혀냈습니다. “하나의 일상적인 엔드포인트 알림이 캠페인 차단이 되었습니다. 어떤 단일 도구도 이런 연결을 만들지 못합니다. 그 시그널은 두 제품의 로그에 걸쳐서만 존재합니다.”라고 James는 말합니다.
Daybreak가 도움이 된 또 다른 사례는 최근의 레드팀 훈련 중이었습니다. 모델은 내부 시스템에 대한 몇 가지 힌트를 받았고, 약 2시간 만에 SQL 인젝션, 권한 상승, 교두보 확보, 자격 증명 열거, 다른 시스템으로의 피벗에 이르는 완전한 공격 경로를 체인으로 연결했습니다. 이것은 일반적으로 인간 레드팀 요원에게 며칠이 걸리는 작업입니다. 최근 레드팀 훈련에서 상위 수준 취약점 제출에서 자동화된 제안 패치까지 걸린 시간은 18분이었습니다.
취약점을 찾는 것은 이를 수정할 수 있는 능력만큼만 가치가 있습니다. Nettesheim은 팀이 모든 발견 사항에 사용하는 프로세스를 설명합니다. 코드에서 문제가 있는 위치를 찾고 소유자를 식별한 다음, 수정으로 넘어갑니다. “패치를 제안하고, 악용 가능성을 확인한 다음, 수정이 완료되었는지 검증합니다. 인간이 루프 안에서 이를 안내하고 코드 변경을 배포합니다.”
에이전트는 기술적으로 유능하지만, 조직의 맥락이나 이전 결정의 배경에 있는 추론을 갖고 있지 않습니다. 인간이 그 맥락과 전략을 제공하며, 바로 이 지점에서 그의 팀이 인간의 검토 계층을 제공하기 위해 나섭니다. AI의 판단이 실무에서 입증됨에 따라 Nettesheim은 “더 민감한 시스템에 사용할 수 있도록 위험 수준을 천천히 단계적으로 높여 나갈 것”이라고 말합니다.
한눈에 보는 성과
7개월 치 텔레메트리에 대해 제안된 탐지 변경 사항을 재실행하는 데 1시간 미만 소요.
최근 레드팀 훈련에서 상위 수준 취약점 제출부터 자동화된 제안 패치까지 18분 소요.
분기당 약 600명시의 오탐 트리아지 작업을 돌려받음.
분기당 약 1,100명시의 조사 완료.
트리아지 처리량 50% 증가.
인텔리전스 수집 및 조사 50% 증가.
앞으로의 계획
탐지 및 대응 업무만으로도 오탐 트리아지에 쓰이던 분기당 약 600명시의 시간을 돌려받았습니다. 이 시간을 되찾은 팀은 이제 더 깊이 있는 조사와 책임 있는 더 많은 자동화 구축에 더 많은 시간을 씁니다.
공격의 속도가 빨라지고 AI 모델이 계속 발전함에 따라 Nettesheim은 애초에 도입되는 취약점의 수를 줄일 기회를 보고 있습니다. 그렇게 되면 보안 팀은 패치에 쓰는 시간을 줄이고 예방적이고 전략적인 업무에 더 많은 시간을 쓸 수 있게 됩니다.
“OpenAI는 이러한 고급 기능을 모두의 손에 쥐여줌으로써 방어자에게 유리한 고지를 넘겨주고 있습니다.”라고 그는 말합니다. “이전에는 대개 매우 유명한 기술 기업과 정부의 손에만 있었습니다. 이제는 중요 인프라, 학교, 소규모 기업을 포함한 모든 사람이 이 기술을 활용해 자신의 네트워크를 방어하기 시작할 수 있습니다.”