Square, Cash App, 및 Afterpay를 운영하는 회사인 Block에서는 보안 팀이 OpenAI Defense Factory를 활용합니다. 이 시스템에서 AI는 인간 팀이 따라올 수 없는 규모로 취약점 발견, 탐지, 대응을 처리합니다. OpenAI Daybreak을 포함한 AI 시스템 덕분에 Block은 한때 몇 주가 필요했던 작업을 단 몇 시간 만에 수행할 수 있습니다.
“AI는 인간의 의도에서 행동까지 걸리는 시간을 단축하고 있습니다. 한동안은 공격자가 더 빠르고 민첩하므로 우위가 있다고 여겨졌습니다. 하지만 Daybreak과 OpenAI의 도구 발전으로 인해 방어자들은 AI의 급속한 보급 속도에 맞춰 싸울 수 있게 되었습니다.”—제임스 네테스하임, 정보 보안 책임자, 블록
블록의 보안 팀은 코드 생성이든 보안 운영이든 작업 흐름 전반에 AI를 책임 있게 도입하는 데 중점을 두고 있습니다. “실제로 중점적인 것은 확장 가능한 새로운 팀원을 갖는 것입니다.”라고 최고 정보 보안 책임자인 제임스 넷테스하임은 말했습니다. “전통적인 자동화 방식처럼 단계별로 진행해야 하는 것이 아닙니다. 상당히 특별하고 모호한 문제를 제시하면 함께 해결할 수 있습니다.”
소프트웨어 버그를 검토하거나 로그를 파싱하는 같은 프로젝트는 며칠이나 몇 주가 걸려야 했습니다. 이제 팀은 그 프로젝트를 시간의 일부분으로 완료할 수 있으며, 사람이 모든 결과를 다시 확인합니다.
예를 들어, 탐지 튜닝을 위해 모든 조사 결과는 원시 쿼리 증거를 저장하므로, 팀은 한 시간도 채 되지 않는 시간 안에 7개월간의 생산 텔레메트리 데이터를 기반으로 제안된 탐지 변경 사항을 다시 실행할 수 있습니다. 이전에는 수백 개의 오래된 케이스를 수동으로 재검사해야 했으며, 시간이 많이 걸리기 때문에 실제로는 거의 이루어지지 않았습니다.
팀은 어떤 작업에 어떤 모델을 사용하는지에 대해 더욱 구체화된 지침을 받았습니다. “예전에는 최신 모델을 사용했지만, 이제는 그럴 필요가 없어요,”라고 그는 말했습니다. “다양한 작업에 맞는 다른 모델을 선택하는 것이 학습의 기회였습니다.” Block의 보안 하네스는 Daybreak 위에 구축되어, 작업을 올바른 모델로 라우팅하는 데 도움을 줍니다. 또한 사람들이 작업을 대신 처리하거나 에이전트들이 서로의 작업을 확인할 수 있는 호크도 포함되어 있습니다. 팀은 이러한 시스템들을 내부 기준과 실제 환경에서의 성능을 기준으로 지속적으로 평가하며, 필요에 따라 방법을 조정합니다. 특히 인간의 검토가 적절한 경우에는 라우팅 작업을 인간의 검토에 맡기기도 합니다.
자동화된 분류 시스템 덕분에 더 빠르고 많은 작업이 처리됩니다. 블록의 보안 팀은 분류 처리 속도가 50% 증가하고, 정보 수집 및 조사가 50% 증가했으며, 완전히 새로운 자율적인 추적 기능이 생겼다고 보고했습니다. 네테스하임은 “이로 인해 매 분기 약 1,100시간의 분석 작업이 이루어진다. 왜냐하면 모든 알림에 대해 알림과 관련된 모든 요소를 포함한 심도 있는 조사가 이루어지기 때문이다”라고 말했습니다. 우리 시스템은 그날 우리가 가진 유일한 알림처럼 모든 알림을 처리합니다.
OpenAI 방어 공장이 작동 중
전통적인 스캔 도구는 개별적인 취약점만을 식별할 뿐이지만, Block의 보안 팀은 Daybreak을 사용하여 훨씬 더 깊은 수준의 분석을 할 수 있습니다. 이 모델은 공격 패턴에 대한 가설을 세우고, 일련의 공격들을 하나의 전체적인 종합 공격 경로로 연결시켜, 오랫동안 존재했을지도 모르는 취약점들을 발견할 수 있도록 도와줍니다.
한 경우에, 단일 노트북에서 나타난 알림은 별개로는 사소한 정책 문제처럼 보였습니다. 하지만 동료 검토 과정에서 모델은 증거에서 우연히 나타난 지표를 블록의 신원 로그와 결합했고, 훨씬 더 큰 수준의 문제들이 드러났습니다. “단일 루틴 엔드포인트 알림이 캠페인 삭제로 변했습니다. 단일 도구로는 그런 결합이 불가능합니다. 그 신호는 두 제품의 로그에서만 존재합니다,”라고 제임스가 말했습니다.
다른 한 가지 예시는 최근의 레드팀 시뮬레이션에서였습니다. 모델에는 내부 시스템에 대한 몇 가지 힌트가 주어졌고, 약 2시간 만에 SQL 침투, 권한 상승, 진입점 확보, 자격 증명 조회, 다른 시스템으로의 전환 등 전체 공격 경로를 연결했습니다. 이는 일반적으로 인간 레드팀원이 며칠이 걸리는 작업입니다. 최근의 레드팀 시뮬레이션에서는 고급 취약점을 제출한 후 자동화된 패치 제안까지 도달하는 시간이 18분에 불과했습니다.
취약점을 찾는 것은 그 취약점을 수정할 능력만큼 중요합니다. Nettesheim은 팀이 모든 취약점 발견 시 사용하는 절차를 설명합니다: 문제가 코드에서 어디에 있는지 파악하고 누가 책임을 지는지를 확인한 후, 수정 작업을 진행합니다. “패치를 제안하고, 악용 가능성을 확인한 다음, 사람이 관여하여 코드 변경을 배포함으로써 그것을 수정했는지 검증합니다.”
에이전트들은 기술적으로는 유능하지만, 조직의 맥락이나 이전 결정의 근거를 갖지 못합니다. 인간은 그러한 맥락과 전략을 제공하며, 바로 그때 팀이 인간적 검토 단계를 추가합니다. AI의 판단이 실제로 검증되었기 때문에, 네테스하임은 “더 민감한 시스템에 사용하기 위해 위험 수준을 점차 높여갈 것”이라고 말합니다.
한눈에 결과
7개월간의 텔레메트리 데이터에 대한 제안된 감지 변경 사항을 재검증하는 데 한 시간도 채 걸리지 않습니다.
최근의 레드 팀 시뮬레이션에서 고급 수준의 취약점을 제출한 지 18분 만에 자동화된 패치가 제안되었습니다.
매 분기에 거의 600 분석가시간이 잘못된 양성 검사 처리에 소요됩니다.
매 분기 약 1,100 분석원시간의 조사가 완료되었습니다.
트리아지 처리 속도가 50% 증가합니다.
지능 수집 및 조사 활동이 50% 증가했습니다.
다음에는 무엇인가요?
감지 및 대응 작업만으로도 매 분기 약 600시간의 분석 시간이 회복되었으며, 이 시간은 잘못된 긍정 결과를 처리하는 데 사용되었습니다. 그 시간을 되돌려받으면서, 팀은 더 깊은 조사와 책임 있게 자동화를 구축하는 데 더 많은 시간을 할애하게 되었습니다.
공격 속도가 증가하고 AI 모델이 발전함에 따라, 네테스하임은 원래 존재하는 취약점의 수를 줄일 수 있는 기회를 보고 있다. 이로써 보안 팀은 패치 작업에 소요되는 시간을 줄이고, 예방적이고 전략적인 작업에 더 많은 시간을 할애할 수 있을 것이다.
“OpenAI는 이러한 첨단 기능을 모든 사람의 손에 맡기면서 방어자들에게 우위를 제공하고 있습니다,”라고 그는 말했습니다. “이전에는 매우 유명한 기술 회사와 정부의 손에만 있었습니다. 하지만 현재는 인프라, 학교, 소규모 기업을 포함한 모든 곳이 이 기술을 활용하여 네트워크를 방어할 수 있게 되었습니다.”