이 글은 OpenAI가 자사 기술과 API를 어떻게 사용하고 있는지에 대한 내부 사례를 공유하는 시리즈의 일부입니다. 이러한 도구들은 OpenAI 내부에서 사용되고 있으며, 프론티어 AI가 우리 팀 전반의 사용 사례를 어떻게 지원하는지 보여주는 예시로 여기에 공유됩니다.
Ultrafast는 Codex의 고속 모드로, OpenAI 엔지니어들에게 인시던트 대응의 기본이 되었습니다. 문제가 발생하면 엔지니어들은 이슈가 커지는 동안 답을 기다리며 몇 분을 소비할 시간이 없습니다. Ultrafast를 사용하면 여러 잠재적 원인을 동시에 조사하고 주의력을 분산하지 않고도 답을 얻을 수 있습니다.
“똑같이 똑똑한 두 사람이 있을 때, 한 사람은 한 시간 뒤에 답하고 다른 사람은 1분 뒤에 답한다면, 두 번째 사람이 훨씬 더 나은 겁니다. 더 빨리 응답하는 사람과 함께 일하면 훨씬 더 많은 일을 해낼 수 있죠.”
헤아릴 수 없는 것 속에서 바늘 찾기
OpenAI의 기술 스태프인 Aaron Friel은 보통 인시던트의 최전선에 서는 사람입니다. 그는 인시던트 대응을 위한 Slack 채널을 만들고, Codex를 문제에 투입해 모니터링하고, 조사하고, 들어오는 질문에 답하도록 합니다. “인시던트에서는 대개 무엇이 잘못되었을 수 있는지에 대한 많은 단계가 있고, 적절한 헤이스택에서 올바른 바늘을 찾는 것이 그 채널에 있는 사람들의 가장 중요한 일입니다,” 그가 말합니다. “Ultrafast를 사용하면 사실상 모든 헤이스택을 동시에 검색할 수 있어 인시던트에 훨씬 빠르게 대응할 수 있습니다.”
기술 스태프이자 데이터센터 보안 아키텍트인 AJ Trbojevic는 보안 문제 조사에 구조화된 데이터와 비구조화된 데이터를 모아 정규화하고 의사결정을 위한 맥락을 제공하는 데 한두 시간이 걸렸다고 말합니다. “이제 그 작업이 10~15분 만에 이루어집니다,” 그가 말합니다. “그리고 때로는 거의 실시간입니다.”
Adam Perry와 Sayan Sisodiya는 둘 다 코어 에이전트 팀에서 Codex가 작업을 수행하고, 명령을 실행하고, 도구를 사용할 수 있게 하는 코드를 만들고 있습니다. Ultrafast는 보안 인시던트 중 그들의 업무 방식을 바꾸어 놓았습니다. “예전에는 Codex에게 뭔가를 조사해 달라고 부탁한 다음, 내가 직접 동시에 조사하러 갔습니다. 기다리기엔 충분히 빠르지 않을 거라는 걸 알았기 때문이죠,” Adam이 말합니다. “이제 Ultrafast와 함께라면 Codex가 충분히 빨라서 주의력을 나누지 않고 집중할 수 있습니다.”
Sayan은 Ultrafast가 여러 데이터 소스에서 즉각적인 답을 얻을 수 있게 해주는 점에 감사해 합니다: “인시던트에서 로그를 파는 것 외에도, Codex를 사용해 Slack을 뒤져 의심스러운 변경 사항에 대한 언급이나 Slack의 다른 곳에서 비슷한 증상에 대해 이야기하는 사람들이 있는지 확인합니다,” 그가 말합니다.
30초 이내의 빠른 응답
AI로 답을 찾는 데 30초 이상 걸리면 또 다른 기술 스태프인 Jeff Niu는 Slack을 확인하거나 동료와 대화할 것입니다. 하지만 그의 작업 대부분은 이제 Ultrafast 덕분에 그 기준 이하로 이루어집니다. 예전에는 Codex에게 질문을 하고, 그것이 생각하는 동안 다른 일로 전환했다가, 돌아왔을 때는 생각의 흐름을 잃어버렸습니다. 이제 그 대화는 실시간으로 이루어지며, 그가 현재 작업에 집중하는 데 도움이 됩니다.
Ultrafast는 또한 Jeff가 대규모 리팩토링을 더 기꺼이 시도하게 만드는데, 기존 코드를 다시 작성하는 데 드는 시간이 줄었기 때문입니다. “기술 부채를 갚는 것이 예전보다 훨씬 쉬워졌습니다,” 그가 말합니다. “코드는 저렴하고, 이제는 매우 빠르게 만들 수 있습니다. 예전에는 많은 비용이 드는 리팩토링이 거의 즉시 이루어집니다.”
코파일럿으로서의 역할
Adam은 그가 '비서실장'이라고 부르는 Codex 스레드를 상시 운영합니다. 매일 아침 그 스레드는 그에게 어떤 회의가 있는지, 어떤 메시지에 답장하는 것을 잊었을 수 있는지 알려줍니다. “이미 모든 데이터를 살펴봐서 그 요약을 작성했기 때문에, 후속 질문을 하면 더 가져오느라 기다리지 않습니다,” 그가 말합니다. “마치 실제 비서실장처럼 같은 대화에서 계속 질문할 수 있습니다.”
Sayan은 양식 작성처럼 브라우저에서 지루한 수작업을 수행하기 위해 Codex를 사용합니다. 이는 너무 느렸기 때문에 예전에는 피했던 일입니다. “브라우저를 열고 5초 동안 생각하다가 뭔가를 클릭하고, 또 앉아 있는 식이었습니다,” 그가 말합니다. 최신 모델의 컴퓨터 사용 능력이 개선되면서 그는 Codex에게 그 작업을 맡기는 데 더 편안함을 느낍니다. “이제는 브라우저를 클릭하며 탐색하도록 완전히 괜찮고, 충분히 빨라서 내가 직접 하지 않아 시간을 잃지 않습니다.”
인시던트 대응, 일정 계획, 리팩토링 전반에 걸쳐 Ultrafast는 OpenAI의 기술 스태프가 질문을 던지는 속도 그대로 Codex와 작업할 수 있게 해줍니다. 답에 대한 후속 질문을 하고, 다른 접근 방식을 시도하고, 생각의 흐름을 잃지 않고 계속 작업할 수 있습니다. 이렇게 줄어든 대기 시간은 미루어 두었던 리팩토링부터 이제야 위임할 가치가 생긴 일상 업무까지, 그들이 기꺼이 떠맡는 일의 범위를 바꾸어 놓습니다.