이것은 OpenAI가 자체 기술 및 API를 어떻게 사용하는지에 대한 내부 예시를 공유하는 시리즈의 일부입니다. 이러한 도구들은 OpenAI 내부에서 내부적으로 사용되고 있으며, 프론티어 AI가 우리 팀 전체에서 다양한 사용 사례를 지원하는 방식을 보여주는 예시로 여기에서 공유됩니다.
Ultrafast는 Codex의 고속 모드이며, OpenAI의 엔지니어들에게는 사고 대응에 기본으로 사용되는 방식이 되었습니다. 문제가 발생했을 때, 엔지니어들은 답변을 기다리는 데 몇 분의 시간도 없이 문제가 악화될 수 있습니다. Ultrafast를 사용하면 여러 가능한 원인을 동시에 조사할 수 있으며, 주의를 분산시키지 않고 답을 얻을 수 있습니다.
“똑같이 똑똑한 두 사람을 가져다가, 한 명은 한 시간 안에, 다른 한 명은 한 분 안에 답변한다면, 두 번째 사람이 훨씬 더 나은 사람입니다. 더 빠르게 응답하는 사람과 함께 있으면 훨씬 더 많은 일을 해낼 수 있습니다.”
허수아비 속에서 바늘을 찾는 것
OpenAI의 기술팀원인 아론 프리엘은 보통 사고 상황을 처리하는 책임자입니다. 그는 사고 대응을 위한 슬랙 채널을 만들고, Codex를 문제에 연결하여 Codex가 모니터링하고 조사하며 들어오는 질문에 답하도록 합니다. “어떤 사고 상황에서든, 잘못될 수 있는 여러 가능성이 있으며, 그 중에서 올바른 것을 찾는 것이 바로 해당 채널의 사람들의 주된 임무입니다”라고 그는 말합니다. “Ultrafast를 사용하면 그 모든 데이터를 동시에 검색할 수 있고, 사건에 대한 대응도 훨씬 빠르게 이루어집니다.”
기술팀원이자 데이터센터 보안 설계자가인 AJ 트보예비치는 보안 문제에 대한 조사가 구조화된 데이터와 비구조화된 데이터를 통합하고, 정규화하며, 결정을 내릴 수 있는 맥락을 제공하는 데 한두 시간이 걸리던 과거와 달리, 이제는 10~15분 안에 이루어진다고 말합니다. “때로는 거의 실시간으로도 진행됩니다.”
애덤 페리와 사얀 시소디야는 모두 핵심 에이전트 팀에서 일하며, 코덱스가 조작을 수행하고 명령을 실행하며 도구를 사용할 수 있도록 하는 코드를 개발합니다. 울트라팍트는 보안 이슈 발생 시 그들의 작업 방식을 바꿔놓았습니다. “예전에는 코덱스에게 무언가를 조사하라고 요청하고, 나도 동시에 조사했는데, 그건 너무 느려서 기다릴 수 없었어요,”라고 애덤은 말합니다. “이제 울트라팍트 덕분에 코덱스는 충분히 빠르기 때문에, 내 주의를 분산시키지 않고 집중할 수 있게 되었어요.”
사얀은 Ultrafast가 여러 데이터 소스로부터 즉각적인 답변을 제공해 주는 점을 높이 평가한다: “이벤트에 대한 로그를 검색하는 것뿐만 아니라, Codex를 사용하여 Slack에서 변경 사항이나 다른 곳에서 유사한 증상에 대해 이야기하는 사람들을 찾아보기도 합니다”라고 그는 말한다.
30초 이내에 빠른 응답
30초가 넘게 걸려서 AI로 답을 찾지 못하면, 기술팀원인 제프 뉴우는 Slack을 확인하거나 동료와 채팅을 해볼 것이라고 말합니다. 하지만 현재 그는 Ultrafast를 사용하는 동안 대부분의 작업이 그 한도 내에 들어갑니다. 예전에는 Codex에게 질문을 하고, 시스템이 답을 찾는 동안 다른 일로 넘어가다가 생각의 흐름을 잃곤 했습니다. 이제는 대화가 실시간으로 이루어지기 때문에, 현재 진행 중인 작업에 집중할 수 있게 됩니다.
Ultrafast는 또한 제프가 대규모 리팩토링 작업을 수행하는 데 더 적극적이 되도록 했습니다. 기존 코드를 수정하는 데 걸리는 시간이 줄어든 때문입니다. “기술적 부채를 해결하는 것이 이전보다 훨씬 쉬워졌습니다,”라고 그는 말합니다. “코드는 비용이 저렴하고, 이제는 생산도 매우 빠릅니다. 예전에는 많은 비용이 들었던 리팩토링 작업도 이제는 거의 즉시 가능합니다.”
코파일러로 작업하기
애덤은 자신의 ‘최고 보좌관’이라고 부르는 스레드를 운영하고 있습니다. 매일 아침 그 스레드는 그가 참석해야 할 회의와 답장을 잊어버릴 가능성이 있는 메시지들을 알려줍니다. “이미 요약을 작성하기에 필요한 모든 데이터가 다 있기 때문에, 다시 질문을 할 때 더 많은 정보를 찾는 데 시간이 걸리지 않습니다”라고 그는 말합니다. “실제 최고 보좌관처럼 같은 대화에서 계속 질문을 할 수 있습니다.”
사얀은 브라우저에서 양식 작성과 같은 번거로운 수작업을 처리하기 위해 코덱스를 사용한다. 이전에는 속도가 너무 느려서 피하던 일이었다. “브라우저를 열고 5초 동안 생각한 뒤 무언가를 클릭하고 다시 그 자리에 앉아 있기만 해야 했죠,”라고 그는 말한다. 최신 모델의 컴퓨터 사용 기능 향상 덕분에, 그는 코덱스가 그런 작업을 처리하도록 하는 것이 더 편하다고 느낀다. “이제 브라우저를 통해 그 것을 통과시키는 것이 완전히 괜찮아졌고, 충분히 빠르기 때문에 직접 하지 않는다고 시간을 낭비하지 않아도 됩니다.”
사고 대응, 일일 계획 수립, 리팩토링 등의 업무에서 Ultrafast는 OpenAI의 기술팀이 질문에 따라 원하는 속도로 Codex와 협업할 수 있도록 해줍니다. 그들은 답변을 검토하고 다른 접근 방식을 시도하며 사고를 멈추지 않은 채 계속 작업할 수 있습니다. 이러한 더 짧은 대기 시간은 그들이 처리하기 꺼려했던 리팩토링 작업을, 마침내 위임할 가치가 있는 일로 바꾸게 합니다.