모든 회사에는 고유한 워크플로, 도구, 엣지 케이스, 그리고 성공의 정의가 있습니다. (새 창에서 열림)Third Moment Research(새 창에서 열림) 는 최고의 에이전트는 그 특정 작업에 정말 능숙해야 하며, 사용될수록 능력이 향상되어야 한다고 믿습니다.
이 회사는 그 아이디어를 바탕으로 자가 개선형 AI 시스템을 구축하고 있으며, OpenAI의 최신 모델을 사용해 에이전트 행동을 이해하고, 반복되는 약점을 파악하고, 그 문제들을 중심으로 수천 개의 합성 시나리오를 자동으로 생성합니다. 팀은 이러한 시나리오를 사용해 에이전트를 개선하며, 새로운 문제가 나타날 때마다 이 과정을 반복합니다.
Codex, GPT‑6 Astra, GPT‑6 Sol, GPT‑6.1 Sol은 시스템의 연구 및 계산 작업을 지원하여, Third Moment가 36~48시간에 걸친 조사 작업을 위해 한 번에 10,000개의 에이전트를 실행할 수 있게 합니다. 이 회사는 또한 Daybreak를 사용해 에이전트가 작업하는 환경의 보안을 테스트합니다.
“단일 세션에서 GPT-6.1 Sol은 수일간의 컴퓨팅에 걸쳐 일관된 계산 연구의 흐름을 유지하며 방향을 잃지 않습니다.”—Adam Khakhar, Third Moment Research 공동창업자
Codex로 런타임과 토큰 낭비 줄이기
Third Moment의 초기 활용 사례 중 하나는 성공의 척도가 명확한 양적 금융 분야입니다. 이 도메인은 에이전트가 어떻게 작동하는지, 어디서 어려움을 겪는지 연구할 수 있는 구체적인 환경을 제공합니다. 팀은 Codex를 사용해 연구 환경의 문제를 찾아 해결합니다.
한 사례에서, 당시 최신 GPT 모델이었던 GPT‑5.6과 함께 Codex를 사용해 수천 개의 기록된 시뮬레이션 궤적(에이전트의 행동과 환경의 반응)을 타임스탬프 및 코드베이스와 함께 분석했습니다.
Codex는 병목 현상을 발견했습니다. 1년치 주문 단위 미국 주식 데이터에 대해 거래 전략을 백테스트하는 데 몇 시간이 걸렸던 것입니다. 기다리는 동안 에이전트들은 완료 여부를 반복적으로 폴링하며 토큰을 낭비하고 상태 확인으로 컨텍스트를 채웠습니다.
백테스트를 프로파일링하고 입력과 사용 방식을 분석한 후, Codex는 캐싱 최적화와 메모리 패킹 기법을 식별했습니다. Codex는 해결책을 실험하고 프로덕션에 수정 사항을 배포하여 백테스트 시간을 약 3시간에서 약 3~5분으로 단축했습니다. 이를 통해 토큰 사용과 컨텍스트 오염이 줄어들어, 에이전트들의 토큰 예산이 더 많은 실험에 사용될 수 있게 되었습니다.
Codex와 GPT‑6으로 에이전트가 작업에 집중하도록 유지하기
Third Moment는 각 에이전트에게 특정 작업에 필요한 도구, 정보, 환경을 제공합니다. 양적 연구의 경우, 팀은 Docker화된 환경 안에서 기본 Codex 하네스를 실행합니다. 에이전트들은 1테라바이트의 데이터, 문서, 그리고 피처 엔지니어링, GPU 지원 모델 학습, 거래 전략, 시뮬레이션을 위한 모듈을 갖춘 연구 저장소를 받습니다.
GPT‑6 Astra, GPT‑6 Sol, GPT‑6.1 Sol이 추론을 담당하고, Codex 하네스는 작업이 진행됨에 따라 에이전트가 행동하고, 계획을 세우고, 목표를 설정하고, 하위 에이전트를 생성하고, 컨텍스트를 압축할 수 있는 도구를 제공합니다.
작업을 완료하기 전에 멈추는 에이전트 문제를 해결하기 위해, Third Moment는 GPT‑6 Sol 또는 GPT‑6.1 Sol로 구동되는 외부 하네스 내에서 Codex를 하위 에이전트로 취급합니다. 외부 하네스는 작업이 미완료로 남겨졌을 때 궤적을 검토하고 재시도할지, 작업을 종료할지, 아니면 사람의 검토로 에스컬레이션할지 결정합니다.
“Codex 하네스는 매우 다재다능하며, 다양한 도메인에서의 활용을 가능하게 합니다.”—Adam Khakhar, Third Moment Research 공동창업자
그 연구 환경에서 에이전트들은 Third Moment 엔지니어들이 구축한 기준 거래 시스템을 개선하기 위해 작업합니다. 에이전트들은 과거 데이터에서 거래 전략을 테스트하고, 개선이 의미 있는 것인지 노이즈인지 평가하며, 각 결과를 사용해 다음 실험을 선택합니다. Adam에 따르면, 에이전트들의 작업으로 기준 거래 시스템이 개선되었습니다.
더 높은 토큰 효율성으로 더 긴 연구 지속하기
Adam에 따르면, GPT‑5.5 이전에는 모델이 사용자가 지정한 실험만 실행할 수 있었습니다. GPT‑5.5와 GPT‑5.6에서는 Codex 하네스와 함께 작동하는 모델이 결과를 활용해 후속 실험을 설계할 수 있었습니다. 이제 GPT‑6 Astra, GPT‑6 Sol, GPT‑6.1 Sol로 에이전트는 하위 에이전트와 병렬로 실행되는 수백 개의 실험을 통해 근본 원인을 조사할 수 있습니다.
이러한 발전 덕분에 에이전트들은 팀이 예상하지 못했던 연구 방향을 탐색할 수 있었습니다. 한 세션에서 GPT‑6.1 Sol은, 그 거래가 예상외로 큰 거래량 비중을 차지하던 거래소에서 비공개 거래의 영향을 파악했습니다. “이것은 우리 연구팀이 처음에 고려하지 않았던 직관적이지 않은 결과였습니다”라고 Adam은 말합니다.
Third Moment는 최적화, 머신러닝 시스템, 양적 연구 분야에서 모델을 평가합니다. 이 회사는 프론티어 릴리스를 최고 추론 설정에서 테스트하며, 저장소 탐색 능력, 효율적인 코드 작성 능력, 조사를 지속하는 능력을 평가합니다. 현재 테스트에는 GPT‑6 Luna도 포함됩니다.
“GPT-6.1 Sol은 토큰 효율성 때문에 현재 우리가 가장 많이 사용하는 모델입니다. GPT-6 Astra와 유사한 성능을 제공하면서 가장 적은 토큰으로 작업을 완료합니다.”—Jeffrey Yan, Third Moment Research 공동창업자
한 벤치마크는 에이전트에게 실시간 스코어보드 서비스의 업데이트 지연 시간을 출력 결과를 유지하면서 줄이도록 요구합니다. 팀은 정확성을 조건으로, 동일한 하드웨어에서 전문가가 작성한 솔루션의 평균 런타임을 모델 솔루션의 런타임으로 나누어 속도 향상을 측정합니다. Adam에 따르면 GPT‑6 Astra가 가장 큰 속도 향상을 달성했습니다.
시뮬레이션 시스템의 특정 보안 취약점 점검 등 표적화된 작업의 경우, 팀은 GPT‑5.6 Terra 같은 더 효율적인 모델을 사용합니다. 심층 연구에 대해서는 Adam이 더 강력한 추론 능력이 더 높은 비용을 정당화할 수 있다고 믿습니다. “양식 금융 분야에서 흥미로운 신호를 발견하는 것의 가치는 극도로 높습니다.”
Daybreak으로 보안 테스트 자동화
10,000개의 에이전트가 자율적으로 실행되는 가운데, Third Moment는 연구 환경의 보안을 대규모로 테스트할 방법이 필요합니다. 이 팀은 Daybreak 사이버보안 플랫폼을 사용하여 시뮬레이션이 시작되기 전에 해당 테스트를 자동화합니다.
이 테스트들은 에이전트가 자신의 연구 환경을 벗어나 더 넓은 네트워크에 접근할 수 있는지를 확인합니다. “Daybreak을 사용함으로써 에이전트들이 직접 시뮬레이션에 대한 침투 테스트를 수행하고 그 인프라와 보안을 테스트할 수 있게 되었습니다.”라고 Adam은 말합니다.
“Daybreak이 없었다면 이를 대규모로 자율적으로 테스트할 수 없었을 것입니다.”—Adam Khakhar, Third Moment Research 공동창업자
수십만 개의 협업 에이전트로의 발전
Third Moment의 야망은 회사들이 매일 수행하는 전문화된 업무까지 확장됩니다. 소매업체의 경우 재고가 부족하거나 공급업체가 지연될 때 더 나은 공급망 의사결정을 내리는 것이 될 수 있습니다. 엔지니어링 팀의 경우 대규모 코드베이스에서 성능 병목 지점을 찾는 것이 될 수 있습니다. 문서가 많은 비즈니스의 경우 한 문서의 약속이 다른 문서에 기록된 결과와 일치하지 않는 부분을 식별하는 것이 될 수 있습니다.
GPT‑6 Astra, GPT‑6 Sol, GPT‑6.1 Sol의 추론 능력을 바탕으로 Third Moment는 개별 조사에서 수십만 개의 협업 서브에이전트로 확장할 계획입니다. 그 로드맵은 수십 개의 의존적 실험 체인을 지원하는 수조 개의 토큰을 요구하며, 새로운 과제가 발생할 때 그 연구를 활용해 에이전트를 자율적으로 개선하는 것을 목표로 합니다.
Adam에게 있어 이는 사람들이 에이전트가 학습하고 일하는 방식을 형성할 수 있는 더 큰 역량을 갖게 된다는 의미입니다. “인간은 훨씬 더 레버리지가 큰 위치에 놓일 수 있습니다. 즉, 실제로 연구를 수행하는 대신 연구를 어떻게 수행할지 고민하고 연구 자체를 최적화할 수 있습니다.”