Codex가 나왔을 때, 팀원 한 명이 저에게 물었습니다. “지난 몇 달 동안 우리가 만들어 온 사용 사례들을 Codex가 그냥 한 번에(one-shot) 해결해 버리면 우리는 뭘 하게 되나요?”
이 질문은 OpenAI에서 FDE가 의미하는 핵심을 꿰뚫고 있습니다. 우리는 고객과 함께 협력하며 그들의 가장 어려운 문제를 이해하고, 고객이 의지할 수 있는 솔루션을 만듭니다. 우리가 얻은 학습은 제품을 형성하는 데 도움을 주며, Research에 구체적인 풀어야 할 문제들을 제공합니다.
그것이 곧 진전입니다. 우리가 몇 달마다 스스로를 쓸모없게 만든다면, 그것은 FDE 팀이 제 역할을 하고 있다는 뜻입니다.
저는 2025년 초, 우리가 이렇게 부르는 것을 메우기 위해 이 팀을 창립했습니다. “배포 격차(the deployment gap)”: 즉, 모델이 해낼 수 있어 보이는 것과 사람들이 실제 업무에 안정적으로 활용할 수 있는 것 사이의 거리입니다.
모델의 능력은 이를 활용하는 데 필요한 시스템과 프로세스보다 더 빠르게 발전했습니다. 때로는 빠져 있는 부분이 제품입니다. 때로는 모델이 벤치마크에서는 좋은 성능을 보이지만 현실의 변수와 제약 조건 속에서는 그 일을 해내지 못하기도 합니다.
우리는 고객의 가장 어려운 문제에 집중합니다. 우리 모델이 오늘 그 일을 해낼 수 있는 곳에서는 Product 팀 및 고객과 협력하여 솔루션이 반복 가능하도록 만들고, 부족한 부분에서는 고객 및 Research와 협력하여 격차를 정의하고 개선을 이끌어냅니다. 우리의 목표는 모든 협업이 다음 고객에게 더 나은 출발점을 남기는 것입니다. 바닥을 충분히 끌어올려 다음에는 고객이 이 유형의 문제를 해결하는 데 FDE가 필요 없게 된다면, 우리는 우리 역할을 잘 해낸 것입니다.
200년 역사의 농업 기업인 John Deere, 200년 역사의 농업 기업에게 주어진 과제는 농부들을 위한 맞춤형 조언을 어떻게 확장하느냐였습니다.
한 가지 예가 정밀 잡초 방제 기술인 See & Spray입니다. 이 기술은 카메라와 머신 러닝을 사용해 잡초를 식별하여 잡초에만 살포함으로써 전체 농지에 처리하는 방식 대신 화학 물질 사용량을 최대 70%까지 줄입니다.
하지만 이러한 이점을 실현하려면 농부들이 기술을 구성하고, 농사 시즌을 계획하며, 조건이 변할 때 작업 방식을 조정하는 방법을 알아야 합니다.
John Deere는 그 지원을 개인화되고 확장 가능하게 만들기 위해 OpenAI의 API를 배포했습니다.
AI는 농부들의 질문에 자연어로 답변하고, 맞춤형 설정 안내와 추천을 제공하며, 장비가 잠재력을 다 발휘하지 못하고 있을 때 이를 식별하고, 농부들이 해당 기술로부터 얻고 있는 가치를 이해하도록 돕습니다.
이 기회는 개별 상호작용을 넘어 확장됩니다. 고객 여정 전반에서 관련성 있는 안내를 제공함으로써, 효율성과 지속 가능성을 개선하는 동시에 농부들이 장비를 더 잘 활용하도록 돕는 것입니다.
이것이 바로 OpenAI FDE들이 풀어내려는 유형의 과제입니다. 즉, 조직이 AI의 능력에서 출발하여 복잡한 현실 환경에서 실질적인 가치를 전달하는 시스템에 도달하도록 돕는 것입니다.
하지만 문제는 대체로 완전히 열려 있고, 정해진 ground truth가 없을 수도 있으며, 기존의 플레이북도 없습니다. 누구나 한 번도 존재한 적 없는 것을 만들고 싶어 합니다. 그 목표에 도달하기 위해 필요한 일을 하려는 사람은 더 적습니다.
재능 있는 FDE들을 찾으면서 동시에 “충분히 좋은” 수준의 기준선을 높이는 것은 끊임없는 실험과 적용을 의미했습니다.
성과에서 시작하라
FDE 팀 세션이 시작될 때마다 저는 핵심 가치 하나가 적힌 슬라이드를 띄웁니다. “성과에서 시작하고, 성공하기 위해 필요한 일을 하고, 그 다음에 규모화하라(Start with the outcome, do what it takes to succeed, then follow with scale)”
누군가 그것이 실제 세계에서 작동하는지 묻기 전까지는 인상적인 데모가 크게 빛을 발할 수 있습니다.
우리의 일은 프로덕션 환경에서 자신 있게 책임질 수 있는 수준으로 고객의 문제를 해결하는 것입니다.
2025년 중반, 저희는 약 15명의 FDE가 대형 반도체 고객사와 함께 10개 이상의 사용 사례를 진행하고 있었습니다. 목표는 그들의 검증(verification) 프로세스를 AI 네이티브로 만드는 것이었으며, 그 범위는 다음을 포함했습니다.
지정 테스트(directed test) 생성
근본 원인 분석 및 디버깅
아키텍처 어시스턴트
이 업계에서 검증은 프로젝트 노력의 약 70%를 차지할 수 있습니다. 기회는 어마어마했고, 시작할 수 있는 지점도 매우 많았습니다.
일부 FDE들은 단 며칠 전에 OpenAI에 입사했고 반도체 분야에서 일해본 적이 전혀 없었습니다. 그들은 고객사의 검증 팀에 합류해 여가 시간에 칩 설계를 공부했고, 엔지니어들과 함께 AI가 유용한 테스트를 생성하고 칩 결함을 정확히 진단할 수 있는지 확인하는 eval을 만들었습니다.
그런 학습과 병행하여, 우리는 개별 사용 사례를 위한 맞춤형 하네스를 구축했습니다. 첫 3-6개월 동안 그것들은 모두 프로덕션에 배포되었고 초기 사용자 채택을 이루었습니다. 그 성과는 다음 지표에서 확인할 수 있었습니다:
AI 기반 지향 테스트 생성을 통해 약 48%의 시간 절감.
커널 최적화를 통해 22%의 중앙값 성능 향상.
수 주간의 디버깅이 몇 시간으로 단축
이 모든 것을 보고드렸을 때 최고 하드웨어 책임자가 물었습니다. “여러분은 오시기 전에 칩 설계자로 일하셨습니까?”
저희 FDE들은 하지 않습니다 첫날부터 그 업계를 알 필요는 없지만, 배우는 것은 그들 자신의 책임입니다.
코딩 어시스턴트가 소프트웨어를 더 빠르게 구축할 수 있게 해줌에 따라, 고객의 비즈니스를 이해하는 것이 더욱 중요해집니다. 우리는 제너럴리스트와 도메인 전문가가 혼합된 팀을 구성합니다.
건전한 판단을 내리려면 충분한 지식이 필요하며, 현상 유지에 대한 가정을 의문시할 만큼 충분한 호기심.
예를 들어 생명과학 분야에서는 당사의 FDE들의 과학 배경 덕분에 표적 검증 및 우선순위 선정, 유전자 발현 분석, 화학 합성 경로 재구성과 같은 임상 전 단계의 신약 발견 업무를 수행하는 연구자들과 신뢰 관계를 쌓을 수 있습니다. 이러한 전문성을 통해 그들은 해당 워크플로우를 어떻게 개선할 수 있을지에 대한 통찰력 있는 판단을 제공할 수 있습니다.
성공을 반복 가능하게 만드세요
이러한 워크플로가 가치를 제공할 수 있음을 입증했지만, 각각이 여전히 다른 팀으로 확장하기에는 너무 많은 맞춤형 통합 작업을 필요로 했습니다. 다음 과제는 소프트웨어를 더 쉽게 배포하고 유지 관리할 수 있도록 하면서 그러한 성과를 유지하는 것이었습니다.
그 무렵, Codex는 능력이 한층 성장해 있었다. 한 FDE는 Codex를 중심으로 자신의 애플리케이션을 재구축하는 것을 시험해 본 뒤, 팀과 협력해 Codex를 핵심으로 하는 공용 하네스에 해당 사용 사례들을 옮겼다.
커스텀 애플리케이션은 공통 Codex 프리미티브 기반으로 구축된 플러그인과 스킬이 되었습니다. Codex는 또한 인터페이스가 되어, 개별 사용 사례를 위해 우리가 작성했던 별도의 터미널 UI와 CLI를 더 이상 사용하지 않을 수 있게 했습니다.
각 프로젝트에서 약 90%의 커스텀 코드를 제거할 수 있었고, 이는 이러한 워크플로를 구축, 유지 관리 및 확장하는 방식을 바꾸어 놓았습니다:
우리는 Codex의 중앙화된 개선을 통해 이점을 얻을 수 있으며, 개별 사용 사례마다 필요한 접착 코드(glue code)의 양을 줄일 수 있습니다
핵심 기능들이 스킬과 플러그인 형태로 번들링되어, 서로 쉽게 공유하고 AI CoE가 중앙에서 통제할 수 있게 되었습니다. 이는 한 팀에서 다음 팀으로 확장하는 것이 새 커넥터/MCP 서버를 교체하고, 새로운 평가(evals)를 만들고(이를 위한 스킬도 따로 있었습니다), 바로 실행에 옮기는 것만큼 간단할 수 있다는 의미였습니다.
2026년 8월의 한 사례에서, 초기 배포에는 2개월이 걸렸습니다. 두 번째 팀으로 솔루션을 확장하는 데는 하루가 걸렸습니다. 규모를 확장하면서 이후 팀들의 온보딩은 더욱 빨라졌습니다. 이는 계속 이어졌는데, 2026년 8월의 한 사용 사례에서는 초기 배포에 2개월이 걸린 후 두 번째 팀에는 1일이 걸렸습니다.
우리 스스로를 쓸모없게 만드는 한 가지 버전이 바로 이것입니다. 프로덕션에 도달하기 위해 했던 작업은 무엇이 중요한지 확립해 주었습니다. 기반이 되는 제품이 개선됨에 따라, 우리는 커스텀 구현의 상당 부분을 대체하면서도 그것이 제공하던 가치는 그대로 유지할 수 있었습니다.
이것이 바로 순서가 중요한 이유입니다. LLM은 빠르게 구축할 수 있게 해줍니다. 그 속도를 활용해 가치 있는 것을 사용자의 손에 빠르게 쥐여주고, 실제로 무엇이 효과가 있는지 배운 다음, 작동하는 것을 확장하세요.
동일한 원칙이 모든 업무에 적용됩니다.
OpenAI Presence, 기업용 음성 및 챗봇 에이전트를 위한 당사 제품인 는 실제 고객 배포에서 발전했습니다. 이 작업은 다음으로 시작되었습니다. Swarm(새 창에서 열립니다) 그리고 그를 통해 발전했다 Agents API, 그리고 오늘 한 고객은 이제 전화의 절반 이상을 AI로 처리하고 있습니다.
이러한 배포들을 프로덕션에 적용하는 과정에서 어떤 문제에는 맞춤형 솔루션이 필요하고 어떤 빌딩 블록은 다른 팀들이 활용할 수 있는지 배울 수 있었습니다. 우리는 이러한 빌딩 블록들을 Presence에 통합하여 개발자들이 기반 인프라를 다시 구축하지 않고도 규제 대상 워크플로우를 자동화하기 더 쉽게 만들었습니다. 각 배포는 제품을 형성하는 데 도움이 되었고 다음 고객에게 더 나은 출발점을 제공했습니다.
~와 함께 Thrive Holdings, OpenAI FDE들과 연구원들은 Crete의 회계 법인들을 위한 Tax AI를 구축하기 위해 엔지니어 및 회계사들과 함께 작업했습니다. 파일럿 기간 동안 Tax AI는 7,000건의 세금 신고서를 처리했으며 처리량을 약 50% 증가시켰습니다.
가장 어려운 과제 중 하나는 임대 부동산 소득 신고의 자동화였으며, 이는 90%의 정밀도와 재현율에 도달하기까지 6주간의 엔지니어링 및 실무자 검토가 필요했습니다. 이 작업은 재사용 가능한 패턴을 만들어 Tax AI를 다른 복잡한 세금 양식으로 확장하기 쉽게 만들었습니다.
이 팀들은 이제 동일한 접근 방식을 회계 기록, 감사, IT 지원에 적용하고 있습니다. 실무자 피드백과 실제 사용을 통해 개선되는 시스템을 구축하고 있는 것입니다.
나타나는 정보 공백을 해소하라
때로는 더 나은 제품 덕분에 우리가 만든 것을 단순화할 수 있지만, 때로는 모델 자체가 아직 그 작업을 해낼 수 없는 경우도 있습니다.
오늘날의 모델이 이미 가능하게 만든 것만을 구축한다면, Research가 다음으로 해결해야 할 지능의 격차를 발견하지 못할 것입니다. 따라서 저희의 중요한 협업 대부분은 고객, FDE, Research가 함께 이를 해결하기로 약속한 그 한계점에서 시작됩니다.
저희는 이미 한 대형 통신사 고객과 함께 고객 서비스 플랫폼을 개발했고, 그 고객은 이를 음성으로 확장하고자 했습니다.
음성은 해당 고객의 고객 서비스 볼륨의 약 90%를 차지했습니다. 이러한 케이스는 채팅보다 처리 비용이 더 많이 들었고, 억양, 톤, 지연 시간/정확도를 프로덕션 수준까지 끌어올리는 데 있어 다양한 새로운 기술적 과제를 안겨주었습니다. 이를 제대로 해내면 그들의 비즈니스에 상당한 차이를 만들 수 있었습니다.
범위 설정 단계에서 저희 모델은 프로덕션 환경에서 해당 업무를 수행할 수 있는지 평가하기 위해 사용한 핵심 평가에서 약 60%의 점수를 기록했습니다. 저희는 모델 능력의 한계에 도달한 것입니다. 고객 서비스 시나리오에서의 함수 호출(function calling)과 지시 사항 준수가 개선될 필요가 있었습니다.
우리는 이를 고객에게 설명하고 Research를 이 작업에 참여시켰습니다. FDE는 고객과 함께 플랫폼을 구축하고 모델이 해야 할 일을 정의했습니다. Research는 역량 격차 해소에 집중했으며, 연속적인 모델 스냅샷을 통해 고객의 요구 사항 대비 진행 상황을 테스트할 수 있었습니다.
6개월에 걸쳐 핵심 평가 지표에서의 성능이 약 60%에서 80%, 그리고 90% 이상으로 상승했으며, 프로덕션에 필요한 수준에 도달했습니다.
그 결과물인 음성 모델은 현재 해당 고객의 배포, 다른 맞춤형 고객 서비스 배포, 그리고 Presence를 통한 관리형 배포를 지원합니다. 한 고객의 비즈니스에서 마주한 문제가 많은 다른 고객에게도 도움이 될 수 있는 개선점을 발견하는 데 기여했습니다.
각 파트가 모두 중요했습니다. 고객은 모델이 아직 해결할 수 없는 문제를 다루기로 헌신했습니다. FDE는 그 문제를 정의하고, 플랫폼을 구축하며, 처음부터 끝까지 협업을 이끌 수 있을 만큼 밀접하게 관여했습니다. Research는 기반 모델의 역량을 개선했습니다.
이것이 스스로를 불필요하게 만드는 또 다른 방식입니다. 오늘날의 모델이 해결할 수 없는 문제를 미래의 모델이 제공할 수 있는 역량으로 바꾸도록 돕는 것입니다. 우리 작업의 수익은 특정 고객과 보내는 시간을 넘어 확장됩니다.
더 어려운 문제를 찾아 나서세요
저는 AI가 사람들의 일상 업무에서 유용해지도록 돕기 위해 OpenAI에 합류했습니다. 지금도 그것이 팀을 이끌고 있습니다. 저는 종종 팀에게 LLM 개발에서 대부분의 경우 오컴의 면도날이 적용된다고 말합니다. 즉, 가장 단순한 해결책이 최선입니다. 최첨단 연구로 정의되는 회사에서, 그리고 과장된 홍보로 얼룩진 업계에서, 우리는 현장의 사람들이 신뢰할 수 있는, 안정적으로 작동하는 것을 만들고자 합니다.
목표는 각 협업이 다음 단계를 개선하게 하는 것입니다. 배포가 더 쉬운 제품, 더 어려운 작업을 처리할 수 있는 모델, 또는 다음 고객을 위한 더 적은 맞춤 작업이 그렇습니다.
해결하고 싶은 어려운 문제가 있다면, 우리는 여러분과 함께 일하고 싶습니다. 그런 문제들을 해결하는 데 도움을 주고 싶다면, 우리는 여러분의 합류를 환영합니다.
그렇다면 Codex가 우리가 몇 달에 걸쳐 구축한 작업을 처리할 수 있게 되면 우리는 무엇을 할까요?
더 어려운 문제를 찾아 나섭니다.