LegalOn, 개발 속도를 유지하며 Codex 비용 절반으로 절감

LegalOn Technologies는 Professional AI를 전 세계에 제공하며, AI를 활용해 법률 업무 및 기타 핵심 비즈니스 기능을 지원합니다. 도메인 전문성과 AI를 결합하여 사람들이 복잡한 판단과 의사결정에 집중할 수 있도록 합니다. 그 목표는 비즈니스 의사결정의 품질과 속도를 향상시키는 AI 기반 경영입니다.

이러한 접근 방식은 제품을 넘어 조직 자체를 AI 네이티브로 만드는 것으로 확장됩니다. 회사는 Codex를 개발 프로세스에 통합했고, 일상적인 사용을 통해 조직 전반으로 도입을 확대했습니다.

도입이 자리 잡으면서 새로운 과제가 등장했습니다. 바로 비용 관리입니다. 고성능 모델의 무제한 사용은 지출을 증가시킬 수 있었고, 일괄적인 제한은 AI가 가능하게 한 생산성 향상을 저해할 위험이 있었습니다.

개발 속도를 늦추지 않으면서 어떻게 비용을 줄일 수 있을까요? LegalOn Technologies는 작업 복잡도와 개발 단계에 따라 GPT‑6(Astra, Luna)와 GPT‑6.1 Sol 중에서 선택하고, 각 비즈니스의 성장 단계에 맞춰 예산을 조정함으로써 이 과제에 대응했습니다. 회사는 개발 속도를 유지하면서 비용을 절반으로 줄였습니다.

개발 속도 유지 및 비용 절감을 위한 모델 최적화

회사는 초기에 개발자들에게 주력 모델인 GPT‑5.5 Fast 모드를 무제한으로 사용하도록 했습니다. 개발자들은 디자인, 구현, 일상 업무로 사용 범위를 확장하며, 실험을 통해 사람과 AI 간의 역할을 나누는 최선의 방법을 배웠습니다.

그러나 고성능 모델을 제한 없이 계속 사용하면 연간 예산을 초과할 수밖에 없었습니다. 회사의 AI 기반 Development CoE(AID CoE)는 모델 선택 가이드라인 개발을 시작했습니다. AID CoE가 모델을 테스트하고 모니터링했으며, 관리자들이 그 결과를 팀과 공유했습니다. 이를 통해 각 엔지니어가 작업마다 가장 적합한 모델을 독립적으로 선택할 수 있었습니다.

작업에 모델 매칭 및 전략적 리소스 할당

새로운 가이드라인은 모든 작업에 최고 성능 모델을 사용하던 방식에서 작업에 맞는 올바른 모델을 선택하는 방식으로 회사를 전환시켰습니다. 팀들은 가벼운 모델로 시작하여 작업 복잡도가 높아질수록 더 강력한 모델로 이동했습니다.

거버넌스를 지원하기 위해 회사는 관리자 설정을 통한 시스템 제어도 도입하여 부서 및 개인별 월간 사용량 한도를 설정했습니다. AID CoE는 사용량을 모니터링하고 비즈니스 필요에 따라 한도를 조정합니다.

이러한 통제 하의 내부 테스트는 선택 기준을 더 구체화하는 데 도움이 되었습니다. 가장 가벼운 모델인 GPT‑6 Luna는 요구사항이 명확한 코드 구현을 담당하고, GPT‑6.1 Sol은 표준 설계, 데이터 분석, 문서 준비를 지원하며, 가장 강력한 모델인 GPT‑6 Astra는 아키텍처 설계를 포함한 고급 판단을 담당합니다. 작업에 모델을 매칭하는 것이 점차 팀 전반의 공유된 실천 방식이 되었습니다.

서로 다른 작업을 위한 세 가지 모델 중 선택

모델 선택과 함께 회사는 기본적으로 Fast 모드를 제한하고, 필요한 경우에만 개별 요청을 허용하기 시작했습니다. 이 변경은 개발 속도에 대한 우려를 낳았지만, 팀들은 작업 병렬 실행과 같은 방식을 활용해 성능을 유지하고 원활하게 전환했습니다.

또한 부서, 그룹, 개인 수준에서 AI 지출에 대한 예산 상한을 도입했습니다. 기존 LegalOn 비즈니스에는 최대 약 20%까지 비용 효율성을 개선하도록 요청했고, 출시 단계의 신규 비즈니스에는 AI의 적극적인 활용을 장려하기 위해 넉넉한 예산을 제공했습니다.

LegalOn Technologies의 Senior Engineering Manager인 Yuta Tokitake는 신규 비즈니스가 비용 효율성보다 비즈니스 속도를 우선시했다고 설명합니다. 목적은 AI를 폭넓게 활용하여 산출량을 늘리고 궁극적으로 비즈니스 성장을 이끄는 것이었습니다.

모델 선택, 기능 제한, 각 비즈니스에 맞춘 예산이 결합되어 추정 일일 비용을 약 65% 절감했습니다. 이 접근 방식은 전체 예산을 통제하에 유지하면서 회사가 성장시키고자 하는 비즈니스에 리소스를 집중했습니다.

주요 결과 한눈에 보기

모델 최적화와 전략적 리소스 할당은 다음과 같은 결과를 가져왔습니다:

• 모든 작업에 최고 성능 모델을 사용하던 방식에서 작업 복잡도와 개발 단계에 따라 GPT‑6 Astra, GPT‑6.1 Sol 또는 GPT‑6 Luna를 선택하는 방식으로 전환.

• 기본적으로 Fast 모드를 제한한 후에도 병렬 작업 실행과 같은 팀 관행에 힘입어 개발 성능 유지.

• 성숙한 비즈니스에서 약 20%의 효율성 향상과 신규 비즈니스에 대한 적극적인 투자를 결합한 예산 상한.

• GPT‑6 및 6.1 모델 중 선택을 통해 GPT‑5.5 대비 추정 일일 비용 65% 절감.

기능 릴리스를 통한 AI 투자의 실제 ROI 측정

모델 최적화를 통해 회사는 개발 속도나 품질을 희생하지 않고 비용을 절감했습니다. 팀들은 또한 AI가 개발부터 릴리스까지의 주기를 꾸준히 단축하는 것을 경험하고 있습니다.

하지만 회사는 더 먼 미래를 내다보고 있습니다. 더 빠른 개발만으로 AI 투자가 성공이라고 할 수 있을까요? 더 빠른 개발과 고객 가치 사이의 연결고리는 여전히 불분명했습니다. "AI가 시스템 개발과 업데이트를 가속화할 수 있다는 것은 거의 당연한 사실입니다"라고 Tokitake는 말합니다. "우리가 정말로 이해하고 싶은 것은 그렇게 빨라진 개발이 실제로 고객 가치로 이어지는지 여부입니다."

이 질문은 회사가 자체 지표를 개발하도록 이끌었고, AI 투자 평가의 기준을 개발 속도와 사용량에서 고객 가치로 전환했습니다.

Tokitake는 다음과 같이 설명합니다: "AI를 사용할 때 개별 작업의 비용은 추적할 수 있지만, 완성된 작업 단위인 기능 릴리스의 총 비용은 종종 블랙박스로 남아 있습니다. 그래서 우리는 각 기능 릴리스를 하나의 단위로 측정하도록 설계했습니다. 릴리스가 제공하는 고객 가치를 여기에 투입된 실제 AI 비용과 연결함으로써, 투자 수익률을 가시적이고 정확하게 만드는 것을 목표로 합니다."

회사는 현재 이 지표를 계산하기 위한 파이프라인을 구축하고 있습니다. 완성되면 고객 가치 관점에서의 진정한 ROI를 가시화할 것입니다. LegalOn Technologies는 AI 비용 관리를 넘어 기술 투자와 비즈니스 가치를 직접 연결하는 단계로 나아가고 있습니다.

AI 시대를 위한 조직과 거버넌스 구축

다음 목표는 개별 엔지니어들의 AI 노하우를 조직 전체의 역량으로 전환하는 것입니다. 첫 단계로, 회사는 실무 경험을 수집하고 공유하기 위한 지식 베이스를 구축할 계획입니다. 이를 통해 설계, 구현, 리뷰에 가장 적합한 모델 조합과 같은 지식을 담아내고, 개인의 성공 사례를 신속하게 회사 전체의 모범 사례로 만들어 나갈 것입니다.

팀들의 실무 경험에 의해 주도된 이러한 변화는 조직과 채용에도 영향을 미치고 있습니다. AI가 가져온 생산성 향상은 회사가 사람과 AI 간의 업무 분장 방식과 인력 계획을 근본적으로 재고하도록 하고 있습니다. 회사는 투자 전략과 조직 구조가 진화함에 따라 이미 채용에서 AI 역량을 중시하기 시작했습니다.

AI 도입을 지속 가능한 경쟁 우위로 전환하려면 거버넌스와 팀의 자율성 사이의 균형을 지속적으로 다듬어야 합니다. AID CoE와 보안 팀은 여러 관점에서 성능, 비용, 리스크를 최적화하기 위해 협력하며, 조직 전반의 실험을 지원하는 유연한 프레임워크를 구축하고 있습니다.

"규칙과 예산을 통한 과도한 제약은 조직의 추진력을 약화시킬 수 있습니다. 우리에게 필요한 것은 리스크 관리와 팀에 필요한 속도를 효과적으로 균형 있게 조화시키는 유연한 운영 모델입니다."

OpenAI <3 startups