LegalOn은 개발 속도를 유지하면서 코덱 비용을 절감합니다

LegalOn Technologies는 전 세계적으로 전문적인 AI를 제공하여 법률 업무 및 기타 중요한 비즈니스 기능을 지원합니다. 분야별 전문 지식과 AI를 결합함으로써 사람들이 복잡한 판단과 결정에 집중할 수 있게 합니다. 그 목표는 비즈니스 의사결정의 품질과 속도를 향상시키는 AI 기반 관리입니다.

이 접근 방식은 제품을 넘어 조직 자체를 AI 기반으로 만드는 데도 적용됩니다. 회사는 Codex를 개발 프로세스에 통합했고, 일상적인 사용을 통해 조직 전체의 도입이 확대되었습니다.

도입이 확산되면서 새로운 과제가 등장했습니다. 바로 비용 통제입니다. 고성능 모델의 무제한 사용은 지출을 증가시킬 수 있고, 전면적인 제한은 AI가 이룬 생산성 향상 효과를 저해할 위험이 있습니다.

개발 속도를 늦추지 않으면서 비용을 어떻게 줄일 수 있을까? LegalOn Technologies는 작업의 복잡성과 개발 단계에 따라 GPT‑6(Astra, Luna) 및 GPT‑6.1 Sol 중에서 선택하여, 각 비즈니스의 성장 단계에 맞는 예산을 설정함으로써 이 과제를 해결했습니다. 이로 인해 회사는 비용을 절반으로 줄였으며 개발 속도는 유지되었습니다.

개발 속도를 유지하고 비용을 줄이기 위해 모델을 최적화하는 것

회사는 처음에 개발자들에게 팩트 모델인 GPT-5.5의 빠른 모드를 무제한으로 사용할 수 있는 권한을 주었습니다. 그들은 이를 디자인, 구현, 일상적인 작업에까지 활용하며, 사람과 AI 간의 책임 분담 방법을 실험을 통해 배웠습니다.

하지만 무제한으로 고성능 모델을 계속 사용한다면 결국 연간 예산을 초과할 수밖에 없습니다. 회사의 AI 기반 개발 CoE(AID CoE)는 모델 선택에 대한 지침을 개발하기 시작했습니다. AID CoE는 모델을 테스트하고 모니터링했으며, 관리자들은 그 결과를 팀원들과 공유했습니다. 이로 인해 각 엔지니어는 각 작업에 가장 적합한 모델을 스스로 선택할 수 있게 되었습니다.

작업에 맞는 모델을 선택하고 전략적으로 리소스를 할당하기

새로운 지침에 따라 회사는 모든 작업에 가장 높은 성능을 가진 모델을 사용하는 방식을 버리고, 작업에 적합한 모델을 선택하게 되었습니다. 팀들은 초기에는 가벼운 모델로 시작하다가 작업의 복잡성이 증가함에 따라 더 고성능한 모델로 전환되었습니다.

거버넌스를 지원하기 위해, 회사는 관리자 설정을 통해 시스템 제어 기능도 도입했으며, 부서와 개인별로 월별 사용 한도가 설정되었습니다. AID CoE는 사용량을 모니터링하고 비즈니스 요구에 따라 한도를 조정합니다.

이러한 통제 하에 진행된 내부 테스트를 통해 선정 기준을 더욱 구체화할 수 있었습니다. 가장 가벼운 모델인 GPT‑6 Luna는 명확한 요구 사항에 따라 코드 구현을 처리합니다; GPT‑6.1 Sol은 표준 디자인, 데이터 분석 및 문서 작성을 지원합니다; 그리고 가장 능력이 뛰어난 모델인 GPT‑6 Astra는 아키텍처 설계를 포함한 고급 판단 작업도 처리합니다. 모델과 작업에 맞게 적합한 모델을 선택하는 방식은 팀 간에 공통된 관행이 되었습니다.

다양한 작업에 맞는 세 가지 모델 중에서 선택하기

모델 선택과 함께, 회사는 기본적으로 ‘패스트 모드’를 제한하기 시작했으며, 필요할 때만 개별 요청을 허용했습니다. 이 변화로 개발 속도에 대한 우려가 생겼지만, 팀들은 성능을 유지하고 원활하게 전환하기 위해 병렬로 작업을 실행하는 방식을 사용했습니다.

부서, 그룹, 개인 수준에서 AI 관련 지출에 대한 예산 상한이 도입되었습니다. LegalOn 사업체는 비용 효율성을 약 20%까지 향상해야 했으며, 출시 단계에 있는 신규 사업체들은 AI의 적극적인 활용을 장려하기 위해 충분한 예산을 받았습니다.

LegalOn Technologies의 수석 엔지니어 매니저인 유타 토키타케는 새로운 기업들이 비용 효율성보다 사업 속도를 우선시한다고 설명했습니다. 목표는 AI를 적극적으로 활용하여 생산량을 늘리고 궁극적으로 사업 성장을 이루는 것이었습니다.

모델 선택, 기능 제한, 각 비즈니스에 맞는 예산 설정을 함께 적용함으로써 예상 일일 비용을 약 65% 줄였습니다. 이 방식으로 전체 예산을 관리하면서도 회사가 성장하고자 하는 비즈니스에 자원을 집중할 수 있었습니다.

한눈에 결과

모델 최적화 및 전략적 자원 배분으로 다음과 같은 결과가 도출되었습니다:

• 모든 작업에 가장 적합한 모델을 사용하는 방식에서, 작업의 복잡성과 개발 단계에 따라 GPT‑6 Astra, GPT‑6.1 Sol, 또는 GPT‑6 Luna를 선택하는 방식으로 전환.

• 기본적으로 Fast 모드를 제한한 후에도 개발 성능이 유지되었으며, 병렬 작업 실행과 같은 팀의 관행으로 이를 지원합니다.

• 새로운 사업에 대한 적극적인 투자와 함께 성숙한 기업에서 약 20% 더 높은 효율성을 보이는 예산 상한선.

• GPT‑6 및 6.1 모델 중에서 선택함으로써 GPT‑5.5과 비교하여 일일 비용이 65% 감소합니다.

기능 출시를 통해 AI 투자의 실제 ROI를 측정하기

모델 최적화를 통해 회사는 개발 속도나 품질을 희생하지 않으면서 비용을 절감할 수 있었습니다. 팀들은 또한 AI 덕분에 개발부터 출시까지의 사이클이 점점 짧아지는 것을 경험하고 있습니다.

하지만 회사는 더 먼 미래를 바라보고 있습니다. 더 빠른 개발만으로 인공지능 투자가 성공할 수 있을까요? 더 빠른 개발과 고객 가치 사이의 연관성은 명확하지 않았습니다. “인공지능이 시스템 개발과 업데이트를 가속화할 수 있다는 것은 거의 당연한 일입니다,”라고 토키타케는 말합니다. “우리가 진정으로 알고 싶은 것은 그런 더 빠른 개발이 실제로 고객에게 가치를 창출하는지 여부입니다.”

이 질문으로 인해 회사는 자체적인 지표를 개발하게 되었으며, AI 투자 평가의 기준을 개발 속도와 사용량에서 고객 가치로 바꾸었습니다.

토키타케는 다음과 같이 설명합니다: “AI를 사용할 때는 개별 작업의 비용을 추적할 수 있지만, 전체 작업—특정 기능 출시—의 총 비용은 종종 알 수 없는 부분입니다. 그래서 우리는 각 기능 출시를 단일 단위로 바라보는 방식으로 측정 체계를 설계했습니다. 해당 출시가 고객에게 제공하는 가치를 실제 AI 투자 비용과 연결함으로써, 투자 수익률을 명확하고 정확하게 보여주고자 합니다.”

이 회사는 현재 이 지표를 계산하기 위한 파이프라인을 구축하고 있습니다. 완료되면 고객 가치 측면에서 실제 ROI가 명확해질 것입니다. LegalOn Technologies는 AI 비용 관리를 넘어 기술 투자와 비즈니스 가치를 직접 연결하는 방향으로 나아가고 있습니다.

AI 시대를 위한 조직과 거버넌스를 구축하기

다음 목표는 개별 엔지니어들의 AI 전문 지식을 조직 전체의 역량으로 전환하는 것입니다. 첫 단계로, 회사는 실용적인 경험을 수집하고 공유하는 지식베이스를 구축할 계획입니다. 이를 통해 설계, 구현, 검토에 대한 최적의 모델 조합과 같은 지식을 수집하여 개별적인 성공 사례를 즉시 조직 전체의 모범 사례로 전환할 것입니다.

팀들의 실제 경험에 의해 주도되는 이러한 변화들은 조직과 채용 방식에도 영향을 미치고 있습니다. AI 기반의 생산성 향상은 회사가 사람과 AI 간의 업무 분담 방식과 직원 계획을 근본적으로 재검토하도록 촉구하고 있습니다. 투자 전략과 조직 구조가 발전함에 따라, 이미 채용 과정에서 AI 기술을 강조하기 시작했습니다.

AI 도입을 지속적인 경쟁 우위로 전환하려면 거버넌스와 팀의 자유로운 행동 사이의 균형을 지속적으로 조정해야 합니다. AID CoE와 보안 팀은 여러 관점에서 성능, 비용, 위험을 최적화하기 위해 함께 협력하며, 조직 전체에서 실험을 지원할 수 있는 유연한 프레임워크를 구축하고 있습니다.

규칙과 예산으로 인한 과도한 제약은 조직의 추진력을 저하시킬 수 있습니다. 우리가 필요한 것은 위험 관리와 팀이 요구하는 속도를 효과적으로 균형시키는 유연한 운영 모델입니다.

OpenAI <3 스타트업들