D1net이 주최하는 2026년 가을 중앙국유기업 CIO 및 디지털 기술 회사 고위 관리자 서밋(제19회)에서, 실리콘 기반 흐름 솔루션 총괄인 탕안포가 서밋에 참석하여 주제 발표를 했습니다. 주제는 “‘컴퓨팅 능력’에서 ‘토큰 생산성’까지: 중앙국유기업 대규모 모델의 확산을 위한 추론 인프라 및 ROI 실천”입니다. 다음은 발표 내용의 핵심입니다.
현재 AI 애플리케이션은 폭발적인 성장의 초기 단계에 있으며, 토큰 소비량은 지수적으로 증가하고 있습니다. 이 배경에는 모델 아키텍처가 지속적으로 발전하며 버전 업데이트 속도가 빠르고, 컴퓨팅 파워 아키텍처도 꾸준히 진화하고 있습니다. 모델과 컴퓨팅 파워 사이에는 서로를 촉진하는 반복 과정이 존재합니다. 기업에게는 한편으로 이러한 변화에 적응해야 하고, 다른 한편으로는 자사의 비즈니스 환경에 맞는 다양한 모델 서비스를 제공하며 비용을 합리적인 범위 내로 유지해야 합니다.
실리콘 기반 흐름이 하는 일은 컴퓨팅 능력과 토큰 사이의 전환층을 연결하는 것입니다. 즉, 컴퓨팅 능력을 통합적으로 관리하고, 자체 개발된 추론 엔진을 통해 모델을 더 빠르고 더 잘 작동하게 만드는 것입니다. 우리는 공공 클라우드에서 토큰 공장을 구축하는 동시에, 중앙 국유 기업들이 자체 토큰 공장을 만들 수 있도록 지원하고 있습니다.
간단히 말해, 체계화된 추론 공정을 통해 모델과 연산 능력의 다중 적합성을 잘 구현해야 합니다. 이에 기반하여 실리콘 기반 유동성은 토큰 생산력 핵심 공식을 제시합니다: 토큰 생산력 = 생산 능력 × 활용률 × 전달 품질. 여기서 생산 능력은 칩 하드웨어 능력과 모델 최적화 수준에 의해 결정되며, 활용률은 트래픽 관리와 연산 능력 스마트 조정에 의해 실현됩니다. 전달 품질에는 모델 추론 정확도, 도구 호출 등 작업 실행 성공률, 그리고 생산 환경에서 필수적인 SLA 서비스 안정성이 포함됩니다.
통합 관리에서 모델 운영으로 전환하여, 컴퓨팅 파워 활용률을 실제로 높이는 것
우리는 비즈니스와 트래픽의 관점에서 4단계 분리 아키텍처를 설계했습니다. 모델 운영, 모델 유지보수, 추론 실행 및 연산력 배치를 연결하여, 모델이 배포, 가속화, 서비스 배치 등 전 생애 주기의 각 단계를 커버합니다. 계층별 분리 아키텍처 설계는 중앙 국유 기업의 기존 플랫폼 구조에 적응하고 중복 구축을 피하기 위한 것입니다. 만약 기업이 이미 자체 연구 능력을 갖고 있다면, 기존 시스템과 연동하여 처음부터 다시 시작할 필요 없이 '능력 조합' 방식으로 필요한 역량을 직접 보완할 수 있습니다.
모델 게이트웨이: 입구일 뿐만 아니라 모델 운영 플랫폼이기도 합니다.
이 계층은 모델 서비스의 사용자, 즉 각 지역의 모듈 회사 및 하위 그룹에 직접 접근합니다. 모든 대형 모델 호출은 이 계층을 통해 측정, 요금 부과, 인증 등 기본 작업이 완료됩니다. 더욱 중요하게는, 다양한 스케줄링 및 라우팅 전략도 제공합니다. 예를 들어, 서로 다른 비즈니스 상황에서 요구되는 응답 시간에 따라 요청을 해당 모델 서비스로 라우팅하여 업무 간의 방해를 최소화하고 각 당사자가 만족스러운 SLA를 얻을 수 있도록 합니다. 또한 성능 우선, 비용 우선 등 다양한 목표에 따라 유연하게 스케줄링을 지원합니다.
모델 서비스 플랫폼: 배포 및 운영의 최선의 방식을 기업에 제공합니다.
이 레이어는 운영 유지보수 관점에서 모델 배포, 모델 저장소 등의 기능을 관리합니다. 우리는 모델 배포의 모범 사례를 포함하여 기업이 한 번의 클릭으로 모델을 사용할 수 있도록 합니다. 매번 다시 적응 작업을 하는 것이 아니라죠. 우리는 이미 거의 100종류의 모델에 적응했으며, 새로운 주요 모델도 지속적으로 적응 중입니다. 목표는 비즈니스 팀이 즉시 사용할 수 있도록 하는 것입니다.
고성능 추론 프레임워크: 구체적인 모델과 하드웨어를 위한 최적화 반복.
우리는 다양한 연산력 공급업체와 심도 있는 협력을 진행하며, 구체적인 모델과 연산력에 따라 자체적으로 연산자 라이브러리와 통신 라이브러리를 개발하여, 해당 하드웨어에서 모델의 성능을 최대한 발휘하도록 합니다. 예를 들어, 화웨이 클라우드와 협력하여 국산 칩을 기반으로 한 DeepSeek R1/V3 Token 서비스를 업계 최초로 출시했으며, CloudMatrix 초노드 클러스터를 위한 추론 솔루션을 공동으로 개발 및 최적화했습니다. DeepSeek-R1에서는 단일 카드의 Decode 처리량이 1,920 tokens/s를 넘는 것을 실현했습니다; 또한 무시 C550 클러스터를 기반으로 한 Kimi-K2 대형 모델의 상업적 서비스 배포를 전 세계에서 처음으로 시작했습니다; 모어 스레드 MTT S5000 칩을 이용하여 DeepSeek-V3를 배포함으로써 단일 카드의 Prefill 처리량이 4000 tokens/s, Decode 처리량이 1000 tokens/s를 넘는 것을 실현했습니다.
동시에 우리의 추론 기술도 지속적으로 발전하고 있습니다. 모델이 처리하는 작업의 컨텍스트가 증가하고 동시 처리 능력이 향상됨에 따라, 연산자 최적화, 통신 최적화, 모델 양자화 등과 같은 추론 프레임워크를 지속적으로 최적화해야 합니다. 또한 PD 분리 및 KV Cache 분급 언로드와 같은 방법을 결합하여 모델 추론의 전반적인 성능과 처리 능력을 전면적으로 향상시킵니다.
처리 능력 스케줄링: 처리 능력 자원의 유연한 관리.
탄력적인 컴퓨팅 파워 조정은 추론 비용을 줄이고 컴퓨팅 파워 활용 효율을 높이는 핵심 요소입니다. 하지만 컴퓨팅 파워 계획은 종종 딜레마에 직면합니다. 너무 보수적으로 예측하면 곧바로 전력이 가득 차거나 과부하가 발생할 수 있고, 낮 시간대의 최고치로만 설정하면 다른 시간대에 자원이 낭비될 수 있습니다. 따라서 탄력적인 확장/축소 전략과 운영 방안이 모두 필요합니다.
예를 들어, 중앙 국유 기업이 각 자회사에 모델 서비스를 제공할 때, 내부 결제에서 시간대별 가격 책정을 적용할 수 있습니다. 낮에는 정상적인 가격으로, 밤에는 할인을 제공하여 일부 업무를 밤 시간에 운영하도록 유도할 수 있습니다. 각 업무는 서로 다른 모델을 사용할 수 있으므로, 플랫폼은 요청 큐, 성능 등 다양한 지표를 기반으로 모델 인스턴스를 동적으로 조정할 수 있어야 합니다.
중국 국유기업 사례: “기계 임대”에서 “모델 서비스 호출”로 전환
우리는 한 중앙 국영 기업 그룹에 서비스를 제공했는데, 처음에는 약 50대의 기계가 있었고, 하위 자회사들에게 서비스를 제공했습니다. 초기의 서비스 방식은 매우 직접적이었으며, 각 자회사들이 기계를 신청하고 자신이 사용할 모델을 배포하는 방식이었죠. 말하자면 “기계를 임대하는” 형태였습니다.
이렇게 되면 모델 인스턴스가 40~50개나 생성되지만, 전체 컴퓨팅 성능의 활용률은 매우 낮습니다. 일부 단위는 기계를 사용한 후에 단 하나의 모델만 배포합니다; 또 다른 단위는 낮에는 사용하고 밤에는 사용하지 않습니다; 또 다른 단위는 주마다 며칠만 사용합니다. 기계가 차지되고 있지만 지속적으로 유효한 작업负载이 생성되지 않습니다.
우리는 고객과 깊이 협력하여 위와 같은 현황을 개선했습니다: 모델이 통일되고, 컴퓨팅 능력도 통일됩니다. 중복되는 모델을 약 열 개으로 통합하고, 기계에 따른 리소스 할당 방식을 Serverless 모델 서비스로 바꾸어 모두가 API를 공통으로 호출하게 되었습니다. 이제 모델이 어디에 배포되고 어떤 기계를 사용하는지에 대해 신경 쓰지 않아도 됩니다.
이렇게 하면 약 50대의 기계로도 더 많은 일을 할 수 있습니다. 예를 들어, 일부 기계를 기존의 작은 모델을 운용하는 데 사용한 후, GLM-5.2, DeepSeek-V4-Flash-0731과 같은 새로운 대규모 매개변수 모델을 배포할 수 있는 기계를 더 확보할 수 있습니다. 과거에는 이러한 모델이 그룹 내에서 운용될 조건이 없었습니다. 하지만 실제로 대규모 매개변수의 새로운 모델은 비즈니스 탐색에 매우 중요합니다. 모델의 지능의 한계가 애플리케이션 혁신의 한계도 결정하기 때문입니다. 모델 수렴과 컴퓨팅 능력 집중 관리를 통해 우리는 이러한 모델을 배포했으며, 성능 최적화와 함께 더 많은 시나리오가 “사용 불가”에서 “사용 가능”으로, “탐색 가능”에서 “대규모 운용 가능”으로 변했습니다.
원래 비즈니스 측의 가장 큰 걱정은 이렇습니다: 탐색 작업이나 에이전트를 만들는 것은 문제없지만, 규모화된 서비스로 전환할 수 있을까? 더 많은 호출을 처리할 수 있을까? 모두 마음속에 의문이 생깁니다. 새로운 모델이 서비스에 도입된 후, 단일 동시 접속에서 많은 동시 접속까지의 테스트에서 출력 속도는 전체적으로 30 tokens/s 이상을 유지했습니다. 프로그래밍을 예로 들면, 30TPS를 초과하는 것은 좋은 사용 경험을 얻기 위한 기본 요건입니다. 같은 모델을 비교 테스트한 결과, 성능이 40%에서 100%까지 향상되었습니다. 물론, 다양한 입력과 출력 길이에 따라 수익은 달라집니다.
전반적으로, 첫째 모델의 처리 능력이 향상되었고, 둘째 연산 능력의 활용도가 높아졌습니다. 이 두 가지가 합쳐지면, 백만 토큰당 비용에 반영됩니다. 이는 많은 기업들이 추론 서비스의 효율성을 측정하는 지표입니다. 이 사례에서 원래 Qwen 모델의 백만 토큰당 비용은 100여 위안이었지만, 조정 후에는 10위안 이하로 낮아졌습니다. 비용이 현저히 감소했지만, 가장 중요한 것은 원래 실현하기 어려웠던 비즈니스 시나리오가 더 많이 가능해졌다는 점입니다.
ROI를 더욱 향상시키고, 애플리케이션과 인프라를 함께 최적화하기
에이전트가 대규모로 도입됨에 따라, 우리는 한 가지 문제를 관찰했습니다. 애플리케이션 층과 인프라 층 사이에 일정한 단절이 존재합니다. 과거에는 애플리케이션을 개발할 때, 주로 프론트엔드를 담당하는 개발자들도 데이터베이스 인덱스와 SQL 최적화에 대해 어느 정도 이해를 가지고 있었습니다. 하지만 현재는 대형 모델 애플리케이션과 인프라 층의 구분이 명확해졌으며, 애플리케이션 측은 기반의 추론 및 캐시 메커니즘을 충분히 이해하지 못하는 경우가 많습니다. 이는 효율성에 직접적인 영향을 미칩니다.
코딩을 예로 들면, 우리는 고객과 함께 이러한 최적화를 탐구하고 있습니다. 중국 국유 기업의 소프트웨어 공학은 오늘에 한 앱을 만들고 내일에 또 다른 데모를 하는 것이 아니라, 수년에 걸쳐 지속적으로 업데이트되는 것입니다. 코드 저장소는 끊임없이 업데이트되며, 매일 코드를 제출하고 빌드를 진행하는 것도 장기적인 프로젝트의 일부입니다. 이러한 코드가 모델의 컨텍스트로 어떻게 구성되는지는 매우 중요합니다.
콘텐츠 구조가 잘 구성되지 않으면 각 요청마다 캐시에 도달하지 못하고, 수십만 개의 토큰을 입력하는 것은 많은 연산 능력을 소모하게 됩니다. 하지만 구조가 잘 되면 약 90%의 내용이 캐시에 도달할 수 있어 효율적인 차이가 나타납니다. 예를 들어, 캐시에 도달하지 않는 경우 시스템은 100개의 동시 접속을 지원할 수 있지만, 캐시 도달률이 높아지면 200개의 동시 접속을 지원할 수 있습니다. 이 향상은 하드웨어를 증가시키는 것이 아니라 중복 계산을 줄이는 것입니다. 따라서 Context 구축 자체도 추론에 맞게 최적화해야 합니다.
또 다른 방향으로는, DevOps를 활용한 최적화가 있습니다. 컴퓨팅 능력의 사용량에는 기복이 있으며, 낮 시간대에는 모두 컴퓨팅 능력을 사용하지만 코딩 작업의 입력 길이도 길습니다. 모든 코드를 낮 시간에 요청이 들어올 때까지 처리하고 캐시를 생성하는 방식으로 하면, 높은 사용량 시기에 많은 컴퓨팅 능력을 소비하게 됩니다. 그렇다면 매일 밤의 일상적인 빌드 과정에서 엔지니어링 기법을 활용하여 모델이 코드 저장소를 사전 처리하고, 해당 결과를 KV Cache에 미리 저장할 수 있을까요? 이렇게 하면 낮 시간에는 반복적인 계산이 필요하지 않아집니다. 이러한 방법들은 컴퓨팅 능력의 활용도를 더욱 높일 가능성이 있습니다. 하지만 이러한 능력은 우리가 시나리오 제공자와 함께 탐색해야 합니다.
실리콘 기반 흐름은 중국 국영 기업들과 함께 더 많은 AI 적용 사례를 탐색하여 진정한 계산 능력과 생산력을 발휘하고자 합니다.
레이펑넷(공식 계정: 레이펑넷) 레이펑넷