윈중(允中) 아오페이스(凹非寺) 발量子位 | 공식 계정 QbitAI
GPU 클러스터에서는 요청 대기열과 자원 유휴 상태가 동시에 발생할 수 있습니다.
2026 CCF 전국 고성능 컴퓨팅 학술대회 기간에 是石科技가 신제품을 발표했습니다.TokenFleet 분산 스케줄링 프레임워크로, 요청 라우팅, 데이터센터 간 용량 협업, 혼합 워크로드 거버넌스에 최적화의 초점을 두고 기존 연산력의 유효 산출량을 높이려 시도합니다.
추론 서비스를 하나의 “국산 Token 최적화 공장”으로 본다면, GPU는 생산 설비, 추론 인스턴스는 작업대, 비즈니스 요청은 한 장 한 장의 주문서입니다. TokenFleet이 담당하는 것은 바로 주문과 생산 능력을 매칭하는 일입니다.
같은 설비라도 맡은 작업과 할당 방식이 다르면 최종 대기 시간과 기준 충족 산출량도 달라집니다. 규모화된 서비스는 이러한 생산 일정을 함께 고려해야 합니다.
TokenFleet은 클러스터의 유효 산출량에 집중
모델 배포가 완료된 후에도 클러스터는 다양한 비즈니스를 동시에 처리해야 합니다.
여러 모델이 연산력을 공유하고, 서로 다른 테넌트는 각자의 서비스 등급 요구가 있습니다. 짧은 대화는 즉시 응답해야 하고, 긴 문서 처리는 더 많은 연산과 메모리를 필요로 하며, 오프라인 배치 작업에는 완료 기한이 있습니다. 서비스가 여러 데이터센터에 분산되어 있을 경우에는 각지의 용량이 협업할 수 있는지도 고려해야 합니다.
단순 트래픽 분산은 일부 인스턴스에 긴 대기열을 만들면서 다른 위치의 용량은 제때 활용되지 못하게 할 수 있습니다. 긴 요청과 배치 작업이 서로 밀어붙이면 실시간 상호작용이 느려지고, 타임아웃, 취소, 중복 계산은 자원을 소모하면서도 정상적인 인도를 만들지 못합니다.
TokenFleet은 모델 품질, 서비스 요구, 연산력 예산이 일치하는 조건에서,유효 Token 산출량을 높이고 단위 유효 산출량당 비용을 낮춘다。
TokenPilot은 동일 모델 풀 내에서 인스턴스를 선택하고, FleetMind은 데이터센터 간 용량 협업을 담당하며, SLOMax는 혼합 워크로드의 어드미션, 대기열 거버넌스, 용량 할당을 담당합니다. 세 가지 핵심 기술은 각자 분업이 있습니다.
요청을 누구에게 보낼지, 작업을 언제 큐에 넣을지, 데이터센터 용량을 어떻게 협업시킬지, 결국 모두 같은 지표로 돌아갑니다. 바로 성공적으로 완료되고 서비스 요구를 충족하는 유효 Token 산출량입니다.
△그림 1 TokenFleet 세 가지 핵심 스케줄링 기술 총람TokenPilot은 캐시 수익과 대기 비용을 함께 계산
먼저 요청 라우팅부터 살펴보겠습니다. 하나의 요청은 어떤 인스턴스로 보내야 할까요?
짧은 질의응답 한 문장과 긴 문서 한 건은 둘 다 한 번의 요청이더라도 소모되는 연산과 메모리가 크게 달라질 수 있습니다. 요청 수만으로 트래픽을 분산하면 각 인스턴스의 실제 작업량을 균형 있게 맞추기 어렵습니다.
캐시는 이 문제에 한 층의 트레이드오프를 더합니다. 동일한 긴 접두어를 가진 요청이 관련 KV 캐시를 보유한 인스턴스로 보내지면 이전 계산 결과를 재사용할 기회가 생겨 Prefill, 즉 입력 내용을 처리할 때의 중복 계산을 줄일 수 있습니다.
하지만 캐시 히트율이 높은 인스턴스는 대기 시간이 길어질 수도 있습니다. 요청이 한곳에 몰리면 절약한 계산 시간이 대기에 소모될 수 있습니다.
TokenPilot은 라우팅 시,캐시 재사용 수익과 대기 비용을 동시에 추정합니다. 입력 규모, 출력 예산, 재사용 가능한 접두어를 결합해 작업량을 추정하고, 다시 대기열, 처리 중 Token, KV 캐시 압력, 예측 지연을 종합하여 후보 인스턴스를 필터링하고 점수를 매깁니다. 출력 예산은 제약 조건이며 실제 출력 길이를 의미하지 않습니다.
스케줄러는 이를 바탕으로 서로 다른 인스턴스의 예상 처리 비용을 비교하여, 캐시 재사용으로 절약한 계산이 추가 대기를 상쇄할 수 있는지 판단합니다.
△그림 2 TokenPilot 지능형 추론 라우팅 프레임워크是石科技가 제공한 GLM5.3 튜닝 데이터에 따르면, 테스트된 그래픽카드 클러스터와 부하 조건에서 예측 지연 라우팅을 적용한 후,P95 첫 Token 지연 32.4% 감소, P50 첫 Token 지연 71.3% 감소。
△표 1 TokenPilot 첫 Token 지연 튜닝 결과. 데이터 출처: 是石科技 컨퍼런스 발표 자료. 개선율은 (기준값－최적화값)÷기준값으로 계산; 지연 감소는 곧 비용 감소를 의미하지 않습니다.
P50은 중위 수준을 반영하고, P95는 꼬리 요청의 대기 상황을 반영합니다. 이 수치 집합은 측정된 조건에서의 응답 개선을 보여주는 것이며, 비용 대비 이점은 여전히 처리량과 자원 사용량을 결합하여 평가해야 합니다.
FleetMind은 데이터센터(기계실) 간에도 서비스 용량을 계산해야 한다
시각을 하나의 모델 풀에서 여러 기계실로 넓히면, 스케줄링에는 용량 판단이라는 층위가 하나 더 추가됩니다.
유휴 GPU가 있다고 해서 반드시 곧바로 요청을 받을 수 있는 것은 아닙니다. 대상 모델이 배포되어 있는지, 버전이 일치하는지, 서비스 엔드포인트가 준비되었는지, 그리고 네트워크 전송에 얼마나 시간이 걸리는지가 모두 트래픽 분산 효과에 영향을 줍니다.
FleetMind이 주목하는 것은실제 사용 가능한 모델 서비스 용량입니다. TokenFleet의 설계에서는 각 기계실의 모델 가용성, 실시간 용량과 네트워크 상태를 취합하여 먼저 실행할 기계실을 선택하고, 그 기계실의 로컬 의사결정 엔진이 구체적인 추론 인스턴스를 선택합니다.
핫스팟 기계실에 대기열이 생기기 시작하면, 시스템은 다른 기계실에 동일 버전 모델의 준비된 엔드포인트가 있는지, 서비스 여력이 아직 남아 있는지 평가한 후, 지역 간 실행을 허용하는 새 요청을 처리할 수 있는지 판단합니다.
분류하여 보낼 수 있는지 여부는 먼저 권한과 데이터 지역 제약 조건을 충족해야 합니다. 분류해서 보낼 가치가 있는지는 원본 서버 회신 지연, 대기, 연산, 캐시 및 전송 비용을 종합적으로 비교해야 합니다.
용량 협력에도 서로 다른 시간 단위가 있습니다. 단기 주기로는 새 요청의 경로를 조정하고, 장기 주기로는 모델 복제본과 워밍업 위치를 조정하며, 용량 예약, 부负荷 상한 인지와 자동 롤백을 결합하여 용량 불일치를 줄입니다.
△그림 3 FleetMind의 데이터센터 간 실행 프레임워크. 설명: A지는 비즈니스 입구이며 GPU 용량 풀에 포함되지 않고, B지는 기존 클러스터이며 C, D지는 확장 데이터센터입니다.
TokenPilot과 SLOMax는 기존 클러스터를 대상으로 하고, FleetMind는 이후 신규 추가되는 연산 데이터센터의 확장을 대상으로 합니다. 데이터센터 간 협력의 목표는 비즈니스 제약 조건을 충족하는 분산 용량이 핫스팟 수요를 처리하게 하여 용량 불일치와 중복 예약을 줄이는 것입니다.
SLOMax의 서비스 요구 사항에 따른 운영 배치
요청은 동일한 클러스터로 들어오지만, 전달 요구 사항은 저마다 다릅니다.
실시간 대화는 첫 Token 응답과 지속 생성 속도를 중시하고, 긴 컨텍스트 작업은 입력 처리 능력과 KV 용량에 더 의존하며, 오프라인 배치 작업은 완료 기한과 처리량을 중시합니다. 이들을 하나의 큐에 넣으면 자원 경쟁이 발생하기 쉽습니다.
긴 Prefill, KV 용량 압박과 배치 부하는 모두 인터랙티브 요청을 압박할 수 있습니다. 타임아웃, 취소와 반복 실행으로 인해 일부 연산이 유효한 전달로 전환되지 못할 수도 있습니다.
SLOMax는 입력 길이, 출력 예산, 작업 유형과 테넌트 서비스 목표를 결합하여 워크로드를 식별한 후, 등급별 입장 허가, 풀별 대기열 배치와 용량 조정을 수행합니다. 인터랙티브 용량을 보장하고, 길고 짧은 요청의 동시성과 상호 간섭을 제어해야 합니다.
△그림 4 SLOMax의 분류 큐와 용량 피드백 프레임워크. 설명: 효과 피드백은 용량과 입장 허가를 조정하는 데 사용되며, 프레임워크는 실행 중인 작업에 대한 선점 기능을 미리 가정하지 않습니다.
이러한 스케줄링 효과를 측정함에 있어 TokenFleet는 기준 충족 산출량을 최적화 목표로 삼습니다.
Goodput, 즉 기준 충족 출력 처리량이란 완전한 테스트 기간 내에 성공적으로 완료되고 약정된 서비스 요구 사항을 충족한 요청이 생성한 출력 Token 총량을 테스트 시간으로 나눈 값을 계산합니다. 서로 다른 작업 카테고리는 각각 기준 충족 임계값을 정의하고 결과를 보고해야 합니다.
시스템은 기준 충족 처리량, 실패, 취소와 반복 실행 상황을 스케줄링 정책에 피드백하여 입장 허가와 용량 비율을 지속적으로 조정합니다. GPU가 얼마나 바쁜지, 총 처리량이 얼마나 높은지 모두 최종 합격 전달량과 함께 봐야 합니다.
是石科技(메타스톤)이 제시한 GLM5.3 수익 추정 예시에서, 흐름 제어 협력 스케줄링을 채택한 후 총 출력 처리량이 약 1.5% 증가했으며,기준 충족 출력 처리량이 약 29.4% 향상되고,기준 충족 비율이 약 67%에서 약 86%로 상승했습니다.
△표 2 SLOMax의 유효 Token 처리량 수익 추정 예시. 데이터 출처: 是石科技 대회 발표 자료. 본 표는 수익 추정 예시이며, 기준 충족 비율은 원문의 정수값을 따르고 변화는 약 19 퍼센트포인트입니다.
이 수치들은 수익 추정에 속하며, 스케줄링이 개선하고자 하는 산출 구조를 보여줍니다. 실제 수익은 여전히 구체적인 부하와 서비스 임계값을 결합하여 검증해야 합니다.
동일한 규모의 총 산출량이라도 타임아웃, 취소와 중복 연산을 줄일 수 있다면 더 많은 기준 충족 Token을 전달할 기회가 있습니다. SLOMax는 이러한 결과를 피드백에 포함하여 이후 자원 배분 조정에 사용합니다.
국산 Token 최적화 팩토리의 효율은 스케줄링도 봐야 합니다
TokenFleet는 추론 서비스 최적화를 클러스터 수준으로 추진했습니다. 인스턴스 성능을 어떻게 서로 다른 요청에 배분할지, 여러 데이터센터의 용량을 어떻게 서비스에 참여시킬지 모두 스케줄링이 자원과 비즈니스 요구 사항을 연결해야 합니다.
是石科技(METASTONE)은독립 서드파티 풀스택 연산력 운영업체로, 특정 대형 모델 벤더에 종속되지 않으며 고객에게하드웨어, 네트워킹, 스케줄링, 최적화와 운영을 아우르는 원스톱 풀스택 연산력 전달 서비스。
를 제공합니다. 국가급 컴퓨팅 센터에서 축적한 풍부한 경험을 바탕으로, 그 연산 클러스터 운영 SLA는 99.95% 이상에 달합니다. 현재 是石科技는 20000P+ 이상의 연산 자원을 관리하며 10여 개의 초지능 컴퓨팅 센터를 운영하고 있으며, 그중 2개는 국가급 슈퍼컴퓨팅 센터입니다. 팀 구성원들은 고든 벨상(Gordon Bell Prize)을 3회 수상한 이력이 있어 초대규모 클러스터의 풀스택 기술 서비스 경험을 축적했습니다.
국산 Token 최적화 팩토리를 둘러싸고, 是石科技는 자체 개발·자체 사용으로 소프트웨어 역량을 지속적으로 다듬어, 범용적이고 고빈도인 추론 서비스를 더 경제적으로 만들고 국산 연산력이 더 많은 역량을 발휘하길 희망합니다.
이전에 발표된 Meta-Infer 고효율 추론 엔진은 단일 추론 인스턴스의 실행 효율 향상에 주력했습니다. 이번 TokenFleet는 초점을클러스터 스케줄링에 두고, 요청 배분, 용량 협력과 혼합 부하 관리를 통해 규모화된 서비스를 조직합니다.
더 많은 비즈니스가 Token을 부담 없이, 잘 사용할 수 있게 하려면 하드웨어가 연산력을 제공해야 할 뿐만 아니라 소프트웨어가 생산 능력을 조직해야 합니다.
TokenFleet는 추가 최적화의 방향을 모든 요청이 어떻게 할당되고, 모든 용량이 어떻게 사용되는지에 두었다.
*본 기사는 챠량쥐(量子位)의 승인을 받아 게재되었으며, 견해는 원저자의 것임.