제공업체별 캐시 히트율과 작업당 비용은 이제 인공 분석에서 실시간으로 제공됩니다: GLM-5.3(최대)의 작업당 비용은 제공업체별로 약 9배 차이가 있으며, 이는 캐시 히트율과 토큰 가격의 조합에 의해 결정됩니다.
에이전트형 워크로드는 각 턴마다 전체 대화 기록을 재전송하므로, 대부분의 입력 토큰은 캐시될 수 있습니다. 캐시 가격과 캐시 히트율이 작업당 비용의 차이를 크게 만듭니다. 우리는 이미 측정된 캐시 히트율을 이용하여 작업당 비용을 계산하고 있으며, 현재는 추적하는 각 모델 엔드포인트에 대해 이를 공개하고 있습니다.
새로운 기능:
➤ 첫 번째 및 제3자 엔드포인트 모두에서 캐시 히트율이 표시되며, 이는 다중 턴 에이전트 코딩 작업을 수행하고 각 제공자의 사용 응답에서 캐시된 토큰을 읽어서 측정됩니다. 캐시 히트율은 캐시 가능한 입력 토큰 중 캐시에 제공되는 비율입니다.
➤ 오픈 웰스 모델의 경우 제공자별로 비용이 제공되며, 각 제공자의 입력, 출력, 캐시 히트 및 캐시 쓰기 가격을 기반으로 측정된 캐시 히트율에 적용됩니다. 특정 모델에 대해 제공자 간의 표준화를 위해, 모델의 Intelligence Index 실행에서 얻은 동일한 입력, 출력 및 캐시 가능 토큰 수를 사용합니다.
주요 요점:
➤ GLM-5.3에서의 작업당 비용은 제공자별로 약 9배의 차이가 있으며, Makora는 $0.92, Nebius는 $8.68입니다. 두 서비스 모두 캐시 가능한 입력의 거의 모든 부분을 캐시 처리하며(각각 98%와 100%), 출력 가격은 $4.40/1M 토큰으로 동일합니다. 따라서 차이가 발생하는 곳은 입력 비용입니다: Makora는 1M 캐시된 입력 토큰당 $0.10을 부과하는 반면, Nebius는 공유 서버리스 엔드포인트에서 캐시된 입력을 할인하지 않고 모든 입력을 $1.40로 청구합니다.
➤ 21개 제공자(25개 엔드포인트)의 캐시 히트율은 41%에서 100%까지 다양합니다. 15개 엔드포인트는 98% 이상이며, 8개는 100%입니다: Modal, DeepInfra, Parasail, Together AI, DigitalOcean, Nebius, Novita 및 Z AI의 첫 번째 파티 API가 해당됩니다. Multiverse Computing은 41%로 가장 낮고, Bitdeer은 50%입니다.
