SPKE를 위해 AI의 도움을 받아 제작한 독창적인 콘셉트 일러스트입니다. 갈래는 재사용과 만료를 표현하며, 측정된 성능을 나타내지 않습니다.
실제 워크로드에서 출발하기
한 애플리케이션이 같은 문서에 관해 열 가지 질문을 처리합니다. 개발자는 캐시된 입력의 낮은 단가를 보고 청구액도 그만큼 크게 줄어들 것이라고 기대합니다. 하지만 여기에는 중요한 질문이 빠져 있습니다. 재사용 가능한 접두부가 실제로 캐시에 기록되었는가? 각 요청이 그 접두부와 일치했는가? 캐시가 만료되기 전에 재사용이 이루어졌는가?
우리의 결론은 가장 크게 내세우는 캐시 할인율이 아니라, 현실적인 요청 타이밍에서 품질 기준을 통과한 작업에 드는 비용을 비교해야 한다는 것입니다. 이 글은 날짜 표기가 없고 계속 업데이트되는 공식 문서를 2026년 10월 22일에 확인해 분석한 것이며, 계산에는 명시적인 가정을 사용했습니다. SPKE는 제공업체 간 벤치마크를 실행하지 않았습니다. 문서는 계속 업데이트되므로 확인일을 문서의 게시일, 발표일 또는 시행일로 해석해서는 안 됩니다.
중국과 미국의 API, 무엇을 비교해야 할까
미국의 OpenAI와 Anthropic, 중국의 DeepSeek은 서로 다른 제어 기능을 제공합니다. 제공업체의 출신 국가만으로 애플리케이션에 맞는 구성을 알 수는 없습니다. 정확한 모델, API, 캐시 유효 기간, 워크로드를 비교해야 합니다.
OpenAI의 현재 가이드는 GPT-5.6 이상과 이전 모델을 구분합니다. 최신 모델에는 할증된 캐시 쓰기 요금과 캐시 조회가 가능한 경계가 적용됩니다. 과거처럼 OpenAI의 캐시 쓰기에는 추가 요금이 없다고 일괄적으로 가정하는 것은 위험합니다. OpenAI 가이드
Anthropic은 캐시 유효 기간이 5분일 때와 1시간일 때 서로 다른 쓰기 요금을 명시하고 있으며, 읽기 요금도 모델마다 다릅니다. 따라서 제공업체 전체에 하나의 할인율을 적용하는 것만으로는 예산을 산정할 수 없습니다. Anthropic 요금
DeepSeek의 예시에서는 A+B 다음에 들어온 A+C가 캐시 적중에 실패한 뒤, 저장된 공통 부분 A를 활용해 A+D를 처리할 수 있게 됩니다. 같은 텍스트가 반복된다는 사실만으로는 충분하지 않습니다. DeepSeek 캐싱
이 차이를 보면 도입 과정에서 “어느 나라의 AI가 더 저렴한가?”보다 유용한 질문은 따로 있습니다. “필요한 품질을 유지하면서 우리의 실제 요청을 안정적으로 재사용하는 구현은 무엇인가?” 이것은 엔지니어링 관점의 비교이지, 국가별 기술 역량의 순위가 아닙니다.
단가 할인율과 청구액 절감률은 다르다
다음은 단순화한 계산이며, 실제 가격 견적이 아닙니다. 캐시 적용 대상인 완전히 동일한 접두부 하나만 고려합니다. 첫 쓰기를 포함한 전체 요청 수를 n, 일반 입력 요금 대비 쓰기 요금 배수를 w, 읽기 요금 배수를 r로 둡니다. 쓰기는 한 번이고 이후 n−1회는 모두 접두부 전체를 성공적으로 읽으며, 만료나 재기록은 없다고 가정합니다.
정규화한 단위로 계산하면 캐시를 쓰지 않을 때의 비용은 n, 캐시를 쓸 때의 비용은 w + (n−1) × r입니다. 0 ≤ r < 1일 때 n > (w−r)/(1−r)이면 캐싱이 더 저렴합니다.
가상의 값 w = 1.25, r = 0.1을 적용하면 열 번의 요청 비용은 10단위가 아니라 2.15단위입니다. 읽기 한 번의 단가는 90% 저렴하지만 접두부 비용 절감률은 78.5%입니다. w = 2, r = 0.1이면 절감 효과를 얻으려면 총 세 번 이상의 요청이 필요합니다. w = 1.25이면 두 번으로 충분합니다.
이는 이상적인 조건에서 접두부만을 계산한 손익분기점입니다. 동적 입력, 생성된 출력, 도구, 재시도, 반복 쓰기에 따라 작업 전체의 결과는 달라질 수 있습니다. 접두부 비용은 줄어도 추가 수정 작업이 필요해지는 구성이라면 전체적으로 손해일 수 있습니다. 예산을 산정하기 전에 가상의 배수를 해당 모델의 현재 요금으로 바꿔야 합니다.
재사용의 세 가지 형태
첫째는 유지된 기록에 대화를 순차적으로 추가하는 방식입니다. 둘째는 공통 문서에서 독립적인 질문들이 갈라져 나오는 방식입니다. 셋째는 재사용할 캐시가 준비되기 전에 병렬 배치를 시작하는 콜드 상태의 방식입니다. 반복되는 토큰의 양이 같다고 해서 이 워크로드들이 같은 것은 아닙니다.
Anthropic에서는 첫 응답이 시작된 이후에 캐시를 사용할 수 있으며, 5분의 캐시 유효 기간은 요청이 시작된 시점부터 계산합니다. 따라서 요청을 시작하는 타이밍과 긴 응답이 중요합니다. Anthropic 캐싱
설계할 때는 고정된 참조 자료와 매번 달라지는 질문을 분리하고, 경계를 일관되게 유지하며, 실제 요청 순서로 테스트하는 것을 권장합니다. 영향을 확인하지 않은 채 고정 콘텐츠 앞에 타임스탬프나 요청 ID를 넣지 마세요. 워밍업 호출도 무작정 추가해서는 안 됩니다. 호출 자체가 자원을 소모하고, 사용자가 후속 요청을 보내지 않을 수도 있기 때문입니다.
배포 전에 마련할 인수 검증 계획
품질 기준 충족을 확인한 동일한 작업 집합을 네 가지 조건에 적용합니다. 콜드 스타트, 캐시가 준비된 상태에서의 재사용, 현실적인 대기 간격, 동시 트래픽입니다. 이는 제안하는 테스트 계획이며, 우리가 실제로 수행한 실험이 아닙니다.
- 모델과 버전, API, 요청 구조, 캐시 설정, 서비스 등급을 기록합니다. 콘텐츠와 품질 기준은 서로 비교할 수 있도록 맞춥니다.
- 제공업체의 사용량 필드를 일반 입력, 캐시 쓰기, 캐시 읽기로 통일해 정리합니다. 합산 전에 각 필드가 무엇을 포함하는지 확인해 이중 계산을 피합니다. 입력의 캐시 적중·미스만 제공하는 업체에 대해 별도의 쓰기 요금을 임의로 만들어 넣지 않습니다.
- 실패한 시도, 출력, 도구를 포함해 품질 기준을 통과한 작업 한 건당 총비용을 계산합니다. 탈락한 작업도 보고하여, 비용이 싼 실패가 대표 지표를 좋게 보이도록 하지 않게 합니다.
- 첫 토큰까지 걸리는 시간과 전체 처리 시간을 측정하고, p95와 같이 지연이 큰 구간의 값도 포함합니다. 콜드 상태와 웜 상태의 결과는 분리해 보고합니다.
- 접두부 경계, 대기 간격, 동시 실행 수 등 한 번에 하나의 요인만 바꿉니다. 기준선을 유지하고 캐시 미스의 원인을 기록합니다.
무엇을 선택하고, 무엇을 추론하지 말아야 할까
품질과 지연 시간 요구사항을 충족하는 구성 중에서 실측한 작업 비용이 가장 낮은 것을 선택하세요. 높은 적중률만으로 성공을 판단할 수는 없습니다. 불필요하게 큰 프롬프트를 반복하면 적중률을 높이는 동시에 모든 작업의 비용도 쓸데없이 늘릴 수 있습니다.
중국과 미국의 API를 비교하는 팀에게 다른 비교에도 활용할 수 있는 자산은 재현 가능한 워크로드와 공통 기준으로 정리한 비용 장부입니다. 캐시된 토큰의 낮은 단가도 캐시 적중도 더 좋은 답변을 증명하지는 않습니다. 이 글이 제시하는 것은 의사결정 방법이지, 승리한 제공업체가 아닙니다.