
SPKE 原创 AI 辅助概念插图。分支表示复用与过期,不是实测性能图。
从工作负载开始,而不是从折扣开始
一个应用围绕同一份文档连续提出十个问题。开发者看到很低的缓存输入价格,便期待账单也能大幅缩水。但这里跳过了几个关键问题:可复用的前缀是否真正写入?后续请求是否匹配?复用是否发生在缓存过期之前?
我们的判断是,应比较真实请求节奏下,每项合格任务的成本,而不是最大的缓存折扣。本文基于截至 2026 年 10 月 22 日核查的官方文档,并包含明确标注的假设计算。SPKE 没有开展供应商性能实测。这些文档没有注明固定发表日期,会持续更新;核查日期不代表公告日期或生效日期。
怎样做有意义的中美比较
美国供应商 OpenAI、Anthropic 与中国供应商 DeepSeek 提供的控制方式不同,但总部所在地并不能替应用选出合适配置。应比较具体模型、API、缓存时长与工作负载。
OpenAI 当前文档将 GPT-5.6 及后续模型与较早模型分开说明:新一代模型存在缓存写入溢价,并按合格查找边界匹配。因此,不能再笼统地假定 OpenAI 缓存写入没有额外费用。OpenAI 文档
Anthropic 对五分钟和一小时缓存列出不同写入费率,读取费率又因模型而异。拿一个全供应商通用折扣做预算并不可靠。Anthropic 定价
DeepSeek 的示例中,A+B、A+C 两次请求都可能未命中;共同的 A 持久化后,A+D 才能复用它。只有重复文本还不够。DeepSeek 缓存文档
这些差异指向一个比“哪国 AI 更便宜”更有效的采购问题:哪种实现能在达到所需质量的前提下,稳定复用我们的真实请求? 这是工程比较,不是国家能力排名。
缓存折扣不等于账单降幅
下面是我们推导的简化计算,不是产品报价。只考察一个完全相同、满足缓存条件的前缀。n 表示总请求数,包含首次写入;w 是写入价格相对普通输入价格的倍数;r 是读取价格倍数。假设仅写入一次,此后 n−1 次均完整命中,没有过期或重写。
不使用缓存的标准化成本为 n;缓存成本为 w + (n−1) × r。当 0 ≤ r < 1 时,缓存更省钱的条件是 n > (w−r)/(1−r)。
假设 w = 1.25、r = 0.1,十次请求的前缀成本为 2.15 单位,而不是 10 单位。虽然每次读取便宜 90%,前缀总成本只下降 78.5%。若 w = 2、r = 0.1,至少需要三次总请求才开始节省;若 w = 1.25,两次即可。
这是理想条件下、仅针对前缀的门槛。动态输入、生成输出、工具、重试和重复写入都会改变任务总成本。某项配置即使降低前缀账单,也可能因为增加修复工作而得不偿失。做预算时,应把这些假设倍数替换为具体模型的最新费率。
三种复用,三种请求节奏
第一种是保留历史并逐轮追加的串行对话;第二种是从共同文档分叉出的独立问题;第三种是在任何缓存准备好之前,就同时发起的大批冷启动请求。重复 token 数相同,并不代表它们是等价的工作负载。
Anthropic 文档说明,缓存从首次响应开始返回后才可用,五分钟窗口则从请求发起时起算。因此,并发启动时点和较长的答案都会影响复用。Anthropic 缓存文档
我们的设计建议是,把稳定参考材料与变化的问题分开,保持边界一致,再测试真实请求序列。不要在稳定内容前随意加入时间戳或请求 ID,却不检查后果。也不要盲目增加预热调用:预热本身会消耗资源,而用户未必发出后续请求。
上线之前,怎样验收
选取同一组合格任务,分别测试冷启动、预热复用、真实停顿和并发流量四种条件。以下是建议的测试方案,不是我们已完成的实验。
- 记录模型及版本、API、请求结构、缓存设置和服务档位。保证内容与质量标准可比。
- 把各家的用量字段统一映射为普通输入、缓存写入和缓存读取。先确认字段包含什么,再求和,避免重复计费式的统计错误。对只提供命中/未命中输入类别的供应商,不要凭空增加一项独立写入费用。
- 统计每项合格任务的全部成本,包含失败尝试、输出和工具。同时报告不合格任务,避免“失败更便宜”反而美化指标。
- 测量首 token 与端到端延迟,也观察 p95 等慢尾部指标。冷、热结果应分别报告。
- 每次只改变一个因素:前缀边界、停顿或并发。保留基线,记录未命中的原因。
最终买什么,又不能推断什么
在质量与延迟达标的配置中,选择实测任务成本最低者。命中率高本身不是成功:一份过大的重复提示词,可能一边提高命中率,一边让每项任务都平白变贵。
对于比较中美 API 的团队,真正可迁移的资产是可复现的工作负载和口径统一的成本账本。缓存单价低,或某次请求命中缓存,都不能证明答案更好。本文提供的是决策方法,而不是胜出供应商名单。