缓存命中率与直连官方有差异吗?
有,但差异已经大幅缩小。 主流厂商的 Prompt Cache 是 按账号维度生效 的。Poixe 后台接入了多个上游账号来保障容量与稳定性,同一用户的连续请求可能被分配到不同账号,导致缓存无法复用。 为解决这个问题,Poixe 已上线 缓存亲和性路由(Cache Affinity Routing):在一定时间窗口内,将同一用户对同一模型的请求固定路由到同一渠道,使上游缓存得以连续积累和命中。缓存亲和性路由
了解亲和性路由的工作原理、适用范围与失效条件
命中缓存如何计费?
Poixe 不改变厂商的缓存计费规则:- 上游实际命中缓存时,Poixe 按厂商的缓存折扣价计费
- 无需额外配置,系统自动识别并按缓存价格结算
仍然可能未命中的场景
即使启用了亲和性路由,以下情况缓存仍可能不命中:缓存亲和性路由是尽力优化,不是绝对保证。但对于编程助手等连续对话场景,命中率已有显著提升。
上游缓存机制参考
OpenAI Prompt Caching
OpenAI 官方缓存规则与计费说明
Anthropic Prompt Caching
Anthropic 官方缓存规则与计费说明