缓存命中率与直连官方有差异吗?
有,但差异已经大幅缩小。 主流厂商的 Prompt Cache 是 按账号维度生效 的。Poixe 后台接入了多个上游账号来保障容量与稳定性,同一用户的连续请求可能被分配到不同账号,导致缓存无法复用。 为解决这个问题,Poixe 已上线 缓存亲和性路由(Cache Affinity Routing):在一定时间窗口内,将同一用户对同一模型的请求固定路由到同一渠道,使上游缓存得以连续积累和命中。缓存亲和性路由
了解亲和性路由的工作原理、适用范围与失效条件
命中缓存如何计费?
Poixe 不改变厂商的缓存计费规则:- 上游实际命中缓存时,Poixe 按厂商的缓存折扣价计费
- 无需额外配置,系统自动识别并按缓存价格结算
仍然可能未命中的场景
即使启用了亲和性路由,以下情况缓存仍可能不命中:| 场景 | 原因 |
|---|---|
| 亲和绑定已过期或已达上限 | 系统回退到权重负载均衡,渠道可能变更 |
| 上游渠道发生错误后重新分配 | 绑定自动解除,新渠道无历史缓存 |
| 请求前缀内容变化较大 | 这是上游缓存机制本身的限制,与路由无关 |
| 所请求的模型不在亲和路由适用范围内 | 部分模型未启用亲和,走默认负载均衡 |
缓存亲和性路由是尽力优化,不是绝对保证。但对于编程助手等连续对话场景,命中率已有显著提升。
上游缓存机制参考
OpenAI Prompt Caching
OpenAI 官方缓存规则与计费说明
Anthropic Prompt Caching
Anthropic 官方缓存规则与计费说明