跳转到主要内容

缓存命中率与直连官方有差异吗?

有,但差异已经大幅缩小。 主流厂商的 Prompt Cache 是 按账号维度生效 的。Poixe 后台接入了多个上游账号来保障容量与稳定性,同一用户的连续请求可能被分配到不同账号,导致缓存无法复用。 为解决这个问题,Poixe 已上线 缓存亲和性路由(Cache Affinity Routing):在一定时间窗口内,将同一用户对同一模型的请求固定路由到同一渠道,使上游缓存得以连续积累和命中。

缓存亲和性路由

了解亲和性路由的工作原理、适用范围与失效条件

命中缓存如何计费?

Poixe 不改变厂商的缓存计费规则:
  • 上游实际命中缓存时,Poixe 按厂商的缓存折扣价计费
  • 无需额外配置,系统自动识别并按缓存价格结算

仍然可能未命中的场景

即使启用了亲和性路由,以下情况缓存仍可能不命中:
场景原因
亲和绑定已过期或已达上限系统回退到权重负载均衡,渠道可能变更
上游渠道发生错误后重新分配绑定自动解除,新渠道无历史缓存
请求前缀内容变化较大这是上游缓存机制本身的限制,与路由无关
所请求的模型不在亲和路由适用范围内部分模型未启用亲和,走默认负载均衡
缓存亲和性路由是尽力优化,不是绝对保证。但对于编程助手等连续对话场景,命中率已有显著提升。

上游缓存机制参考

OpenAI Prompt Caching

OpenAI 官方缓存规则与计费说明

Anthropic Prompt Caching

Anthropic 官方缓存规则与计费说明