跳转到主要内容
Poixe 支持部分厂商提供的 Prompt Cache / 缓存计费 能力,但在实际使用中,你可能会发现:在 Poixe 环境下的缓存命中率通常会低于直接使用官方账号调用 原因不是 Poixe “不支持缓存”,而是 Poixe 作为高并发网关在容量与稳定性上的调度方式,会影响缓存命中条件。

为什么 Poixe 的缓存命中率更低?

Poixe 每时每刻都有大量请求。为了保障容量与稳定性,后台会使用多个上游账号 / 多个 API Key 来分摊流量。 而许多厂商的缓存机制是 按账号/组织维度生效 的: 只有当“相同(或满足缓存条件)的请求”在同一个账号上重复发生时,才更容易命中缓存。 因此在 Poixe 的多 Key 调度下:
  • 同样的请求可能被分配到不同的上游账号
  • 缓存的“可复用范围”被切分
  • 整体命中率会比单账号直连更低

命中缓存如何计费?

Poixe 不会改变厂商的缓存计费规则:
  • 只要上游实际命中缓存,Poixe 就会按厂商的缓存计价计费
  • 命中缓存通常会显著降低成本(具体以厂商价格为准)
你无需额外配置来启用“缓存计价”。当上游返回缓存命中明细时,Poixe 会按官方规则结算。

我应该怎么理解这个差异?

  • 如果你直接用某厂商单账号/单 Key 调用:缓存更容易积累在同一处,命中率通常更高
  • 如果你通过 Poixe 调用:为了容量与稳定性会分散到多个 Key,命中率可能降低,但命中后仍然是官方的优惠计价

我们在做什么优化?

我们正在构建方案来改善这一点,目标是:
  • 尽可能提升缓存命中率
  • 减少不必要的重复计算与资源浪费
  • 在不牺牲稳定性与容量的前提下,让用户获得更好的成本收益