这个提示词用来做什么

厂商公布了缓存命中(cached input)的单独单价,需要判断当前工作负载值不值得为缓存付出写入成本

提示词全文

我要判断一个工作负载该不该上提示缓存。请把账单算清楚,并给出临界命中率。

## 输入
定价:{普通输入价、缓存写入价、缓存命中价、输出价,各档以每百万 token 为单位}
工作负载:{每次请求的固定前缀长度、每次新增内容长度、平均输出长度、每天请求数}
现状:{目前有没有用缓存、前缀是否稳定、能不能把稳定的部分前置}

## 输出
1)成本对比模型:分别写出「完全不用缓存」与「用缓存」的单位请求成本公式,明确每个变量的口径,不要只给一个数。
2)临界命中率:推导出两种方案打平的命中率,并分别说明命中率低于与高于这个值时的结论。
3)写入摊销:说明缓存写入是一次性计费还是按次计费、缓存存活时间如何影响摊销,算出「前缀至少复用几次才不亏」。
4)敏感性:给出命中率、前缀占比、请求量三个变量各自变化时的成本走向,指出哪一个最敏感。
5)结论:明确写「该上 / 不该上 / 先做实验」,并指出要先量到的那个数(例如实际命中率),以及量到多少就转向另一个结论。

怎么用

  1. 把上面的提示词全文复制到对话窗口或工作流里。
  2. 把花括号占位符(如 {任务描述})替换成你自己的内容。
  3. 条目越具体,产出越稳定;不需要的条目可以直接删掉。

输出示例

输出给出两种方案的单位请求成本公式并说明变量口径;推导出打平命中率并分别解释高低两侧的结论;说明缓存写入的计费方式与存活时间对摊销的影响,算出前缀至少复用几次才不亏;对命中率、前缀占比、请求量做敏感性分析并指出最敏感变量;结论落在「该上 / 不该上 / 先做实验」,并指定必须先量到的数与其转向阈值。

基本信息

  • 分类:决策
  • 标签:缓存定价 · 成本核算 · 临界命中率 · 摊销 · 账单模型
  • 收录日期:2026-09-23

同类提示词