这个提示词用来做什么
厂商公布了缓存命中(cached input)的单独单价,需要判断当前工作负载值不值得为缓存付出写入成本
提示词全文
我要判断一个工作负载该不该上提示缓存。请把账单算清楚,并给出临界命中率。
## 输入
定价:{普通输入价、缓存写入价、缓存命中价、输出价,各档以每百万 token 为单位}
工作负载:{每次请求的固定前缀长度、每次新增内容长度、平均输出长度、每天请求数}
现状:{目前有没有用缓存、前缀是否稳定、能不能把稳定的部分前置}
## 输出
1)成本对比模型:分别写出「完全不用缓存」与「用缓存」的单位请求成本公式,明确每个变量的口径,不要只给一个数。
2)临界命中率:推导出两种方案打平的命中率,并分别说明命中率低于与高于这个值时的结论。
3)写入摊销:说明缓存写入是一次性计费还是按次计费、缓存存活时间如何影响摊销,算出「前缀至少复用几次才不亏」。
4)敏感性:给出命中率、前缀占比、请求量三个变量各自变化时的成本走向,指出哪一个最敏感。
5)结论:明确写「该上 / 不该上 / 先做实验」,并指出要先量到的那个数(例如实际命中率),以及量到多少就转向另一个结论。
怎么用
- 把上面的提示词全文复制到对话窗口或工作流里。
- 把花括号占位符(如 {任务描述})替换成你自己的内容。
- 条目越具体,产出越稳定;不需要的条目可以直接删掉。
输出示例
输出给出两种方案的单位请求成本公式并说明变量口径;推导出打平命中率并分别解释高低两侧的结论;说明缓存写入的计费方式与存活时间对摊销的影响,算出前缀至少复用几次才不亏;对命中率、前缀占比、请求量做敏感性分析并指出最敏感变量;结论落在「该上 / 不该上 / 先做实验」,并指定必须先量到的数与其转向阈值。
基本信息
- 分类:决策
- 标签:缓存定价 · 成本核算 · 临界命中率 · 摊销 · 账单模型
- 收录日期:2026-09-23
同类提示词
- 给「加速档」单独算一笔账:这份延迟值不值这个溢价
- 评估一个开源模型能不能进生产:许可、显存、吞吐、合规四关
- 评估一个机器人策略模型能不能上你的机械臂:把榜单分数换成四个验收数
- 给常驻代理(Autopilot 类产品)做验收:把「省了多少时间」换成无人值守率
- 在两条技术路线之间选:先把「选错了会怎样」写清楚
- 把一个模型换成更便宜的:先设计成一次可回退的实验
- 给 agent 配身份和钱包之前,先把授权写成一张表
- 给一个新硬件/新接口/新供应商做「值不值得等」的评估
- 几个方案之间做取舍:先把「不可逆的部分」标出来再谈优劣
- 给团队做一份 AI 工具准入清单:数据、权限、成本、退出四条线
- 把一场会议压成「决策 / 待办 / 未决」三张表
- 把一份长材料压成能拍板的一页纸