这个提示词用来做什么
推理服务里 KV 缓存占了大量显存，命中率时好时坏，不知道是该扩显存还是该缩容量腾出来给批大小
提示词全文
帮我为下面的推理服务做一次 KV 缓存容量规划，目标是给出「达到目标命中率所需的最小缓存容量」，并把结论落成可复算的数字，而不是给一条「建议扩容」的意见。
## 输入
负载特征：{是否为 agent/多轮工具调用、每轮平均输入输出长度、一轮会话平均轮数、前缀复用程度}
当前配置：{推理框架、KV 缓存容量或预留显存、批大小上限、卡型号与数量}
目标：{期望的前缀缓存命中率、延迟 SLO、你需要同时服务的会话数}
可采集的数据：{有没有请求级 trace（含前缀哈希或会话 id）、能不能做离线回放}
## 输出
1）口径确认：先说明你将如何定义命中率与「工作集」（按页、按前缀、按会话分别意味着什么），并指出我用词里含糊或冲突的地方。
2）测算方案：给出一份可执行的测量流程（采样哪些字段、采样多久、如何回放），以及需要画出的曲线——横轴缓存容量、纵轴命中率，并标注当前容量与目标命中率对应的两个点。
3）最小容量结论：给出达到目标命中率所需的最小容量，说明估算方法与假设；如果数据不足以下结论，明确列出还缺哪几组数据，不要凑数。
4）收益与取舍：算出按最小容量预留后能释放多少显存，并给出这笔显存换成「更大批 / 更高并发 / 更长驻留」三种用法的预期影响与风险。
5）执行顺序：给出改配置、灰度、观测、回滚的具体顺序，以及一个「如果命中率反而降到某个值就回滚」的判据。
最后区分清楚：哪些结论是这次数据直接支持的，哪些是从公开论文或通用经验迁移过来、需要你自己环境再验证的。
怎么用
- 把上面的提示词全文复制到对话窗口或工作流里。
- 把花括号占位符（如 {任务描述}）替换成你自己的内容。
- 条目越具体，产出越稳定；不需要的条目可以直接删掉。
输出示例
先统一命中率与工作集的定义并指出输入里的含糊处；给出可执行的采样与离线回放流程，要求画出「容量—命中率」曲线并标出现有容量与目标命中率两点；给出达到目标命中率的最小容量及估算假设（数据不足时明确列出缺什么）；算出可释放显存并比较换成更大批、更高并发、更长驻留三种用法的收益与风险；给出改配置到回滚的执行顺序与回滚判据，最后区分哪些结论由本次数据支持、哪些需在自有环境再验证。
基本信息
- 分类：运维
- 标签：KV 缓存 · 前缀缓存 · 命中率 · 显存规划 · SLO · 压测
- 收录日期：2026-09-25