这个提示词用来做什么

新出了一个便宜好几倍的模型，团队想切过去省钱，但没人说得清换完会不会变差。先设定对比指标与及格线，再小流量灰度并保留随时回退的开关，避免一次性切换。说明现用模型与预算压力即可，可指定可接受的性能降幅。

提示词全文

我们要把一个正在跑的功能从模型 A 换到更便宜的模型 B，请帮我把这件事设计成一次可回退的实验，而不是一次信仰跳跃。不要给我通用迁移清单，要针对我的场景给出可执行的方案。

## 输入
功能与用户：{这个功能做什么、谁在用、用户能感觉到哪一步}
现用模型 A：{型号、单价、当前每千次调用的成本、关键配置比如推理档位与上下文长度}
候选模型 B：{型号、单价、官方口径的差异、是否有能力档位或限流上的差别}
质量底线：{哪些错是不可接受的，哪些只是体验变差；有没有人工兜底}
可用数据：{手上有没有历史输入输出、有没有人工标注过的样本、量级多少}

## 输出
1）成本真账：把 A 与 B 的成本按「每千次真实调用」算出来，包含输入、输出、缓存命中与重试带来的开销；如果 B 有按长度跳档或长输入加价的规则，要单独算出来，不要只报单价。
2）评测集：从历史数据里挑一个最小但能说明问题的样本集（给出建议条数、覆盖哪些输入类型与边界），并说明怎么用现有数据做对照判分，需要人工标注的最多多少条。
3）三条放行线：分别写出「可以直接切」「先灰度到多少流量」「必须回退」的判据，判据要基于可观测指标，不能写「效果差不多」。
4）最可能翻车的地方：基于 B 的规格差异，点名最可能出问题的 2-3 类输入，并各给一条线上监控项。
5）回退方案：写清回退要多久生效、回退时已经产生的数据怎么处理、以及用不用同一次实验验证两个模型（例如双写、影子流量）。

怎么用

  1. 把上面的提示词全文复制到对话窗口或工作流里。
  2. 把花括号占位符（如 {任务描述}）替换成你自己的内容。
  3. 条目越具体，产出越稳定；不需要的条目可以直接删掉。

输出示例

典型输出会把「B 的长输入加价」单独算出来，指出把整篇长文档塞进去的调用在新模型上反而更贵，必须先改成切片；评测集会建议从近一个月里挑 120 条真实输入，其中 40 条是失败率最高的类型；放行线会写成「事实类错误率不高于原模型 +0.5 个百分点、单次响应延迟 P95 不超过 1.3 倍、单位成本下降超过 40%」，并把「翻车点」定位到表格类长输入与需要多轮工具调用的请求。

基本信息

  • 分类：决策
  • 标签：模型迁移 · 成本核算 · A/B 回退 · 评测集
  • 收录日期：2026-09-30

同类提示词