这个提示词用来做什么
看到一个更便宜或分数更高的模型想换过去，但手上没有能证明「换了之后我们这边会更好」的依据
提示词全文
我要在下面这个场景里比较两个（或几个）模型，帮我设计一套能自己跑、结论站得住的评测方案。不要引用任何公开榜单，只用我们自己的任务。
## 输入
任务是什么：{一句话说清输入和产出}
现在用哪个模型、为什么想换：{价格 / 速度 / 质量 / 合规，说具体}
我们实际在乎的是什么：{如果只能保一个指标，是哪个}
真实输入从哪来：{日志、工单、历史记录，能拿到多少条}
成本口径：{每千次调用多少钱、每次多少 token，能给就给}
## 输出
1）出题原则：从真实输入里怎么挑题，才能既不挑到「模型都答对」的送分题、也不挑到「谁都答不对」的废题；给我一个可操作的挑法（例如按现有失败样本分层）。
2）题目清单骨架：20 道题的分布建议（几道是常见情况、几道是目前失败最多的、几道是边界），每题写明输入、期望产出、以及「怎样算对」。
3）判分方式：哪些题能自动判（字符串/字段/断言），哪些只能人判；人判的题给出评分锚点，避免不同人给分不一致。
4）成本对比表：列「质量分、每千次调用成本、超时或重试造成的额外消耗、迁移改造工作量」，并说明各自的测量方法。
5）决策规则：事先写死「在什么条件下换、什么条件下不换、什么条件下先并行跑一段时间」。
6）风险：这套评测会漏掉什么（例如长尾输入、多轮对话、格式合规），以及你建议怎么补。
## 纪律
- 不要给「综合评分」这种把不同维度揉成一个数的做法，除非你说明权重是按什么定的。
- 如果我们的输入样本不足以分层，直接说不够，并给出最小可行的样本量。
- 结论要能被复算：把命令、数据版本、判分脚本都写清。
怎么用
- 把上面的提示词全文复制到对话窗口或工作流里。
- 把花括号占位符（如 {任务描述}）替换成你自己的内容。
- 条目越具体，产出越稳定；不需要的条目可以直接删掉。
输出示例
榜单的分是别人的任务上算出来的，和你的输入分布没关系——同一个模型在你的场景里可能是另一回事。这套方案里最值钱的是 3）判分方式：只要有两道题要靠人判，就必须给评分锚点，否则换模型前后两个月的结论没法比。4）里那条「重试造成的额外消耗」经常被漏掉：单价便宜但格式不稳定的模型，算上重试往往更贵。5）事先写死决策规则，是为了避免看到结果之后反过来找理由。
基本信息
- 分类：分析
- 标签：模型选型 · 评测口径 · 成本核算 · 小样本 · 决策
- 收录日期：2026-10-17