这个提示词用来做什么
已经在跑 best-of-n 或多候选重排，但说不清剪枝到底省了多少、损失了多少
提示词全文
你要帮我把「候选剪枝」做成一次可复现的对照评测，而不是只看几个成功案例。
## 输入
模型与版本：{模型名、推理档位、温度、top-p、最大 token}
采样预算：{每题生成 N 条候选，剪枝后保留 k 条}
对比策略：{随机保留 / 质量分探针 / 多样性 RepExp / 直接优化 pass@k}
数据：{题目数量、来源、难度分层；是否与训练集重叠}
成本口径：{每百万输入/输出 token 价格、是否计缓存、是否计工具调用}
## 输出
1. 实验设计：固定哪些变量，改变哪些变量；每题至少跑几次；如何避免用测试集调参。
2. 指标表：pass@k、平均每题成本、每次成功任务成本、末段延迟、剪枝后候选的覆盖率；按 k=1/2/4/8 分开报。
3. 统计：给出均值与 95% 置信区间（bootstrap 即可），说明样本量是否够；不要只报最好的一次。
4. 失败分析：抽 30 个失败样本，标注是「候选里本来就没有正确答案」还是「有正确答案但被剪掉」；这两类的处理方式完全不同。
5. 结论模板：如果收益小于 2 个百分点、但成本增加超过 20%，明确建议降 k 或换策略，不要用「值得进一步研究」收尾。
## 纪律
- 所有随机策略固定 seed，记录版本与日期。
- 不把不同模型、不同温度、不同预算的结果放在一张表里直接比。
- 如果数据有污染风险，先做去重与泄漏检查，再开始评测。
怎么用
- 把上面的提示词全文复制到对话窗口或工作流里。
- 把花括号占位符（如 {任务描述}）替换成你自己的内容。
- 条目越具体，产出越稳定；不需要的条目可以直接删掉。
输出示例
剪枝评测最容易犯的错，是只统计「留下来的候选有多好」，却不统计「被扔掉的里面有没有正确答案」。加上后一项，很多看似有效的策略会立刻露馅。
基本信息
- 分类：分析
- 标签：推理模型 · 剪枝 · pass@k · 评测 · 成本
- 收录日期：2026-10-24