这个提示词用来做什么
做 A/B 实验或上新功能后发现指标变好了，但说不清是功能真的有用、还是新鲜感 / 波动 / 季节性，需要一套事先定好的判定口径
提示词全文
帮我为下面这个改动设计一套「事先定好、事后不改」的实验与判定口径。
## 输入
改动是什么：{……}
我观察到的变化：{哪个指标、从多少到多少、样本量、时间窗}
担心的问题：{是新鲜感？季节性？样本太小？用户在变？}
一个用户的完整价值路径：{点击 → 使用 → 留存 → 付费……}
## 请你产出
1）先区分「代理指标」和「真实目标」：哪些是容易涨但没意义的（点击、生成次数），哪些才是我们要的（完成、复用、付费）。对每个代理指标标出「它涨了也不代表成功」的边界在哪。
2）主指标只定一个，并写清它的精确定义（口径、时间窗、算谁的、去重规则）。其余列为护栏指标（不能变差的）。
3）随机性处理：说明在当前样本量下，多大的差异才可能是噪声；给出预估最小可检测效果的思路（显著水平、功效、样本量三者怎么权衡），缺口径的数据我会补。
4）实验设计：分组方式、样本分配、需要跑多久（覆盖完整周期，含周末）、中途不许改的规则、以及什么情况下提前终止。
5）归因陷阱清单：至少列出四个会让结果变假的可能（季节性、同时上线的其它改动、用户自选择、指标被优化而非目标达成），每个给出一个检验方法。
6）判定表：最后写成「涨多少 + 护栏没坏 + 排除以下干扰 → 判为有效；出现这些情况 → 判为无效，无论数字多好看」。
7）写一句我会贴在实验看板上的话：这次实验唯一要回答的问题是什么。
怎么用
- 把上面的提示词全文复制到对话窗口或工作流里。
- 把花括号占位符（如 {任务描述}）替换成你自己的内容。
- 条目越具体，产出越稳定；不需要的条目可以直接删掉。
输出示例
实验最大的坑不是统计算错，而是「看到数字涨了就去找解释」。先把主指标定成一个、把护栏指标写下来、把提前终止的条件写死，事后就没有「再跑两天看看」的空间；那张判定表最实用——它把「数字好看但结论无效」的情形提前写清楚了。
基本信息
- 分类：数据
- 标签：A/B 实验 · 指标 · 统计 · 归因 · 实验设计
- 收录日期：2026-10-15