金标集从真实流量来,不从想象来
最容易失效的评测集,是一群人坐在会议室里编出来的问题。真实用户的输入更短、更口语、更爱带错别字,还会把多个诉求塞进一句话。做法是从线上日志里分层抽样:按任务类型、输入长度、语言、是否命中知识库分层,每层抽够最小样本量。
样本量不用一开始就很大。100 条覆盖主要路径的样本,比 1000 条随机样本更能发现问题。每条样本要写清三件事:输入、期望结果、判定方式(精确匹配、字段校验、 rubric 打分还是人工复核)。
评分器优先选能判定的
能用规则判的,不要用模型判。结构化输出就校验字段与取值范围;分类任务就比对标签;带引用的问答就检查引用是否真的支持结论。只有开放式生成才用 rubric 打分,而且 rubric 要写成可勾选的条目,不是「回答是否优质」。
tests:
- vars:
question: "退款多久到账?"
assert:
- contains: "3-5 个工作日"
- not-contains: "立即到账"
- javascript: output.citations.length > 0用模型当裁判时要固定裁判模型与提示词版本,并把裁判结果与人工标注对比一段时间。裁判和人工一致率低于阈值,就先修裁判,别拿它当门禁。
把分数差异做成门禁
每次改提示词、换模型、调检索参数,都在 CI 里跑同一套金标集,输出三项:总体通过率、分任务类型通过率、失败样本清单。门禁不要只看总分——总分不掉,但某一类任务从 95% 掉到 70%,一样是事故。
为每类任务设阈值和允许波动。样本少的时候波动本来就大,可以用多次运行的区间来判断,而不是拿一次结果下结论。
线上漂移:用同一套口径看真实输出
线上不可能每条都人工看,但可以埋几个低成本信号:结构化输出解析失败率、引用为空的比例、回答长度分布、用户追问率、转人工率。这些指标突然偏移,往往比抽样评审更早发现问题。
- 金标集分层抽样,覆盖主要任务类型与边界输入。
- 能用规则判定的不用模型裁判;用裁判要定期对齐人工。
- 门禁看分任务类型通过率,不只看总分。
- 线上监控解析失败率、引用为空率与追问率。
- 每次模型或提示词变更都留一份评测报告,便于回溯。