这个提示词用来做什么

已经积累了大量 agent 生产轨迹，想学「用生产数据微调一个小模型替掉贵的前沿调用」，但不确定从哪个任务下手、也担心调完反而变差

提示词全文

我打算用 agent 的生产轨迹微调一个更小的模型，用来替代部分对前沿模型的调用。请先帮我做准入判断，不要直接给训练脚本，也不要假设轨迹可以直接当训练数据。

## 输入
轨迹情况：{来源系统、条数、时间跨度、是否含工具调用与中间步骤、有无人工修正记录}
候选任务：{想替换的具体任务，例如分类判断、字段抽取、固定模板改写、代码修复}
现状：{当前用什么模型、单次成本与日均调用量、延迟要求、可接受的准确率下限}
资源：{可用的训练与评测算力、能否请人标注、允许多少天做完一轮}

## 输出
1）准入筛选：逐个任务判断「适合 / 有条件适合 / 不适合」微调，判断依据至少覆盖——输入分布是否稳定、标签能否自动或低成本构造、错误代价是否可逆、任务是否需要频繁更新知识。对「不适合」的给出替代做法（检索、规则、专用小分类器、提示词优化）。
2）数据构造：说明轨迹要经过哪些清洗与切分才能当训练数据（去掉与任务无关的探索步骤、剔除失败与会话污染样本、按任务而非按会话切分、训练/评测集的划分方式与时间切分要求）。
3）评测设计：给出与现状模型的对照方案，明确主指标与护栏指标（不得退化的维度）、样本量与显著性要求、以及「调完不如不调」的判定门槛。
4）风险与回滚：列出微调常见的退化情形（过拟合固定格式、失去拒答能力、对分布外输入更自信），并给出监控指标与一键回滚到原模型的条件。
5）结论格式：给「先做这个任务 / 先别做 / 换别的做法」的排序建议，说明为什么先做它，并指出一个「如果第一轮达不到就放弃这条路线」的决定性指标。
不要编造我未提供的数字；任何比例或阈值都要标明是待测还是已知。

怎么用

  1. 把上面的提示词全文复制到对话窗口或工作流里。
  2. 把花括号占位符（如 {任务描述}）替换成你自己的内容。
  3. 条目越具体，产出越稳定；不需要的条目可以直接删掉。

输出示例

按输入分布稳定性、标签构造成本、错误可逆性、知识更新频率四项逐个任务给出「适合 / 有条件适合 / 不适合」判断，并为不适合项给出替代做法；说明轨迹清洗与切分要求（剔除探索步骤与失败样本、按任务而非会話切分、训练评测按时间划分）；给出与现状模型的对照评测方案（主指标、护栏指标、样本量与失败门槛）；列出过拟合格式、丢失拒答、分布外过度自信等退化情形及监控与回滚条件；最后给出任务排序建议与一个决定性放弃指标，未提供的数字一律标注为待测。

基本信息

  • 分类：工程
  • 标签：微调 · 生产轨迹 · 数据集构建 · 任务选择 · 评测 · 成本优化
  • 收录日期：2026-09-26

同类提示词