这个提示词用来做什么

agent 里混着「生成」和「判断」两类调用，想把判断类换成小模型或专用决策模型，但担心效果翻车

提示词全文

我想把 agent 里的判断类调用从通用大模型迁到专用决策模型，请帮我做一份可执行的迁移评估。

## 输入
调用清单：{现有哪些模型调用，各自输入是什么、输出是什么、下游怎么用}
判断类调用：{哪些属于分类、路由、打分、是否判断；每类的选项集合与业务后果}
历史数据：{有没有可回放的历史样本、有没有人工标注的正确结果、样本量多大}
失败代价：{误放行与误拦截各自会造成什么后果、哪一类更贵}

## 输出
1）可迁移性筛查：逐条判断哪些调用适合换成决策模型（不需要生成文本、选项有限、结果可核对），哪些必须留在生成式模型上，并写明理由。
2）对比实验设计：给出用历史样本做回放的实验方案——样本切分、评价指标（不只准确率，还要看高置信度区间的错误率）、如何避免用同一批数据既调阈值又报效果。
3）阈值策略：给出用概率卡阈值的具体办法，包括低置信度区间的兜底路径（人工复核或回退到生成式模型），以及兜底比例对成本的影响。
4）灰度与回滚：给出灰度上线方案（流量比例、观察指标、异常判定）与回滚触发条件。
5）风险清单：列出这次替换最可能出问题的三类场景，并给出对应的监控指标。

怎么用

  1. 把上面的提示词全文复制到对话窗口或工作流里。
  2. 把花括号占位符（如 {任务描述}）替换成你自己的内容。
  3. 条目越具体，产出越稳定；不需要的条目可以直接删掉。

输出示例

先逐条筛查哪些调用适合迁到决策模型、哪些必须留在生成式模型并写明理由；给出用历史样本回放的实验设计，含样本切分、高置信度区间错误率等指标与阈值调优的防污染要求；给出概率卡阈值的策略与低置信度兜底路径及其成本影响；给出灰度比例、观察指标与回滚触发条件；最后列出最可能出问题的三类场景与对应监控指标。

基本信息

  • 分类：工程
  • 标签：判断层 · 决策模型 · 概率校准 · 阈值 · 灰度切换
  • 收录日期：2026-09-24

同类提示词