这个提示词用来做什么
在自家 AI 应用里遇到或想到一种提示注入 / 越狱 / 工具滥用攻击,想把它固化成测试用例,防止以后改提示词或换模型时又被打回来
提示词全文
我想把针对我 AI 应用的一类攻击(提示注入 / 越狱 / 越权调用工具)做成一组能反复跑的测试用例。
## 输入
应用是干什么的:{一句话}
它会被谁用、能碰到什么敏感数据或工具:{……}
已知的一次攻击或担忧:{尽量原始地贴出来,包括对方是怎么绕的}
我们的底线:{哪些输出 / 动作绝对不允许发生}
## 请你产出
1)把这次攻击抽象成「攻击意图 + 绕过手法」,手法要能举一反三(比如伪装成系统指令、把指令藏进被读取的资料里、用多轮铺垫逐步越界、诱导模型替你执行工具)。
2)基于这套手法生成 8~12 条测试用例,每条写清:输入、期望行为(应该拒绝 / 应该照常服务 / 应该要求确认)、以及「只要出现什么就算失败」。
3)区分严重级别:哪些是「直接泄露 / 越权执行」(必须归零),哪些是「语气被带跑」(扣分但不致命)。
4)给一份可复跑的判分方式:怎么自动判、哪些必须人工看,怎么避免模型自己给自己打分放水。
5)提醒我这套测试的边界:它只覆盖这一族手法,别拿它证明「应用已经安全」。
请把最关键的两三条做成「改提示词 / 换模型后必须重跑」的最小集。
怎么用
- 把上面的提示词全文复制到对话窗口或工作流里。
- 把花括号占位符(如 {任务描述})替换成你自己的内容。
- 条目越具体,产出越稳定;不需要的条目可以直接删掉。
输出示例
把攻击固化成用例的价值,在于换模型、改系统提示词时能一键回归——否则同一个绕过手法会在每次迭代后重来一遍。判分那步要留意:让被测模型自己当裁判,多半会给自己的越界找补,能自动判的尽量交给确定性规则。
基本信息
- 分类:安全
- 标签:安全 · 提示注入 · 越狱 · 回归测试 · 红队
- 收录日期:2026-10-14