给注意力头装一道闸：提示注入攻击成功率从 97% 压到 10%

10 月 27 日提交的 arXiv 论文（2610.37657）提出 Heads of Security：用一小组可学习的「按注意力头门控」，让模型在处理不可信内容时把注意力在可信指令与不可信数据之间重新分配。作者在 Llama-3.3-70B-Instruct 与 GPT-OSS-20B 上测试，黑盒 RL-Hammer 攻击对 GPT-OSS-20B 的成功率为 97%、对 SecAlign 为 85%，对 HoS 只有 10%。

问题出在哪

agent 读网页、邮件、工单时，外部内容和用户指令走的是同一个上下文。模型很难稳定区分「这是要我做的事」和「这是资料里写着的一句话」，于是一段藏在文档里的文字就能让它调用工具、泄露数据或改配置。基于微调的防御能缓解，但攻击者可以针对防御再训练；基于架构的隔离更稳，但往往要改推理流程。

HoS 的做法

Heads of Security 给每个注意力头学一组门控，决定它在可信 token 和不可信 token 之间如何分配注意力。训练目标不是让模型「记住攻击样本」，而是让它学会一种通用的读写分离：不可信内容可以读、可以推理，但不应被当成指令执行。门控数量很小，作者强调它保留基座模型在常规选择题和提示设置上的能力。

数字与对比

在 GPT-OSS-20B 上，黑盒 RL-Hammer 攻击对原始模型成功率 97%，对 SecAlign 为 85%，对 HoS 为 10%。白盒攻击 Claudini 经过自动搜索增强后，要在 HoS 上达到同样成功率需要约 3 倍 FLOPs。作者还报告，SecAlign 和 ASIDE 在少样本设置下会损失通用能力，HoS 在标准基准上没有明显退化；在静态攻击的 agent 基准上，它与最强防御持平。

边界在哪

这是一篇防御方法论文，不是「装上就安全」的产品。它需要在模型侧训练门控，闭源 API 用不上；评估覆盖的是论文选定的攻击与基准，真实攻击者会继续找新的注入路径。对多数团队，更现实的做法是把它当成一层内部防线，外面仍然要有工具白名单、最小权限、输出校验和人工确认。

提示注入不会被一句「忽略不可信内容」解决；要么在模型内部把指令和数据分开，要么在系统层面假设它一定会被绕过。