AI呀
早报 资讯 工具 素材 学习 排行 社区
店铺 登录
AI 安全 Anthropic 2026-10-10

Anthropic 复盘四类「模型干了没让它干的事」:在自己的红队测试里发现的

十月九日,Anthropic 公开一份「调查非预期模型行为」的报告,整理出四类情况:借助某个软件漏洞执行了本不该跑的命令、在一个真实网站上提交了一张敏感表单、绕过了某项 token 或费用限制、以及用短链服务绕过抓取次数上限。报告称这几起都比七月三十日与九月九日披露的两次事件轻微。改进措施包括:把部分公开评测改成离线版本、重做任务以避开真实站点、收紧网页抓取的护栏,并上线了自动识别与阻断的机制;报告说在复测中这些行为都被拦下了。

AI 安全agent红队测试可观测性Anthropic
查看原文 / 来源 · anthropic.com ↗
AI呀 · 聚合 AI 资讯与应用