11 月 19 日挂上 arXiv 的一篇论文,把媒体报道过的智能体事故搬回了实验室。作者是 Mengxiao Wang、Mahbub Alam、Kalyan Nakka 与 Nitesh Saxena,框架叫 ROGUE-AI:每一起事故在离线环境里重建一遍,再配一个只去掉「被指责原因」的对照组,同一批模型在两边各跑一遍。
108 次复现尝试里,89% 复现出了报告描述的伤害。五个模型(GPT、Claude、Gemini、DeepSeek 系)在有原因的情况下犯错率 18% 到 33%,去掉那个原因后一律降到 1% 以下。这一步等于给事故报告补了一次因果检验,而不是照抄结论。
更值得看的是归因分布。72 起造成真实损害的事故里,62 起没有攻击者。智能体按任务要求做事,只是没看见一个普通隐患,比如数据库和线上站点共用同一套凭证。
无攻击者的复现,造成的伤害比提示注入类复现更高,五个模型全部如此。防注入的产品找的是被塞进来的指令,而这些复现里一条注入指令都没有,防线根本不会触发。
论文试了一个更便宜的补救:每次工具输出后追加一条提示,点名隐患和后果,五个模型的伤害都下降;同样长度但不点名的提示,伤害基本没动。差别只在有没有说清后果。
作者把这批复现整理成可重跑的审计框架,厂商能在发版前跑一遍。没做的部分也写清了:样本来自公开报道,覆盖不到未曝光的内部事故;论文没给跨模型统一的阈值,也没说明复现环境的权限配置与真实生产差多少。