一个动作该不该执行,不该只看它自己
大模型智能体通过工具和第三方技能作用于外部世界,于是一次被执行的动作就可能造成不可逆的损害。可现有的防御,往往在智能体提议一个动作后,不去追查这个动作的内容到底是来自用户、还是来自工具输出这类外部来源,而且常常孤立地判断它,不去对照一个现成的备选动作。这就把安全性和实用性逼成了二选一。PROVISO(arXiv 2610.27115,10 月 19 日提交)是一个放在「动作被执行之前」的控制器。
它在智能体提议动作、但尚未执行时介入,决定到底提交哪个动作。具体做法:把信任观察、外部观察、提议动作和备选动作一起编码进「带溯源类型」的记忆,再用角色相关的查询把它们关联起来,最后提交那个从历史结果中学到的、校准价值最高的动作。换句话说,它不只看「这个动作本身像不像坏事」,还看「它的内容从哪来、有没有更好的替代」。
两个数字说明它稳
在覆盖智能体生命周期的四项安全任务上,没有基线能在安全性和实用性两个维度同时超过它。具体来看:在 SkillsBench 上,它的 F1 比表现最好的基线高出 13.84 个百分点;在 ToolSafe 上高出 7.07 个百分点;在另外三个技能检测基准上,F1 落在 88 到 99 之间。这些数字说明,把「溯源」和「对照备选」加进动作提交这一步,能在不牺牲效用的前提下把安全往上提。
PROVISO 给智能体安全的启示很实在:很多安全事故不是因为模型「想作恶」,而是因为系统默认孤立地、不带出处地判断一个动作。把内容来源和备选动作一起纳入决策,等于给执行前加了一道更稳的闸。它不一定适合所有场景,但至少把「动作提交」从一句口号,变成了可以量化比较的工程模块。