记忆库被下了毒,以前只能「隔离」或「全程审计」
智能体靠记忆变聪明,也就在记忆上挨刀。arXiv 2610.13267 讨论的正是记忆投毒:攻击者往智能体的记忆库里塞恶意条目,等到某个触发条件出现,智能体就照着被安排好的剧本走。这类攻击阴险在「平时看不出来」——投毒的记忆静静地躺在库里,直到被激活。
已有的防御大致两条路:静态记忆隔离,或者持续在线审计,而且大多靠外挂模块实现。论文吐槽得很直接:这么干记忆效率低、计算开销高,等于为了防一小撮毒药,给整个记忆库配上全天候的保安和隔离室。
神经科学给的启发:忘,可以是一门手艺
DREAM(Dynamic Reactivation for Engram Attenuation in Memory)的切入点来自神经科学的一个观察:记忆被弱激活时会变得不稳定,缺乏强化就会自然衰减。换句话说,「遗忘」在大脑里不是故障,而是维护机制。作者把它搬进智能体:中毒的记忆,能不能不隔离、不审计,直接「忘」掉?
整套框架免训练、跑在智能体内部,分三步走。先是扰动诱导的隐式再激活——用轻微扰动去触碰记忆,恶意记忆的结构脆弱性会在这时候露头。接着是自适应异常诊断——盯着多维激活模式,从中检测拓扑异常,把可疑条目捞出来。最后是动态记忆修复——选择性压制有害记忆,同时强化良性记忆。一抑一扬,是它和「一刀切隔离」的本质区别。
数字与口径,都值得摆上台面
论文自报的结果不差:后门投毒场景下攻击成功率下降超过 95%,良性任务的效用基本保住;对比此前的 A-MemGuard,速度快到 2.13 倍、token 消耗少 37.7%;在被投毒的多智能体系统上,任务成功率还有 92.96%。但对注入类攻击,论文的用词只是「具备竞争力」——离通杀还远。
把这篇和 1053 那篇安全基准对照着看更有意思:AgentSafetyBench 把记忆投毒列为长程智能体五类攻击入口之一,量的是「问题有多大」;DREAM 回答的是「中毒之后怎么救」。再加上 1824 的 MemoType 研究写入时怎么分类——一个事前、一个事后,两头都在补记忆安全的课。对企业来说,DREAM 真正的暗示在治理层:智能体的记忆库需要「可撤销性」,就像数据库要能回滚事务,而不是只做增量备份。
当然,保留意见也要讲清楚:以上都是论文自报数据,尚未见第三方复现;「免训练」指的是不训练模型权重,修复模块在推理时照样要跑;面对会自适应调整的攻击者,这套诊断还稳不稳,论文没有回答。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。