10 月 13 日提交 arXiv 的这篇论文(编号 2610.18052)给智能体记忆挖了一个少有人正视的坑:用户明确要求删除的记忆,主流记忆系统基本删不掉。论文叫 Bemula,专测「记忆遗忘」的基准此前还是空白——它考的不是智能体记不记得,而是用户说「把这条忘了」之后,它能不能精准地忘:只删让删的,别的记忆完好无损,而且日后换种问法也套不出来。结论相当直白:七个系统测下来,端到端通过率没有一个超过 1.5%,大多数是零。
为什么「忘记」比「记住」难考
记忆基准这些年不少,从长上下文捞针,到多会话事实回忆,考的大多是「存没存、取没取、组织没组织」。遗忘是另一回事:它要求删除得刚刚好——删少了,用户的要求成了空话;删多了,无关记忆被误伤,系统等于自废武功。更麻烦的是,只测「目标信息消不消失」会奖励三种流氓策略:从来不存、干脆清库、相关问题一律拒答。Bemula 的解法是配对对照:每段插入遗忘请求的对话,都配一个不发请求的同一对话,所有探针对着两个版本分别计分——没把目标存进去过的系统,没资格拿遗忘的学分。
基准的骨架是这样的:50 段多会话对话共 746 个会话,135 个遗忘请求按三个维度分成六种类型——删单个事实的、删多个事实组合的、删一整类信息的(比如「所有医疗相关记忆」)、删推断出来的派生结论的、删某段时间的、以及用新值替换旧值的。1742 道测试题分成五套:保留(正常记忆还在吗)、效力(被删信息还吐不吐)、保存(没让删的误伤没)、重学习(删完还能学新事实吗)、攻击(五种手法套话,间接提问、角色扮演、越狱前缀、布尔猜测、多跳推理)。被测的有七个系统:全上下文式、朴素 RAG、Mem0、A-MEM、LangMem、LightMem、SimpleMem,骨干覆盖 GPT-5.6-Luna、DeepSeek-V4.1-Flash 与 Qwen3-32B-AWQ。
问题很少是「不肯删」,而是删得不准
把失败拆开看,三种形态都有。一种是删不干净:多数系统的抗攻击分不超过 35.7,Mem0 在 GPT-5.6-Luna 上低到 4.7——论文的原话是,一句合适的提示通常就能把已「删除」的值再捞出来。一种是删多了:LangMem 在 GPT-5.6-Luna 上的保存分一度低到 20,被删的里头混着用户街道地址这种从未请求过的信息。还有一种是过度拒绝:全上下文式系统结构上无从删除,只能靠指令遵循,81 次保存失败里 66 次是笼统的「我没有该信息」——没学会有范围地忘,只好一律装失忆。
机制层面的原因也扒得清楚:朴素 RAG 根本没有删除通路,请求轮次被当成普通对话嵌进去存了;Mem0 原则上支持删除,但内部提取管线很少自行决定删;LightMem 与 SimpleMem 的更新合并离线运行,请求够不着;A-MEM 没有删除通路,但笔记演化能覆写相关笔记,反而在事实类请求上拿到记忆系统里靠前的效力。LangMem 是七个系统里在对话期间跑删除通道的独苗——而它的删除通道默认是关的,实验里被手动打开,这才有了那个 1.5%。
放进赛道里看
这条线与本站报道过的几件事正好接上。此前有研究给中毒记忆开出「选择性遗忘」的药方,思路是识别并抑制有害记忆;也有论文拆穿过记忆系统里过期答案的传递链条——那些工作回答「怎么忘得更好」,Bemula 回答「现在忘得多差」。再把视线放到产品侧,删除权是数据保护框架里的老概念,智能体记忆越持久、越个人化,「用户让删」与「系统删得掉」之间的落差就越像一颗合规暗雷——尤其对那些把记忆当卖点的个人智能体。
需要保留的怀疑
三条边界。论文自己承认,遗忘判分依赖 LLM 评委,判分本身的偏差未完全排除;对话是合成的,真实用户删请求的口吻与分布未必这么整齐;基准发布刚两天,独立复现尚未发生。另外有个读数值得单独记:替换类请求(F6)在两个较强骨干上效力超过 61.9,近乎解决——但旧值在攻击下依然存活。用户以为「改了偏好」就翻篇了,系统里旧的痕迹还在,这比「删不掉」更隐蔽。
目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。但对正在选型记忆系统的团队,这份基准给了一个今天就能用的自查:对着自家智能体发一条删除指令,然后换三种问法再问一遍——间接的、角色扮演的、让它「顺便回忆一下」的。三次里有一次能捞回被删的内容,这条删除指令就只是心理安慰。