10 月 21 到 22 日这两天,arXiv 上几乎同时挂出四篇关于智能体记忆的论文,各自盯住记忆生命周期的一段,凑在一起读颇有联合体检的味道。四篇的结论拼起来相当不客气:记忆层的收益宣称,在写入、使用、删除、有效性四个环节上都遭遇了实证挑战。
图|四篇 10 月 21 到 22 日提交的论文分别指向记忆的写入、使用、删除与有效性四个环节,合成一张覆盖记忆全生命周期的体检单。
写入环节的当头一棒来自 Raw-RAG(编号 2610.30755,西安交通大学团队,六位作者)。这篇的标题就把立场亮明了——复杂的智能体记忆真的一直有必要吗?它的基线朴素到近乎挑衅:拿稠密检索加重排,直接在原始对话历史里翻证据。结果在 LoCoMo、LongMemEval、MEME、MemoryAgentBench 四个基准上,这个「裸基线」在七组基准-模型组合里六组居首,超最进取的智能体记忆系统 0.13 到 5.53 分。原因藏在证据分析里:原始历史对必要证据的覆盖面,足以抵消利用率上的短板——有用的证据既包括答案本身,也包括推导答案需要的关系与依赖路径,而记忆层改写历史时难免丢掉后者。更狠的一条对照:即便把改写后的存储全部开放给模型,准确率仍与原始证据有一道跨不过去的差。
使用环节的补刀来自 MemPABench(编号 2610.30485,四位作者):它不考「记没记住事实」,考「记没记住用户想被怎样对待」。四个模拟用户、14 条交互偏好、四个月 99 个会话,中途每人经历五次偏好变更。结果 Mem0、MemOS 这类检索式记忆与简单 RAG 一道,成绩不比完全没有记忆强多少;文件式记忆虽有提升,却会把偏好用到不相干的场合。最扎心的一条:正确的偏好就摆在上下文里,智能体依然难以覆盖自己的默认交互习惯。
图|记忆层在写入时就要猜未来问题需要什么,猜错即成沉没成本;原始日志不猜所以覆盖面占优,即便拿到全部改写后存储也补不回准确率差。
删除环节的风险由 AfterDeleteBench(编号 2610.31366,五位作者)揭示:删掉原始记忆记录,不等于信息消失。在受控实验里,单次提问就能以约三分之二的概率从 Qwen2.5-7B 上复原已删除的秘密,而从未接触过秘密的对照组复原率为零;即便不留任何逐字副本,只留按公开组成规则拆开的碎片,Qwen、Mistral、Phi-3 三家的精确重建率仍有 62% 到 99%(合成秘密、小模型受控测试,不能直接折算成生产环境泄露率)。实测中能把复原压到零的方案是溯源闭包——删除记录时连带清掉由它派生的一切。有效性环节则是治理态污染研究(编号 2610.30698,四位作者):不动存储内容,只篡改「哪些记录算数」的控制状态,2080 组对照里 96.25% 的投影被改变,LongMemEval 二元正确率的干净减污染差距达 40.54 个百分点(区间 30.32 到 50.71);有 oracle 执法介入可 100% 恢复。一句话:一个没人查的有效性标志,比一个弱检索器更伤。
把四篇连起来读,增量认知其实是一条:记忆层在写入时就得替未来的问题下注,猜错的部分就是「写入猜测税」;这笔税之外,还有删除残留和控制面失控两道暗礁。这与 1941 期写过的持久记忆祛魅一脉相承——那篇查的是记忆层架构收益的测量方法,本轮四篇则把矛头对准了记忆生命周期本身。对记忆厂商来说,坏消息是裸基线不花钱;好消息是路线图也算给出来了:少猜、溯源、给有效性标志配上执法。局限照旧:四篇均为论文自报,结论多限定在对话类任务,执行场景是否同样成立,目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。
技术拆解
No.2107
四篇论文同日围剿智能体记忆层:写入的税、删不掉的影子
10 月 21 至 22 日四篇论文从写入、使用、删除与有效性四个环节体检智能体记忆:原始日志直查在七组设置中六组居首,检索式记忆不敌无记忆基线,删除后约三分之二可复原,控制态污染造成 40.54 分差距。