10 月 21 到 22 日这两天,arXiv 上几乎同时挂出四篇关于智能体记忆的论文,各自盯住记忆生命周期的一段,凑在一起读颇有联合体检的味道。四篇的结论拼起来相当不客气:记忆层的收益宣称,在写入、使用、删除、有效性四个环节上都遭遇了实证挑战。
四篇论文,各查记忆生命周期的一段写入:Raw-RAG(2610.30755)原始日志直查在 7 组设置中 6 组居首超最进取的记忆系统 0.13 到 5.53 分证据覆盖面补上了利用率短板使用:MemPABench(2610.30485)Mem0 与 MemOS 不敌无记忆基线文件式记忆有提升但用错场合正确偏好摆在眼前也难覆盖习惯删除:AfterDeleteBench(2610.31366)删掉原件后单次提问约三分之二可复原无原件也能按组成规则 62 到 99% 重建溯源闭包是实测有效的解法有效性:治理态污染(2610.30698)2080 组对照里 96.25% 被改变投影LongMemEval 干净减污染差 40.54 分有 oracle 执法可 100% 恢复
图|四篇 10 月 21 到 22 日提交的论文分别指向记忆的写入、使用、删除与有效性四个环节,合成一张覆盖记忆全生命周期的体检单。
写入环节的当头一棒来自 Raw-RAG(编号 2610.30755,西安交通大学团队,六位作者)。这篇的标题就把立场亮明了——复杂的智能体记忆真的一直有必要吗?它的基线朴素到近乎挑衅:拿稠密检索加重排,直接在原始对话历史里翻证据。结果在 LoCoMo、LongMemEval、MEME、MemoryAgentBench 四个基准上,这个「裸基线」在七组基准-模型组合里六组居首,超最进取的智能体记忆系统 0.13 到 5.53 分。原因藏在证据分析里:原始历史对必要证据的覆盖面,足以抵消利用率上的短板——有用的证据既包括答案本身,也包括推导答案需要的关系与依赖路径,而记忆层改写历史时难免丢掉后者。更狠的一条对照:即便把改写后的存储全部开放给模型,准确率仍与原始证据有一道跨不过去的差。 使用环节的补刀来自 MemPABench(编号 2610.30485,四位作者):它不考「记没记住事实」,考「记没记住用户想被怎样对待」。四个模拟用户、14 条交互偏好、四个月 99 个会话,中途每人经历五次偏好变更。结果 Mem0、MemOS 这类检索式记忆与简单 RAG 一道,成绩不比完全没有记忆强多少;文件式记忆虽有提升,却会把偏好用到不相干的场合。最扎心的一条:正确的偏好就摆在上下文里,智能体依然难以覆盖自己的默认交互习惯。
写入猜测税:记忆层替未来的问题下注记忆层写入时必须猜哪些内容将来会被问到猜错的部分被改写丢弃原始日志什么都不猜,全部保留覆盖面天然占优论文的补刀拿到全部改写后存储仍与原始证据有准确率差记忆层要证明自己,得先跟这个不花钱的基线比过口径提醒:结论限定在对话类任务,四篇均为论文自报
图|记忆层在写入时就要猜未来问题需要什么,猜错即成沉没成本;原始日志不猜所以覆盖面占优,即便拿到全部改写后存储也补不回准确率差。
删除环节的风险由 AfterDeleteBench(编号 2610.31366,五位作者)揭示:删掉原始记忆记录,不等于信息消失。在受控实验里,单次提问就能以约三分之二的概率从 Qwen2.5-7B 上复原已删除的秘密,而从未接触过秘密的对照组复原率为零;即便不留任何逐字副本,只留按公开组成规则拆开的碎片,Qwen、Mistral、Phi-3 三家的精确重建率仍有 62% 到 99%(合成秘密、小模型受控测试,不能直接折算成生产环境泄露率)。实测中能把复原压到零的方案是溯源闭包——删除记录时连带清掉由它派生的一切。有效性环节则是治理态污染研究(编号 2610.30698,四位作者):不动存储内容,只篡改「哪些记录算数」的控制状态,2080 组对照里 96.25% 的投影被改变,LongMemEval 二元正确率的干净减污染差距达 40.54 个百分点(区间 30.32 到 50.71);有 oracle 执法介入可 100% 恢复。一句话:一个没人查的有效性标志,比一个弱检索器更伤。 把四篇连起来读,增量认知其实是一条:记忆层在写入时就得替未来的问题下注,猜错的部分就是「写入猜测税」;这笔税之外,还有删除残留和控制面失控两道暗礁。这与 1941 期写过的持久记忆祛魅一脉相承——那篇查的是记忆层架构收益的测量方法,本轮四篇则把矛头对准了记忆生命周期本身。对记忆厂商来说,坏消息是裸基线不花钱;好消息是路线图也算给出来了:少猜、溯源、给有效性标志配上执法。局限照旧:四篇均为论文自报,结论多限定在对话类任务,执行场景是否同样成立,目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。