结果几乎没动，账单差了近四倍
11 月 1 日提交的 arXiv 论文 MemUse，挑了一个很少被认真追问的问题：给智能体配了记忆之后，任务成功率、检索质量和调用成本这三项常用指标，其实都答不出「这条记忆有没有被用上、用完起了什么作用」。研究者的做法是把评测挪到使用点——在已经跑完的轨迹里，逐条回看每一次记忆送达，先和智能体当时本来就能看到的内容对照，再顺着后续动作与后果往下追。
实验规模不小。以 SWE-bench Verified 的全部 500 个任务、12 个 Python 仓库为底，四套记忆配置各跑四次，攒出 8000 集记忆轨迹，另加 2000 集无记忆基线；被评测的三套系统是 MemGovern、Mem0 的两个配置，以及 TencentDB Agent Memory，执行侧用 mini-SWE-agent 配 gpt-6-luna，裁判模型是 DeepSeek-V4.1-Flash-1017，看得到标准补丁但看不到最终是否通过。
先看结果层：无记忆基线解决率 72.95%，四套配置落在 72.65% 到 73.35% 之间，差距最多 0.40 个百分点，每个置信区间都含零；基线自己四次运行本来就在 71.8% 到 75.0% 之间晃，16 组记忆运行全部落在这个波动范围里。换句话说，只看终点，这四套系统和没配记忆几乎是一回事。可成本不是一回事：单集花费从 0.0045 美元涨到 0.0049 美元（MemGovern，+8.8%），最高的 TencentDB 到 0.0178 美元（+293.2%）。同样的结果，账单差了近四倍，终点指标一个字都不会告诉你。
送达不等于信息量，更不等于被用
把镜头推到使用点，画面完全不同。论文用相关性、准确性、新颖性、影响力与可观察效果五个信号给每条送达打标，再用程序检查裁判有没有把引用证据读完，最后按固定规则汇总成与记忆历史和送达成本挂钩的判定。结论有点扎心：平均每个片段里 71.5% 到 98.6% 的条目与任务无关；按系统看，相关性占比分别是 MemGovern 15.08%、Mem0 约 1.42% 到 1.43%、TencentDB 28.48%，而 TencentDB 里那个每次都出现的角色说明块单独就贡献了 18 个百分点，去掉之后其余片段只剩 15.9%。
更关键的是「相关但没用」。所有系统里，51.3% 到 79.7% 的相关条目被智能体晾在一边，既没有据此行动，也没有被选择或引用。还有大量送达只是把眼前已有的内容又说了一遍：Mem0 有 78.2% 的送达属于复述，其中智能体仍然看得见的副本占掉 68.1% 的送达词元；TencentDB 的复述比例是 88.4%。它在 99.8% 的单集里都交付过相关条目，可把重复出现的固定项排除后，只剩 14.3% 的单集还有相关条目。这几个数字放一起，指向一句很朴素的话：送达量不是信息量。
真被采纳的条目一共 714 条，其中 421 条判为有益、16 条有害、64 条没有可观察效果，另有 213 条（29.8%）效果无法确定。有益条目只出现在 3.65% 到 7.05% 的单集里。词元效率也拉得很开：MemGovern 每百万送达词元能换来 50.50 条有益条目，其余配置只有 3.08 到 4.92 条。而有益条目高度集中在少数送达形态上——MemGovern 的完整卡片贡献 96.4% 的有益条目却只占 12.5% 的送达词元，Mem0 的任务开场召回是 75.8% 对 13.0%，TencentDB 的完整技能是 86.0% 对 2.0%。要省钱，先砍复述和常驻块，比换模型更直接。
结果会撒谎，两种方向都会
这篇论文最值得记下的，是它把结果指标遮住的两类事实同时翻了出来：被判为有益记忆使用的单集里，89/383、也就是 23.2% 最后仍然失败；反过来，16 个被判为有害使用的单集里，有 5 个照样过关。前一类容易被误读成「记忆没用」，后一类更危险，会被当成「记忆有效」继续放大。论文还补了一刀：260/383 的有益使用发生在基线四次都解出来的任务上，而基线四次都解不出的 79 个任务里，73 个仍然没解出来——记忆更多是在顺风顺水的题上锦上添花，没怎么改变硬骨头的分布。
这个视角和本站此前两条线索能接上。那条讲提示缓存的稿子算的是循环里重复付费的账，属于成本侧；10 月 31 日另一篇 arXiv 论文 MemSidecar 则把记忆调度从主智能体身上剥下来，用 Hooks 按事件直送、用独立智能体预判查询并提前取回缓存，在 MCP-Persona 上分别拿到 41.23% 与 44.34% 的成绩，属于调度侧。MemUse 补的是第三块：不管你怎么送、怎么缓存，得先有一把能量出「有没有被用上」的尺子。三块合起来，才是一套完整的记忆工程闭环。
冷水：它是观测，不是因果判决
分寸得说清。论文自己写明，判定描述的是记录轨迹里观察到的行为，不是「如果没这条记忆会怎样」的反事实效应；裁判拿到了标准补丁，程序检查只能保证证据读全，不能保证五个信号都判准，29.8% 的效果无法确定就是明证。成本记录覆盖的是整次调用，没法把记忆文本单独拆出来，只能按插入位置估算体积。MemGovern 的经验卡片语料还被查出与基准任务的讨论和修复细节有重叠，附录专门记了证据与来源限制。此外每个系统、模型、任务组合只跑一集，文中没有给出数值型延迟，可见正文里也没有独立的局限性章节。
对工程团队的意思反而很具体：别再拿任务成功率当记忆系统的验收线。先把送达日志留全，按「是否相关、是否新颖、是否被采纳、采纳后发生了什么」四栏回看一遍，再决定砍哪一送、留哪一种形态。这把尺子立起来之后，ROI 才算得清；否则省下来的词元和花出去的钱，都只是同一条曲线上的两个读数。