智能体的长期记忆正在换范式:从工程师预设的固定流程,转向让模型自己学出「记什么、怎么取」的策略。10 月 21 日提交的 arXiv 论文 Uni-Mem(编号 2610.29671,十一位作者)把这一步推得更远——记忆的建构与检索,可以用同一个策略做端到端在线强化学习一起练。
记忆管理:从两截分开到一整个策略既有做法路线一:只优化记忆建构路线二:检索侧在线 RL建构侧却靠离线监督两阶段没法共同适应Uni-Mem建构与检索共用一个策略端到端在线强化学习下游答题效果直接当奖励为什么直接搬 GRPO 会翻车组内比较被另一阶段的变化污染;长轨迹反馈太稀疏来源:arXiv 2610.29671(10/21)
图|Uni-Mem 把记忆建构与检索合并成一个可学习策略做端到端在线强化学习,并指出直接套用 GRPO 会遇到组间污染与反馈稀疏两个障碍。
此前的方法分两派:一派只优化记忆建构,检索端维持原样;另一派给检索端上在线 RL,建构端却靠离线监督兜着。两截分开的结果是,建构和检索没法共同适应——建构端按旧标准存的记忆,检索端新学出的取法未必接得住。Uni-Mem 的主张是干脆用一个共享策略同时学两种能力,下游答题效果直接当奖励信号。 想法直接,落地却有两个坑。一是把 GRPO 这类组比较算法直接搬过来,组内比较会被另一个阶段的变化污染——你分不清分数波动是建构改了还是检索改了;二是记忆管理轨迹拉得很长,反馈稀疏。论文对症下了两味药:Stage-Decoupled GRPO 让建构与检索交替优化,每个 rollout 组内控制住另一阶段带来的变化,保证学习信号各自干净;Event-Wise Credit Assignment 把反馈定位到该负责的具体事件,再把事件级优势传回组成它的各步操作,稀疏回报从此有了记账单位。
两把手术刀:阶段解耦与事件级记账Stage-Decoupled GRPO建构与检索交替优化每个 rollout 组内控制另一阶段带来的变化Event-Wise CreditAssignment把反馈定位到该负责的事件事件级优势传回各操作LoCoMo 与 LongMemEval 上超过表现最好的 RL 记忆方法
图|Uni-Mem 用阶段解耦的 GRPO 让建构与检索交替进步,再用事件级信用分配把稀疏反馈定位到具体记忆操作,两个长程记忆基准上拿到更好结果。
成绩在 LoCoMo 与 LongMemEval 两个长程记忆基准上超过表现最好的 RL 记忆方法(论文口径)。放在近一个月的记忆赛题里看,这篇与 2090 期写过的 SPEM(用技能图谱组织复用)、2091 期写过的 WorkflowOps(记协作先验)构成三条不同的路:那两篇靠架构设计把记忆装进结构里,Uni-Mem 则主张结构本身也可以是练出来的。谁对谁错现在下不了结论,但「记忆管理器」正从一个工程组件变成一个可训练对象,这个趋势已经相当清楚。局限在于论文实验集中在问答类任务,记忆策略迁移到工具调用密集的执行场景是否同样有效,目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。