同一个坑,摔两次

智能体改完一个错误,换个会话又原样摔进去,这是跑过长任务的人都熟悉的场景。现有两条路都不太顺:把反思写进上下文或笔记文件,下次还得检索回来,而且要占上下文预算;走全参数微调把经验写进权重,训练成本摆在那儿,还得处理新旧能力互相干扰。

10 月 22 日提交的 arXiv 论文 2610.31846 给了第三条路。七位作者,来自普林斯顿大学与 Meta FAIR,标题把主张写得很直白:别忘掉你刚学到的东西。他们的方法叫 Self-Direction——智能体跑失败一次之后,回头看自己的执行轨迹,提炼出该改的行为,然后把这条教训蒸馏进一组小规模的低秩适配器参数里。

同一个错误,三条不同的记账方式写进上下文把反思附在提示词或笔记里换个会话就容易丢还占上下文预算全参数微调直接改底座权重训练成本高可能干扰已有能力低秩适配器把教训蒸馏进小规模参数底座与旧适配器都冻结碰到新任务按需挂载每个适配器训练的参数量约为底座模型的 0.02%底座权重保持冻结,新教训不会覆盖此前学到的东西来源:arXiv 2610.31846,10 月 22 日提交,七位作者
图|左边是常见的上下文反思,中间是全参数微调,右边是论文提出的做法:把纠错经验蒸馏成一组低秩适配器,底座权重不动。

支点在于底座不动

训练新适配器时,底座模型的参数和已有适配器的参数都保持冻结。这一条是整个设计的支点:它保证后来学到的教训不会把此前学到的覆盖掉,也避开了全参数微调最让人头疼的能力互相干扰。每个适配器训练的参数量约为底座模型总参数量的 0.02%,规模小到可以在本地很快训完,也能存下来、做版本管理、按需挂载。

每条教训对应一个适配器,训完先用来重试当前任务,同时进经验库。遇到新任务时,路由器比对当前任务描述与历史任务描述的相似度,判断要不要挂上某个适配器。经验通过适配器影响模型行为,不必把整段反思文本塞回上下文——这就是它相对上下文路线的核心优势:不占预算,也不会因为上下文变长而被稀释。

一次失败,留下一个适配器执行失败回看轨迹提炼教训训适配器入库待用新任务到来时,路由器比对任务描述与历史描述的相似度,决定挂不挂稳定性口径Claw-Eval 要求同一任务三次独立运行全成达标比例 51.6% 提升到 64.6%提高 13.0 个百分点开放式任务GAIA 上经验库最多三个适配器总占用约 256 MB成功率 36.4% 升到 52.7%整体:三套基准上成功率提高 8.9 到 17.0 个百分点,论文称已能与前沿系统相比
图|上排是教训入库的流程,下排是两组实测数字;论文称纠错可靠性接近翻倍,少量适配器还能迁移到几十个新任务。

测出来的数字,以及它们的口径

评测用基于 Qwen 系列开放权重模型搭的智能体,跑三套环境:GAIA 的开放式研究任务、Claw-Eval 的工具调用工作流、Terminal-Bench 2.1 的终端任务。论文给出的整体结果是成功率提高 8.9 到 17.0 个百分点,并称已能与前沿系统相比。

两组更具体的数字值得单独看。一组是稳定性口径:Claw-Eval 上有一项要求同一任务在三次独立运行中全部成功,采用该方法后达标比例从 51.6% 提高到 64.6%,提高了 13.0 个百分点。三次里只要有一次失败就不计入,这个口径比平均成功率更能说明后续执行稳不稳。另一组是 GAIA 上的实验:经验库最多装三个适配器、总占用约 256 MB 的情况下,成功率从 36.4% 升到 52.7%。

论文还给了两条定性结论:纠错可靠性接近翻倍;少量适配器可以迁移到几十个新任务而不用再训练。这两条的含金量比前面的百分点更高——前者说明改的是策略分布而不是临时提示,后者说明教训能泛化,不是逐题记忆。不过「接近翻倍」与「几十个新任务」都是定性表述,公开摘要没有给具体比值与任务清单。

它和另外几条路是什么关系

把这篇和本站此前记过的两条放在一起看会更清楚。一条是动作层沉淀:把成功的工作流存成共享执行记忆,下次确定性回放,页面变了才让模型介入。另一条是记忆编辑:让智能体拿原始轨迹、运行时记忆和架构代码三份证据,对自己的记忆模块做有界原位编辑。

三条路的差别在于改什么。回放改的是下次的输入,记忆编辑改的是存下来的内容,而 Self-Direction 改的是权重。改权重的好处是效果稳定、不占上下文;代价是可解释性变差——一条教训进了适配器之后,你没法像读一段笔记那样知道它到底说了什么,出问题时也不容易定位是哪条教训在起作用。

还有一个绕不开的前提:路由器得判断得准。挂错适配器比不挂更糟,而摘要里没有说明路由的准确率、误挂时的回退机制,以及经验库变大之后检索与挂载的开销。经验库能装多少、会不会像上下文一样出现稀释,也是摘要没回答的问题。这些细节目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。