同一个坑,摔两次
智能体改完一个错误,换个会话又原样摔进去,这是跑过长任务的人都熟悉的场景。现有两条路都不太顺:把反思写进上下文或笔记文件,下次还得检索回来,而且要占上下文预算;走全参数微调把经验写进权重,训练成本摆在那儿,还得处理新旧能力互相干扰。
10 月 22 日提交的 arXiv 论文 2610.31846 给了第三条路。七位作者,来自普林斯顿大学与 Meta FAIR,标题把主张写得很直白:别忘掉你刚学到的东西。他们的方法叫 Self-Direction——智能体跑失败一次之后,回头看自己的执行轨迹,提炼出该改的行为,然后把这条教训蒸馏进一组小规模的低秩适配器参数里。
支点在于底座不动
训练新适配器时,底座模型的参数和已有适配器的参数都保持冻结。这一条是整个设计的支点:它保证后来学到的教训不会把此前学到的覆盖掉,也避开了全参数微调最让人头疼的能力互相干扰。每个适配器训练的参数量约为底座模型总参数量的 0.02%,规模小到可以在本地很快训完,也能存下来、做版本管理、按需挂载。
每条教训对应一个适配器,训完先用来重试当前任务,同时进经验库。遇到新任务时,路由器比对当前任务描述与历史任务描述的相似度,判断要不要挂上某个适配器。经验通过适配器影响模型行为,不必把整段反思文本塞回上下文——这就是它相对上下文路线的核心优势:不占预算,也不会因为上下文变长而被稀释。
测出来的数字,以及它们的口径
评测用基于 Qwen 系列开放权重模型搭的智能体,跑三套环境:GAIA 的开放式研究任务、Claw-Eval 的工具调用工作流、Terminal-Bench 2.1 的终端任务。论文给出的整体结果是成功率提高 8.9 到 17.0 个百分点,并称已能与前沿系统相比。
两组更具体的数字值得单独看。一组是稳定性口径:Claw-Eval 上有一项要求同一任务在三次独立运行中全部成功,采用该方法后达标比例从 51.6% 提高到 64.6%,提高了 13.0 个百分点。三次里只要有一次失败就不计入,这个口径比平均成功率更能说明后续执行稳不稳。另一组是 GAIA 上的实验:经验库最多装三个适配器、总占用约 256 MB 的情况下,成功率从 36.4% 升到 52.7%。
论文还给了两条定性结论:纠错可靠性接近翻倍;少量适配器可以迁移到几十个新任务而不用再训练。这两条的含金量比前面的百分点更高——前者说明改的是策略分布而不是临时提示,后者说明教训能泛化,不是逐题记忆。不过「接近翻倍」与「几十个新任务」都是定性表述,公开摘要没有给具体比值与任务清单。
它和另外几条路是什么关系
把这篇和本站此前记过的两条放在一起看会更清楚。一条是动作层沉淀:把成功的工作流存成共享执行记忆,下次确定性回放,页面变了才让模型介入。另一条是记忆编辑:让智能体拿原始轨迹、运行时记忆和架构代码三份证据,对自己的记忆模块做有界原位编辑。
三条路的差别在于改什么。回放改的是下次的输入,记忆编辑改的是存下来的内容,而 Self-Direction 改的是权重。改权重的好处是效果稳定、不占上下文;代价是可解释性变差——一条教训进了适配器之后,你没法像读一段笔记那样知道它到底说了什么,出问题时也不容易定位是哪条教训在起作用。
还有一个绕不开的前提:路由器得判断得准。挂错适配器比不挂更糟,而摘要里没有说明路由的准确率、误挂时的回退机制,以及经验库变大之后检索与挂载的开销。经验库能装多少、会不会像上下文一样出现稀释,也是摘要没回答的问题。这些细节目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。