长程任务跑着跑着忘了为什么出发,是智能体工程里最贵的一种失败:不是崩了,是没崩,但方向已经偏了,token 照烧,工具照调,最后交一个认真但答非所问的结果。10 月 15 日提交 arXiv 的 Learning to Steer LLM Agents and Multi-Agent Systems(编号 2610.22316)给这个毛病起了名字——目标漂移(goal drift),并且配了一个专门的工种:掌舵智能体。
论文十位作者,机器学习分区为主,全文 21 页含 6 图,尚未经同行评审。设定不复杂:执行体照常干活(可以是单智能体,也可以是多智能体系统),旁边挂一个不参与执行的掌舵智能体,盯着执行上下文,发现漂移就把系统掰回来。关键设计在干预成本被拆成两档:快路径低成本、判断有界,只回答「现在要不要出手」;慢路径高成本、生成干预内容,只回答「怎么掰回来」。慢路径只在快路径举手之后启动——频繁的判断交给便宜的那档,贵的那档按次付费。
监督这件事,本身也能练
这篇论文的增量不只在架构,更在「掌舵」这件事是被训练出来的,不是写死的规则。两路干预用强化学习联合训练:配对排序目标负责「判得准」——哪些偏离是真的漂移、哪些是必要的临场调整;组相对策略优化负责「掰得回」——干预内容真的能让执行体回到总目标上。规则写得再细也穷不尽执行中的状况,把监督本身变成可学的策略,是这两年「元能力」思潮的又一处落点。
论文报告了三组迁移性:域外任务上有效(训练只做信息寻求搜索,结论能带到没见过的任务类型);对没见过的执行器有效(监督对象换掉,掌舵策略仍然管用);干预频率可控——这是个可以拧的旋钮,不用重新训练就能在成本与收益之间取舍。最后一组常被低估:零干预不是最优解,干预本身也是开销,可调才是工程上能用的形态。
放进台谱里看
站点追了一整年的「决策模型」一支(1027 的 TypeSafe Jev、1551 的 Strands Decider)共享同一个直觉:频繁、有界的判断不该占用生成式模型的上下文与 token。区别在替换的位置——那两支换掉路由与审查里的生成式推理,图的是省钱;本篇的掌舵智能体不替执行体干活,管的是「执行方向对不对」,图的是不跑偏。再往上数,1948 的 EvoProbe 做阶段级瓶颈蒸馏,是事后诊断进化;本篇是运行时纠偏。诊断与纠偏,本就是一对。
和 1886 那篇源感知强化学习(治编造率)也构成互补:一个管「别胡说」,一个管「别跑偏」,都是给执行过程加旁路。把这几篇连起来看,智能体工程的关注点正在从「单步能力」移向「全程形状」——单步再准,全程走偏一样归零。
几盆该浇的冷水
验证场景是信息寻求搜索任务,这类任务的「目标」相对可定义;换成多约束、目标本身会演进的真实工作(比如「把这个季度经营分析做出来」),漂移的判定标准会模糊许多。其次,掌舵智能体自己也是一次模型调用,长任务里它的累计成本论文没有折算——省下来的 token 可能有一部分只是换了个人花。再者,「迁移到未见执行器」的边界未定义:换基座模型还算不算同一个执行器,直接影响这条结论的适用范围。十人团队、预印本、未经同行评审,代码情况摘要页未说明。
给跑长程智能体的团队一个自检动作:给任务加一个「中途复述目标」的检查点——让执行体每 N 步用一句话重述总目标与当前动作的关系。复述对不上来的那一刻,就是漂移发生的时刻;这个零成本探针,比任何事后归因都更早出声。