上个月本站写过 CLASHarness 对智能体执行链路的诊断:六百个任务、十五个模型跑下来,三大瓶颈里最扎眼的一条是「发现容易、修复难」——智能体能看见错误、能写出像样的批评,收尾阶段的失败率却超过 58%。诊断有了,药方呢?10 月 22 日提交的 arXiv 2610.31276 给出了一个训练侧的回应:RIPPLE,一门专门教编码智能体「拐弯」的课。
问题被论文描述得很直白:长程编码智能体可以观察到失败、也能生成一条看起来合理的批评,然后——继续沿着原来的错误路线走下去。看见和改道之间隔着一条沟,而这道沟此前主要靠部署时挂一个额外的评审器来弥合,成本和延迟都不友好。RIPPLE 的思路是把恢复行为本身变成训练目标,让一个策略模型在任务进行中就学会掉头。
关键设计叫 prefix-only teacher:负责示范恢复行为的老师,只允许看当前轨迹里已有的证据,不许偷看后续动作和最终结果——这保证了老师给出的每一个「该拐弯了」的判断,都是学生在真实执行中同样能做出的判断,而不是事后诸葛亮的上帝视角。训练分两步:先把老师的恢复行为蒸馏给学生,再用强化学习精调,信用被明确切给三段——什么时候该反思、诊断错在哪里、采取什么纠正动作;局部有效性信号同时限制中间决策从最终结果继承功劳,避免「结果对了就全员记功」的粗放归因。部署时不需要再挂辅助评审器。
成绩是四个仓库级软件工程基准上对基础策略平均涨 4.8 分。这个数字不算石破天惊,但论文诚实地画出了适用边界:增益集中在「前缀里已经积累了足够诊断证据」以及「仓库状态还能在剩余预算内逆转」的场景——如果错误发现得太晚、或者改动已经把仓库带进无法回头的状态,再好的拐弯课也教不出来。
把这条线和 CLASHarness 的诊断对读,能看出研究社群处理同一问题的分工:先有人把病灶定位清楚(发现与修复的断裂、收尾阶段的塌方),再有人针对性地设计监督信号与信用结构。这种「诊断稿—方子稿」的接力,比单篇论文里自证自说的循环更有说服力。当然,冷水照例要备:这是一份早期研究声明,四个基准的均分口径掩盖了逐项差异,与真实生产环境的距离也未经验证;作者自己把适用条件写在了明面上。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。值得盯的观察哨:这套 prefix-only 思路会不会被搬进其他长程任务域,以及部署侧要不要为「恢复能力」单独立一个评估项。