上个月本站写过 CLASHarness 对智能体执行链路的诊断:六百个任务、十五个模型跑下来,三大瓶颈里最扎眼的一条是「发现容易、修复难」——智能体能看见错误、能写出像样的批评,收尾阶段的失败率却超过 58%。诊断有了,药方呢?10 月 22 日提交的 arXiv 2610.31276 给出了一个训练侧的回应:RIPPLE,一门专门教编码智能体「拐弯」的课。

问题被论文描述得很直白:长程编码智能体可以观察到失败、也能生成一条看起来合理的批评,然后——继续沿着原来的错误路线走下去。看见和改道之间隔着一条沟,而这道沟此前主要靠部署时挂一个额外的评审器来弥合,成本和延迟都不友好。RIPPLE 的思路是把恢复行为本身变成训练目标,让一个策略模型在任务进行中就学会掉头。

RIPPLE:把拐弯变成可训练的监督信号prefix-only 老师只看当前轨迹给恢复监督蒸馏学生策略模型继承恢复行为强化学习三段信用分配部署无需辅助评审器三段信用怎么分何时该反思 / 诊断错在哪 / 采取什么纠正动作局部有效性信号限制中间决策从最终结果继承信用针对的病:能看见失败、能写出像样的批评,却继续沿着错误路线走来源:arXiv 2610.31276(10/22 提交),十二位作者
图|RIPPLE 用只看当前轨迹的 prefix-only 老师给恢复行为做监督,先蒸馏再强化学习,信用被分给何时反思、诊断什么、怎么纠正三段,部署时不需要额外的辅助评审器。

关键设计叫 prefix-only teacher:负责示范恢复行为的老师,只允许看当前轨迹里已有的证据,不许偷看后续动作和最终结果——这保证了老师给出的每一个「该拐弯了」的判断,都是学生在真实执行中同样能做出的判断,而不是事后诸葛亮的上帝视角。训练分两步:先把老师的恢复行为蒸馏给学生,再用强化学习精调,信用被明确切给三段——什么时候该反思、诊断错在哪里、采取什么纠正动作;局部有效性信号同时限制中间决策从最终结果继承功劳,避免「结果对了就全员记功」的粗放归因。部署时不需要再挂辅助评审器。

成绩是四个仓库级软件工程基准上对基础策略平均涨 4.8 分。这个数字不算石破天惊,但论文诚实地画出了适用边界:增益集中在「前缀里已经积累了足够诊断证据」以及「仓库状态还能在剩余预算内逆转」的场景——如果错误发现得太晚、或者改动已经把仓库带进无法回头的状态,再好的拐弯课也教不出来。

成绩与适用边界四个仓库级基准平均涨 4.8 分对基础策略的算术平均什么时候好用(论文自认)前缀里有足够诊断证据仓库状态还来得及在剩余预算内掉头接 1933 CLASHarness 的诊断:发现容易、修复难、收尾失败率超 58%来源:论文自报,属早期研究声明,增益口径为四基准平均
图|RIPPLE 在四个仓库级软件工程基准上对基础策略平均涨 4.8 分;论文同时承认增益集中在诊断证据充分、仓库状态尚可逆转的场景。

把这条线和 CLASHarness 的诊断对读,能看出研究社群处理同一问题的分工:先有人把病灶定位清楚(发现与修复的断裂、收尾阶段的塌方),再有人针对性地设计监督信号与信用结构。这种「诊断稿—方子稿」的接力,比单篇论文里自证自说的循环更有说服力。当然,冷水照例要备:这是一份早期研究声明,四个基准的均分口径掩盖了逐项差异,与真实生产环境的距离也未经验证;作者自己把适用条件写在了明面上。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。值得盯的观察哨:这套 prefix-only 思路会不会被搬进其他长程任务域,以及部署侧要不要为「恢复能力」单独立一个评估项。