判断一个智能体“干得对不对”,多数团队看的是终点:数值对没对、任务完没完成。一篇被 NeurIPS 2026 CLEA workshop 接收的论文(arXiv 2610.01833)给了个不同视角:终点答对的任务,路径可能早就走歪了。研究覆盖 240 个试验,结论是 92.6% 最终数值检查通过的任务,仍然含有轨迹级的偏差——它拿到了对的答案,却可能踩过违规、不安全或不合规的步骤。这类偏差之所以危险,是因为它藏在“成功”的壳里——传统打分只会给一个对勾,既看不见过程,也无从追责。

终点对,不等于路径对

设想同一个任务,两种走法都给出了正确的数字结果:路径 A 全程合规,权限、参数、数据完整性都没问题;路径 B 在中间某步越了权、参数顺序写反、或者破坏了库的一致性,只是最后把结果凑对了。只做终点评测的系统,会一律打勾放行,完全看不到两条路径的差别。问题就在于,生产环境里我们关心的往往不是“最后那行数对不对”,而是“它是怎么走到这行的”。

同一任务数值答案对路径 A合规执行路径 B越权/参数错✓ 终点判通过✗ 终点也判通过终点评测只看到对勾92.6% 通过的任务仍带轨迹偏差
图 1|终点同对、路径不同:终点评测只判对勾,漏掉合规与违规两条路径

过程级检查能抓什么

论文主张把评测从“看结果”下沉到“看每一步”。过程级检查能稳定抓住三类终点检查会漏掉的问题:工具选错(调了不该调的接口)、参数顺序错(字段位置颠倒)、数据库完整性破坏(写入破坏了约束)。这些都不是终点能反映的——数字可能对,但过程已经埋了雷。这套框架在 240 个试验里,把平均每个运行 6.34 个失败检查,经由依赖归因收敛到 2.65 个根因。

终点检查只数结果过程级检查看每一步工具选错参数顺序错库完整性破坏依赖归因6.34 失败症状→ 2.65 个根因症状与根因分开报
图 2|过程级检查抓住工具选错、参数顺序错、库完整性破坏;依赖归因把症状归到根因

依赖归因:把症状归到根因

过程级检查的价值不只在于“发现更多错”,更在于“别被症状淹没”。同一个底层失误,常常在轨迹里表现为好几个不同的失败信号——工具报错一次、参数告警一次、后续查询异常一次。如果不做归因,运维看到的是一堆零散报警;做了依赖归因,才能定位到“其实是一个根因在反复表现”。论文把症状与根因分开报告,正是为了让监控从“数错误条数”升级成“修根因”。

代价与边界:过程检查也不是免费午餐

把评测下沉到每一步,代价是实打实的。其一,你得在运行期把完整轨迹留下来——工具调用、参数、返回值、数据改动一条都不能丢,这对存储和采样都是新增负担;其二,过程级检查会暴露远多于终点检查的信号,若不做归因收敛,告警量会先把人淹没,反而掩盖了真问题。论文用依赖归因把平均 6.34 个症状压到 2.65 个根因,正是为了对抗这种“越查越吵”。换句话说,过程检查的价值,一半在“查得细”,另一半在“收得拢”。

还有一个容易被忽略的前提:这套方法要成立,首先得有“什么算合规路径”的明确标尺。规则缺失或被污染的环节,过程检查也只能照着错误标准打勾。所以它更像是给已有良好工程规范的团队补一层护栏,而不是替混乱的团队做决策。把它当成“买了就能放心”的开关,反而会制造新的盲区。另外,这篇工作目前挂在 NeurIPS 2026 CLEA workshop,覆盖面是 240 个试验,属于早期实证,结论还需要在更大规模、更多任务类型上复现才会更稳。

对生产的含义

这项研究指向的是一个正在成形的工程共识:智能体的生产监控不能止步于“输出对了没”。对高价值、有副作用的任务(改记录、动资金、碰私人数据),需要在运行期保留轨迹,对工具选择、参数、数据完整性做逐步校验,并且把失败归因到根因而不是堆报警。它和同期关于基准效度、关于跨基准不迁移的讨论是同一方向的互补——前者说“尺子量不准”,这里说“就算终点量准了,过程也可能早已失守”。把两层都补上,生产监控才算立住了脚。