评测一个智能体的规划能力，多数基准只盯着「最后那张计划对不对」。STEPBENCH 换了个问法：如果给你一道工序，你能不能看出哪一步被删了、改错了、或者排反了？这个差别，正是真实任务里最容易翻车的地方。
它怎么测
这篇 10 月 19 日发布的 arXiv 论文（编号 2610.26679，作者团队来自 Microsoft Research 等机构）从 wikiHow 爬出 6885 条人工验证过的工序，覆盖 81 个开放域类别。每条工序派生出 5 类诊断任务：四类有确定答案，分别是藏着一步、改错一步、打乱顺序、以及要求生成下一步，一类要求生成完整下一步。同一批工序横跨多任务，方便直接比较不同规划能力。
结果
在 12 个模型的 14 种配置下，规划能力差异显著，而步骤顺序是最难的——表现最好的模型也只能正确排对 63.0% 的工序，当工序达到九步以上，正确排序率直接掉到 33.1%。另一条发现：能否检出「错步」能预测人类判定的计划有效性，意味着可以用更低成本的诊断，替代整计划生成评测。
增量认知
它点破了一个评测盲区：终局计划漂亮，不代表中间过程没漏洞。缺一步、错一步、乱一步，在任何长流程业务里都是真金白银的损失。把过程正确性单独拎出来评，比只比终局更像生产环境。
对落地的含义
对正在搭 agentic 工作流的企业，这篇论文点出一个常被忽略的验收项：规划的可执行性。一个把步骤排反的规划器，会在流水线里埋雷——前一步的输出是后一步的输入，顺序一错，后面全废。评测 agent 时，不该只看终局答案漂不漂亮，还要考它能不能检出缺步、错步、乱序。把过程正确性单独拎出来测，比只比终局更接近生产环境，也更能提前拦住会翻车的规划。团队可以把这个思路搬进内部评测：拿自家真实 SOP 当工序，让规划器挑错，看它在哪类步骤上最容易栽。金融、运维、法务这类强流程行业，对步骤正确性的敏感度只高不低。
怎么把这套思路搬进内部评测
STEPBENCH 给企业的实用遗产，是一套低成本的验收模板。挑一条自家真实 SOP——比如开户审核、理赔流转、发布前检查——把它拆成有序步骤，再人工构造几类扰动：删掉其中一步、改错一个条件、打乱两段的顺序，交给规划器去识别。能稳定挑出这些错误的规划器，才会在生产里少埋雷。关键是把「过程正确性」当成独立指标，和「终局答案对不对」分开报：终局漂亮但过程有漏洞的规划，在强流程行业里一样会翻车。金融、运维、法务这类步骤顺序就是金钱的场景，值得把这道关提前到上线前，而不是等故障复盘时才发现顺序被排反。
局限与对照
STEPBENCH-Val 用了 2026 年发布的 214 条工序，分数与排名稳定，说明记忆化影响有限。但它仍偏「知识型工序」，对需要工具调用、环境反馈的实操型长任务覆盖有限；与侧重工具失败信号（延伸阅读 965，让工具调用大声失败）的评测互补而非替代。