先说明:这是编辑的归纳,不是谁宣布的战略

把 11 月 3 日到 6 日这五份材料摊在桌上——一份 MCP 幻觉基准、一份支付机构的购物考卷、一份企业平台更新、一笔十亿美元估值融资、一个开源自动建模智能体——它们来自互不相干的主体,谁也没提过要一起做什么。但读下来会发现,五家都在补同一个动作:让智能体在「不该做」的时候,能停得下来,并且停得有依据、有记录。下面这三层切法是我们自己的归纳,不是行业共同发布的标准,请先带着这个前提往下看。

为什么突然都撞到这儿?一个很朴素的解释是,过去两年工程重心一直在「让智能体能动手」:接工具、开权限、给沙箱、延长运行时间。目标函数也随之定型——任务完成给正反馈,中途退出不给分。于是「不做」在传统软件里那种默认状态,到智能体这里反而成了要专门造出来的能力。模型被训练成继续推进,工具返回不成就再试一次,条件不满足也倾向于交个结果。停手,反倒是最反直觉的一步。

「不做」要成为一等公民,缺三样判据什么条件下该停手,谁把它写进任务定义验收「正确地放弃」怎么计分、怎么复盘责任停手造成的损失,算在谁头上目标函数只会奖励「做完」,不会奖励「没做」
图|三样缺一样,停手就会退化成一次看不出来的漏做。

其一,判据:什么条件下该停,得有人写进任务定义

MCPHallu 那 358 道题里,「目标不可达」这一类均分 0.458,只有 23.2% 的运行算通过,典型表现是继续发工具调用或宣称已完成。Visa 的购物基准更直接:约 54% 的失败运行最后仍然下了单。两个场景差得很远,缺口却是一模一样的——系统里没有一条可计算的信号,告诉它「这个目标根本不成立」「这个条件还没问全」。站内 1750 的 FixedBench 也量过相近的东西:任务压根不需要改代码,五个模型仍有 35% 到 65% 的概率提出多余改动。三份材料合起来指向一件事:停手不能指望模型自觉,得在任务定义里写明判据,并且让这个判据在执行链路上真能被读到。

其二,验收:正确地放弃,得能被计分和复盘

光有判据不够,还得算得清。Visa 每个模型每道题跑三次,三次全过只有 34.2%,同一请求重复提交结果可能翻面;MCPHallu 里同一模型换一类失败,名次平均漂移 6.9 位,两类之间相关系数 -0.12。这两组数字说的是同一句话:一个聚合分验收不了智能体,一致性、分型表现、以及「该不做的确没做」,都得单独计分。ModelEvo 2.0 补的是另一头——把「这次高分算不算数」交给独立裁决,用选择校正、独立复现、测试集隔离和冻结后一次性留出,堵住自己给自己打高分的路。三者拼起来,验收口径才算从「做完了」扩到「做得对,也知道什么时候不该做」。

其三,责任:停手造成的损失,算在谁头上

最难的一层在这儿。Mistral 把「哪一步由人拍板」写进工作流定义,Traversal 把「查清」和「动手」分成两段,站内 2190 的 CrowdStrike 把急停做成可下单的产品,2167 的 Replit 把修复与重新发布拆成两个开关——全都在把决策点从自动化链路里显性地标出来。但这几家的公开材料里,没有一个回答后续问题:如果智能体判断不该做、结果错过了该做的时机,这笔账记谁?记录里能不能查到当时是谁、依据哪条规则判断的?审计要的是一条可回放的证据链,不是一个「未执行」的状态码。

这一周五份材料,各自补了一角MCPHallu把「目标做不到」做成一类可测失败Visa把「不买」算作一个正确答案ModelEvo把「这次高分算不算数」交给独立裁决Mistral把「人拍板」写进工作流定义Traversal把「查清」与「动手」分成两段都在补同一个动作:让停手有依据、有记录
图|五家互相没商量,落点却都在「不做」这件事上。

和前两篇归纳,别混成一件事

有必要切开。2193 那篇讲约束点从模型内部搬到运行时与网关,关心的是「约束放在哪一层」;2187 那篇讲评测单位从任务终点沉到过程动作,关心的是「怎么量过程」。本篇问的是第三个问题:约束发生之后,那个「不执行」的结果,能不能被系统承认、被计分、被追责。前两篇解决看得见和拦得住,这一篇关心的恰恰是拦下来之后留下的东西。三篇是同一条线上的三个环节,不是同一结论的三次复述。

对工程团队,能今天就做的动作其实不复杂:在任务定义里加一段明确的停止条件,别只写成功标准;给「正确地放弃」在验收集里留独立分项,和完成率分开算;在系统日志里给「不执行」单开一个字段,记下判据、时间、经手人。三件都不是技术难题,难的是承认它们属于产品设计范围,而不是模型调优的附属品。

三盆冷水,和三个可以盯的观察哨

冷静一点说:五份材料里,Visa 与 Mistral 是厂商自家发布,Traversal 的增长数字与 ModelEvo 的评测都是公司口径,MCPHallu 是未获第三方复现的单篇论文,没有一份构成独立审计过的行业结论。其次,公开材料里没写责任归属,不等于各家内部没做,只是外界看不到,别把「没披露」当成「没设计」。最后,这三层切法是编辑为了把事情讲清楚做的划分,真实系统里判据、验收、责任往往缠在同一段代码里,硬分开反而可能失真。

接下来值得盯的有三条:主流基准会不会把「弃权」「不执行」列成独立计分项,而不只是算失败;工作流类产品会不会把「人拍板」从可选项变成默认配置;出了事之后的记录里,能不能查到当时那条「判断不该做」的依据。哪一条先变成行业习惯,哪一条就可能成为下一轮真正的基础设施。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。