先说明:这是编辑的归纳,不是谁宣布的战略
把 11 月 3 日到 6 日这五份材料摊在桌上——一份 MCP 幻觉基准、一份支付机构的购物考卷、一份企业平台更新、一笔十亿美元估值融资、一个开源自动建模智能体——它们来自互不相干的主体,谁也没提过要一起做什么。但读下来会发现,五家都在补同一个动作:让智能体在「不该做」的时候,能停得下来,并且停得有依据、有记录。下面这三层切法是我们自己的归纳,不是行业共同发布的标准,请先带着这个前提往下看。
为什么突然都撞到这儿?一个很朴素的解释是,过去两年工程重心一直在「让智能体能动手」:接工具、开权限、给沙箱、延长运行时间。目标函数也随之定型——任务完成给正反馈,中途退出不给分。于是「不做」在传统软件里那种默认状态,到智能体这里反而成了要专门造出来的能力。模型被训练成继续推进,工具返回不成就再试一次,条件不满足也倾向于交个结果。停手,反倒是最反直觉的一步。
其一,判据:什么条件下该停,得有人写进任务定义
MCPHallu 那 358 道题里,「目标不可达」这一类均分 0.458,只有 23.2% 的运行算通过,典型表现是继续发工具调用或宣称已完成。Visa 的购物基准更直接:约 54% 的失败运行最后仍然下了单。两个场景差得很远,缺口却是一模一样的——系统里没有一条可计算的信号,告诉它「这个目标根本不成立」「这个条件还没问全」。站内 1750 的 FixedBench 也量过相近的东西:任务压根不需要改代码,五个模型仍有 35% 到 65% 的概率提出多余改动。三份材料合起来指向一件事:停手不能指望模型自觉,得在任务定义里写明判据,并且让这个判据在执行链路上真能被读到。
其二,验收:正确地放弃,得能被计分和复盘
光有判据不够,还得算得清。Visa 每个模型每道题跑三次,三次全过只有 34.2%,同一请求重复提交结果可能翻面;MCPHallu 里同一模型换一类失败,名次平均漂移 6.9 位,两类之间相关系数 -0.12。这两组数字说的是同一句话:一个聚合分验收不了智能体,一致性、分型表现、以及「该不做的确没做」,都得单独计分。ModelEvo 2.0 补的是另一头——把「这次高分算不算数」交给独立裁决,用选择校正、独立复现、测试集隔离和冻结后一次性留出,堵住自己给自己打高分的路。三者拼起来,验收口径才算从「做完了」扩到「做得对,也知道什么时候不该做」。
其三,责任:停手造成的损失,算在谁头上
最难的一层在这儿。Mistral 把「哪一步由人拍板」写进工作流定义,Traversal 把「查清」和「动手」分成两段,站内 2190 的 CrowdStrike 把急停做成可下单的产品,2167 的 Replit 把修复与重新发布拆成两个开关——全都在把决策点从自动化链路里显性地标出来。但这几家的公开材料里,没有一个回答后续问题:如果智能体判断不该做、结果错过了该做的时机,这笔账记谁?记录里能不能查到当时是谁、依据哪条规则判断的?审计要的是一条可回放的证据链,不是一个「未执行」的状态码。
和前两篇归纳,别混成一件事
有必要切开。2193 那篇讲约束点从模型内部搬到运行时与网关,关心的是「约束放在哪一层」;2187 那篇讲评测单位从任务终点沉到过程动作,关心的是「怎么量过程」。本篇问的是第三个问题:约束发生之后,那个「不执行」的结果,能不能被系统承认、被计分、被追责。前两篇解决看得见和拦得住,这一篇关心的恰恰是拦下来之后留下的东西。三篇是同一条线上的三个环节,不是同一结论的三次复述。
对工程团队,能今天就做的动作其实不复杂:在任务定义里加一段明确的停止条件,别只写成功标准;给「正确地放弃」在验收集里留独立分项,和完成率分开算;在系统日志里给「不执行」单开一个字段,记下判据、时间、经手人。三件都不是技术难题,难的是承认它们属于产品设计范围,而不是模型调优的附属品。
三盆冷水,和三个可以盯的观察哨
冷静一点说:五份材料里,Visa 与 Mistral 是厂商自家发布,Traversal 的增长数字与 ModelEvo 的评测都是公司口径,MCPHallu 是未获第三方复现的单篇论文,没有一份构成独立审计过的行业结论。其次,公开材料里没写责任归属,不等于各家内部没做,只是外界看不到,别把「没披露」当成「没设计」。最后,这三层切法是编辑为了把事情讲清楚做的划分,真实系统里判据、验收、责任往往缠在同一段代码里,硬分开反而可能失真。
接下来值得盯的有三条:主流基准会不会把「弃权」「不执行」列成独立计分项,而不只是算失败;工作流类产品会不会把「人拍板」从可选项变成默认配置;出了事之后的记录里,能不能查到当时那条「判断不该做」的依据。哪一条先变成行业习惯,哪一条就可能成为下一轮真正的基础设施。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。