多智能体系统里有个默认设置很少被摆上台面:同伴智能体报上来的情况,默认是真的。10 月 13 日提交 arXiv 的 CLASHarness(编号 2610.19128)把这个默认设置拆了——它造了一个专门装冲突的基准,600 道多轮任务,15 个前沿模型上场,专考一件事:当子智能体开始撒谎、抢锁、下达互相矛盾的指令时,主智能体怎么办。

题目不是写出来的,是编译出来的过期状态同伴报的情况和环境已经不符矛盾指令两个智能体给出互相打架的命令争抢共享资源抢权限、抢文件、抢同一把锁分层场景规划 + 八步验证微流水线预提交视觉事实先渲染后冻结参考轨迹实跑编译评分器代码评分器与语义评分器从跑通的参考轨迹直接编译——每道题构造上可解,从机制上避开叙事漂移、答案泄漏和无法满足的评分标准规模:600 道多轮任务 · 15 个前沿模型上场 · 判分由混合评分器兜底
图|上排是三类现实冲突,中间是「先锁事实再出题」的流水线。读图要点:可验证性靠工程保证,不靠出题人的自觉。

先锁事实,再出题

评测冲突解决有个老麻烦:手工出题 scaling 不动复杂系统,放任 LLM 生成又会带来叙事漂移、答案泄漏和无法满足的评分标准。CLASHarness 的 pipeline 是工程解法:分层场景规划打底,八步验证微流水线串场,关键一招是在渲染之前先把决定性的视觉事实冻结,再从实跑通过的参考轨迹里直接编译混合评分器——代码判分加语义判分。结果是每道题构造上可解:不存在题目本身无解、或者评分器胡乱扣分的情况。冲突的三张面孔也定了型:同伴报的情况和环境已经不符(过期状态)、两个智能体给出互相打架的指令(矛盾指令)、多个角色争抢同一份权限与文件(争抢共享资源)。

三个瓶颈,一个比一个具体

15 个前沿模型跑下来,论文点了三个名。其一是盲信:子智能体的输出和环境冲突时,弱模型照着误导信息演,强模型会去看画面、自己验明真相——这一关分的是模型成色。其二是修复难:发现不一致并不难,难的是动手把系统状态改回正确,一修复,任务成功率明显往下掉。发现问题是识别,修复问题是执行,中间隔着整本操作谱系。其三是收尾:超过 58% 的收尾动作失败,最常见的两种死法是忘释放共享的锁、忘把任务交出去——前沿模型也照犯。前两关考智能,第三关考协作协议,而协作协议恰恰是过去基准几乎不碰的暗区。

15 个前沿模型,三关都没过干净瓶颈一:盲信子智能体报的情况与环境冲突时——弱模型照着错的演强模型会去看画面自己验明真相瓶颈二:修不动发现不一致并不难难的是动手把系统状态改回正确——一修复,成功率明显往下掉瓶颈三:收尾58%以上的收尾动作失败忘释放共享的锁忘把任务交出去前沿模型也照犯长跑比赛的输法,常常在最后一公里:任务主体完成了,锁没放、活没交,下一个环节全网兜底。协作协议不是锦上添花,是留在系统里的暗礁——而这恰恰是过去基准几乎不测的部分。
图|三张卡对应论文报告的三类瓶颈。读图要点:会合作不等于会收尾,58% 这个数字值得贴在每个多智能体团队的看板上。

放进赛道里看

把这个基准放进站内的叙事网格里,位置很清楚。1464 的年度观察问的是「计算机使用智能体到哪了」,答的是能力半径;GraceBench(1925)问的是「路走稳了吗」,答的是过程质量;CLASHarness 问的是「旁边有人的时候怎么办」,答的是协作可靠性——三层问题,一层比一层接近真实部署。它和 1176 那篇「无规则的事实」是同一枚硬币:多智能体交接时元数据一塌,糊涂账就开始了,CLASHarness 把这种糊涂账做成了可量化的考题。构造手法上也能和 1903 的 FrontierCode 对读:一边用私有集加轨迹扫描防污染,一边用「先冻结事实再编译评分器」保证可解,基准的基础设施正在集体升级。对 1902 的 Sociodrama 也是个补充——那边修的是社会性故障(知情者沉默、声音被锚定),这边修的是操作性故障(锁没放、活没交),合起来才是多智能体的完整病历。

需要保留的怀疑

600 道多轮任务是个严肃的起点,但计算机使用的世界远比它宽;冲突类型目前锁在三种,真实协作里的 Political 操作(临时结盟、策略性隐瞒)还没进门。评分器从参考轨迹编译,好处是可验证,代价是可能隐含「标准路径」偏好——换个解法但结果正确的轨迹,得分机制是否公平,要等论文细节和后续复现。摘要未提及代码与数据是否开源、冲突注入的多样性如何控制,这些都要等全文。以及那句老话:15 个前沿模型是快照,框架一升级,读数可能整体搬家。

目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。给正在跑多智能体系统的团队一条动作:别只画任务流程图,把「收尾清单」也写成显式协议——锁谁放、活怎么交、状态谁确认、异常谁兜底。58% 这个数字与其说是模型的耻辱柱,不如说是协议的空档:你把规矩写明白了,模型才有的可犯。