一句被反复引用的结论,换了个场景就变味

多智能体系统到底值不值,过去一年有个说法流传很广:协作能不能压过单智能体,取决于单智能体现在有多弱——它弱的时候,多智能体帮得上忙;它强了之后,多智能体反而拖后腿,交叉点大约在单智能体准确率 45% 附近。但这条「能力饱和定律」是从无人参与的自主基准上推出来的,那时没有真人介入。arXiv 2610.27655 把这道题重新搬到了智能体真正干活的地方:一个有用户在场、按书面策略办事的双控场景。

同一句结论,两个相反的环境自主基准(无人参与)协作帮弱的单智能体强了之后反而拖后腿交叉点约在 45% 单智能体准确率双控基准(用户在场)τ2-bench 航空零售电信13 个有效格 12 个 MAS 更差加权均值落后 28 分定律在自主环境推出来,放到真实人机协作里结论直接反转:多智能体不再更划算
图|能力饱和定律说协作在单智能体弱时有用,这条定律来自无人参与的自主基准;一旦把用户和书面策略请进场景,多智能体在 τ2-bench 上反而普遍落后。

研究者用 τ2-bench 的航空、零售、电信三个领域,拿六个来自三家厂商的模型,把现货单智能体和用同模型搭的集中式多智能体做了对照,跑了大约 7950 次模拟对话,每一次都记一本 token 账。结果挺扎心:在 13 个有效单元格里,多智能体有 12 个不如单智能体,仅打平的那个也只是在某个更接近 45% 的单元格、换了个模拟器才勉强追平;加权均值落后 28 分,置信区间落在负 44 到负 12 之间。定律预言会受益的那两个格子,多智能体反倒分别输了 13 分和 22 分。

没有预算天花板,最多打个平手

更现实的一笔账在开销上。研究特意比较了「放开预算上限」的情形:即便允许多智能体敞开用 token,它至多只能靠大约 5.5 倍的消耗,把成绩拉到和单智能体平起平坐。而且它并没有明显减少错误的数据库写入,只是把别的失败类型转化成了预算耗尽和原地不动。也就是说,在「服务真人、按规矩办事」的设定里,单智能体是更稳的默认项,多智能体若想上位,必须拿出与计算量相匹配、且来自这个场景本身的证据。

代价账:多花的 token 换不回胜率约 7950 次模拟对话,六个模型三家MAS 加权增益为负,95%CI [-44,-12]不设预算上限时,MAS 至多靠 5.5 倍 token 耗到平局研究已预注册并公开变更日志与全部轨迹、账目、提示词
图|在双控设定下,多智能体没有表现出收益;即便放开预算,也只能力拼命烧到和单智能体打平,且未明显减少误写数据库。

这篇的硬底气来自它的做法:研究做了预注册,公开了变更日志,并放出了全部轨迹、账目、提示词和代码。作者也坦白一个瑕疵——多智能体那版的规划器从没见过工具的结构说明,有一个有效性门槛没迈过。但这反而让结论更可信:它不是先有结论再挑数据。对做多智能体框架的人,这等于把一句流行话按了暂停键——别再拿自主基准上的好处,去替真实协作场景打包票;要证明多智能体有用,先在自己要落地的那个场景里,把计算和单智能体对齐了再比。