能力评测 2026-10-22 25 分钟阅读 进阶

多智能体到底值不值:两份 10 月论文给出相反答案

一份在有用户参与的双控制基准上让多智能体 12 输 1 平、加权均值落后 28 分,一份在自动科研场景下让会遗忘的四智能体团队比单智能体高至多 39%;本文把两份论文的条件差拆成三张对照表,并算出它们的成本效率差约为 4 倍且方向相反

摘要

2026 年 10 月下旬,两份 arXiv 预印本对同一个问题给出了方向相反的实证答案:多智能体协作到底值不值。arXiv 2610.27655(10 月 20 日提交)在 τ²-bench 这个「用户与智能体共同控制」的双控制基准上,用六个模型、三个家族、约 7,950 次模拟对话,比较标准单智能体系统(SAS)与同模型构建的集中式多智能体系统(MAS),结果是 13 个有效格里 MAS 输 12 格、平 1 格,拟合加权均值落后 28 分,95% 置信区间为负 44 到负 12 分。arXiv 2610.20563(10 月 14 日提交,加州大学伯克利分校、斯坦福大学与 Bespoke Labs)在自动科研场景下给出相反结果:让四个会互相通信的智能体周期性遗忘、只保留当前最优候选再重启,在同等预算下比四个并行智能体高至多 15%,比单个智能体高至多 39%。本文不重复两篇论文各自的结论,而是把它们放在同一张表上,找出造成分歧的三个条件变量,并给出四条工程判据。

背景:一条来自自主基准的经验规则,被搬到有人的场合

多智能体系统(MAS)被大规模部署,前提假设是协作优于单智能体系统(SAS)。但「什么时候优于」一直没有定论。此前系统性程度较高的一项研究给出了一条能力饱和规则:当 SAS 较弱时协作有帮助,一旦 SAS 变强协作反而有害,交叉点大约在单智能体准确率 45% 附近。

这条规则有一个重要限定:它是在自主基准上推导出来的,场景中没有任何用户参与。而今天大量智能体的实际工作方式恰恰是反过来——它们在对话中与人协作,并且要遵循一份书面策略。arXiv 2610.27655 的作者要检验的就是:把同一条规则搬到有用户在回路的场景,还成不成立。

论文 A:双控制场景下的 13 个有效格

论文 A 编号 arXiv 2610.27655,作者为 Ethan Yang 与 Xiangcheng Shi,2026 年 10 月 20 日 05 时 13 分(UTC)提交,学科标注为人工智能与多智能体系统,篇幅 62 KB。基准是 τ²-bench,一个双控制基准:智能体在与模拟用户对话的同时遵循书面策略。覆盖航空、零售、电信三个域。

设计上比较的是标准 SAS 与用同一模型构建的集中式 MAS,共六个模型、三个家族,约 7,950 次模拟对话,每个回合、每个系统各记一份 completion token 账本。研究做了预注册并公开变更日志,这一点在同类实证里不多见。

项目设置与读数
基准τ²-bench(双控制:用户参与 + 书面策略)
域航空、零售、电信
模型六个模型,来自三个家族
规模约 7,950 次模拟对话
计量每回合、每系统一份 completion token 账本
有效格13 个
胜负分布MAS 输 12 格,平 1 格,胜 0 格
拟合加权均值负 28 分,95% 置信区间 负 44 到 负 12 分
规则预测应受益的两格MAS 分别输 13 分与 22 分
无预算上限时至多打成平手,代价是 SAS 的 5.5 倍 token 支出
能力相关性斜率负 0.41,95% 置信区间 负 1.51 到 正 0.68,未解决
有效性一项有效性条件未达成:MAS 的规划器从未见过工具 schema

安全侧的结果也值得记一笔:MAS 没有可检出地减少错误的数据库写入,它只是把一部分失败类型转换成了预算耗尽与不作为。也就是说,多出来的协调成本并没有换来更安全的动作,只是换了一种失败形态。

论文 B:会遗忘的四智能体团队

论文 B 编号 arXiv 2610.20563,标题为《Scaling Discovery Requires Forgetting》,10 月 14 日提交,作者共 11 人,机构包括加州大学伯克利分校、斯坦福大学与 Bespoke Labs,其中包含 Koushik Sen、Alex Dimakis 与 Matei Zaharia。

它研究的是自动科研:智能体提出方案、裁判打分、智能体用分数决定下一步试什么。作者比较三种扩展方式——让一个智能体迭代更久、多个智能体并行、并行且互相通信。三者的共同问题是都会随着历史积累而进入平台期:智能体被自己的过去尝试锚定,编辑越来越少、越来越小。

解法是遗忘:周期性丢弃搜索状态,包括每个智能体的会话与候选历史,只保留目前找到的最优候选,然后从它重启。实验里遗忘三次,把预算切成四轮。四个任务分别是 AtCoder Heuristic Contest 014 的启发式求解器、Frontier-CS Q171 的优化题、Anthropic 在模拟 VLIW SIMD 机器上的内核性能挑战,以及一个小型语言模型的五分钟训练脚本。执行用 Pi 智能体、DeepSeek V4.1 Flash 模型,每个配置跑三次。

任务单智能体四智能体并行会遗忘的团队团队相对单智能体
AtCoder AHC014(千分,越高越好)7959641,103提升约 38.7%
VLIW 内核(周期数,越低越好)1,2621,1721,077周期减少约 14.7%
报告口径上限—相对并行至多 +15%—相对单智能体至多 +39%

平台期本身也有量化证据:在首次重置之前,团队的编辑量从约 150 行降到约 30 行,每轮推理 token 从约 28,000 降到约 7,000。也就是说,预算还在花,动作的幅度却在塌缩。

正面照:两份论文的条件差在哪里

两篇论文的结论方向相反,但它们的实验条件几乎在每个维度上都不同。把条件差摊开,比争论谁对谁错更有用。

维度论文 A(2610.27655)论文 B(2610.20563)
是否有用户在回路有,智能体与模拟用户对话无,全自动跑分循环
任务性质收敛型:存在正确动作,遵循书面策略发散型:开放式发现,无标准答案
判分方式基准判定是否合理处理可执行的评分器给出连续分数
协调开销能否被摊薄不能,对话轮次受用户节奏约束能,多轮搜索本身就要花预算
历史的作用上下文即正确性依据,不能丢历史成为锚定负担,丢掉更好
模型与框架六模型三家族,集中式 MAS 对标准 SAS单一模型 DeepSeek V4.1 Flash、单一框架 Pi
结论MAS 12 输 1 平团队相对单智能体至多 +39%
🧭 本文判断:分歧不在模型能力,在任务有没有可判定的地面真值

把两篇并排看,多智能体的收益并不主要取决于模型本身的能力档位,而取决于两件事:任务是否存在可判定的正确性依据,以及协调开销能否被摊薄。在双控制场景里,正确答案由策略文本与用户诉求共同决定,协调不能带来新信息,只会消耗轮次与预算;在自动科研场景里,没有标准答案,多智能体的价值恰恰是提供多样性,而多样性的敌人是历史锚定,所以遗忘有效。这个解释框架是本文基于两篇论文的条件差提出的,两篇原文均未做此对照。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。

本文推算:成本效率差约 4 倍,且方向相反

两篇论文都给了成本相关的读数,但口径不同,需要换算到同一把尺上才可比。这里用「每单位收益的 token 成本」这一把尺,做一个量级上的对照。

论文成本读数收益读数本文换算的成本效率方向
A:双控制无预算上限时 MAS 花 SAS 的 5.5 倍 token至多打成平手成本效率约为 SAS 的 1/5.5,即约 0.18 倍负向
B:自动科研同等总 token 预算相对单智能体至多 +39%成本效率约 1.39 倍正向
两篇之比——1.39 除以 0.18,约 7.7 倍方向相反
📐 本文推算:同样是多智能体,两篇的成本效率相差约 8 倍且符号相反

以「每单位收益的 token 成本」为尺,论文 A 的 MAS 效率约为 SAS 的 0.18 倍(1 除以 5.5),论文 B 的团队效率约为单智能体的 1.39 倍(1 加 0.39)。两者相除约为 7.7 倍。需要强调三点限定:其一,论文 A 的 5.5 倍出现在「无预算上限时最多打成平手」这一最有利条件下,若计入预算封顶的场景,MAS 的表现只会更差,因此 0.18 是偏乐观的估计;其二,论文 B 的 39% 是四个任务中的上限值,不是平均值,取平均会明显低于 1.39;其三,两篇的收益单位不同,A 用百分点,B 用相对提升率,本换算只做量级对照,不能当作可直接引用的指标。上述换算均为本文算术推导。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。

能力饱和规则为什么在双控制场景失效

论文 A 最有价值的部分不是「MAS 输了」,而是它精确指出了旧规则在哪里失效。按能力饱和规则,在 SAS 准确率低于约 45% 的格上,协作应当带来收益。实验里恰好有两个格落在这个预测区间,结果是 MAS 分别输 13 分与 22 分。

仅有的一处正向结果出现在最接近 45% 的那个格上,但前提换用了第二个模拟器。这个细节很关键:它说明所谓「受益」极其脆弱,换个用户模拟器的实现就可能消失,而不是一个稳定的能力区间现象。

关于「增益是否随能力上升而下降」这个问题,论文给的斜率是负 0.41,95% 置信区间为负 1.51 到正 0.68,跨过零点,因此未能解决。原因是模型与域的交互效应压过了能力主效应。这意味着想用「我们模型弱,所以上多智能体」来做决策,目前没有可靠的实证支撑。

锚定效应:两篇论文其实在说同一件事

表面上两篇结论相反,但机制层面有一处交汇:两者都在说「上下文的累积方式决定了后续行为的质量」。

论文 A 里,双控制场景的上下文包含用户诉求与策略条款,这部分不能丢,所以协调只能是加一层规划而无法重排已有信息;加进去的那层在轮次受限时变成纯开销。论文 B 里,上下文主要是自己的失败尝试,这部分丢掉之后多样性反而恢复。

上下文里装的是什么丢掉的后果多智能体的作用结论
外部约束(用户诉求、策略、工具结果)直接出错无法替代,只能叠加协调变为净开销
自身历史(失败尝试、旧候选)释放探索空间提供多样性协作加遗忘带来净收益

对工程团队的直接含义是:在决定要不要上多智能体之前,先回答一个问题——你的任务里,上下文的主要成分是外部约束还是自身探索历史。前者为主时,把预算投在单智能体的上下文治理上更划算;后者为主时,才值得为多智能体付出协调成本,并且要认真考虑周期性重置。

读榜检查:五条不能跳过的口径提示

序号提示影响
1两篇均为预印本,未经同行评审结论应作方向性参考,不宜作为采购或架构的单点依据
2论文 A 一项有效性条件未达成:MAS 规划器从未见过工具 schema作者已主动披露;这可能压低 MAS 表现,真实差距或小于 28 分,但方向未变
3论文 A 只用一个基准(τ²-bench)的三个域外推到其他双控制场景需谨慎
4论文 B 只用一款模型与一款智能体框架,每配置三次运行样本量小,39% 为上限值而非期望值
5两篇的「多智能体」定义不同:A 为集中式规划加执行,B 为并行加通信不能把两者的结论合并成一条通用规则

工程判据:什么时候该上多智能体

把两份实证合起来,可以得到一份更保守但也更可用的判据清单。

判据倾向单智能体倾向多智能体
任务可判定性有明确正确动作与书面策略开放式、无标准答案
是否有人在回路有,且轮次受用户节奏约束无,可全自动长跑
上下文主要成分外部约束与工具结果自身尝试与候选历史
预算形态有硬上限,超支即失败固定总预算,允许内部再分配
失败代价错误动作不可逆(如数据库写入)产物可重跑、可验证

还有一条来自论文 A 的实践建议值得单独引用:作者的立场是,对于服务人的智能体,SAS 应当是默认选项,任何多智能体设计都必须出示来自该场景本身、且在算力匹配的条件下取得的证据。这句话可以当作立项评审时的一条硬门槛——不要拿自主基准上的增益去论证双控制场景的投入。

冷静判断:结论怎么用,不能怎么用

可以用它做什么。其一,推翻「多智能体天然更好」的默认假设:至少在用户参与、策略约束、预算封顶的服务型场景里,现有证据不支持这个默认。其二,把「遗忘」当作一个和「记忆」同等重要的上下文治理手段——过去一年行业几乎一边倒地在加记忆,而这份实证说明,在探索型任务上,定期清零可能比无限累积更有效。其三,把成本效率而不是绝对分数当作选型尺:论文 A 里 MAS 至多打平却花 5.5 倍 token,这类账在只看准确率的评审里会被完全漏掉。

不能怎么用。其一,不能把论文 A 的结论外推到编码、搜索、数据分析等自主场景——本栏目 R-BENCH-36 记录的 Vals AI 多智能体团队横评里,团队配置在中档推理强度上仍有统计显著增益,说明场景差异确实存在。其二,不能因为论文 B 的 39% 就全面转向多智能体——那是四个任务的上限值,且只验证了一款模型与一款框架。其三,不能用这两篇预印本互相抵消,得出「多智能体不好不坏」的中间结论;它们测的是不同条件,正确的读法是把条件记下来,再对照自己的任务。

两篇论文都公开了轨迹、账本或代码,这在同类研究里是加分项,也为独立复现留了入口。截止本文发稿,尚未见到第三方复现结果。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。

核心发现

参考来源

  1. arXiv 2610.27655 —《Does Multi-Agent Collaboration Pay When Agents Serve Users? Testing Agent Scaling in Dual-Control Settings》(2026 年 10 月 20 日 05:13:13 UTC 提交,cs.AI 与 cs.MA,62 KB;作者 Ethan Yang、Xiangcheng Shi;摘要含 τ²-bench 三域、六模型三家族、约 7,950 次模拟对话、13 个有效格胜负分布、加权均值负 28 分与置信区间、5.5 倍 token、斜率负 0.41、预注册与变更日志、有效性条件未达成)
  2. Atlas News —《Multi-agent AI loses in 12 of 13 user-service tests》(10 月 21 日;对 2610.27655 的独立转述,含「SAS 应作为默认选项」的原文立场引用与预印本未评审提示)
  3. arXiv 2610.20563 —《Scaling Discovery Requires Forgetting》(2026 年 10 月 14 日提交;作者含 Shangyin Tan、Ben Zhou、Lakshya A Agrawal、Jialin Zhang、Yilin Chen、Qiuyang Mang、Donghyun Lee、Dennis Jacob、Koushik Sen、Alex Dimakis、Matei Zaharia;机构为加州大学伯克利分校、斯坦福大学与 Bespoke Labs;含四种任务、遗忘机制定义、至多 15% 与 39% 读数)
  4. FourWeekMBA —《AI Agents That Forget Beat a Single Agent by Up to 39%》(10 月;含 AtCoder AHC014 的 1,103 对 964 对 795 千分读数、VLIW 内核 1,077 对 1,172 对 1,262 周期读数、编辑量 150 行降到 30 行与推理 token 28,000 降到 7,000、Pi 智能体与 DeepSeek V4.1 Flash 配置、每配置三次运行)
  5. ChatPaper 与 arxivtldr —《Scaling Discovery Requires Forgetting》结构化摘要(用于核对任务清单、遗忘定义与四个任务的领域归属)
  6. 本栏目 R-BENCH-36 — Vals AI Vibe Code Bench 多智能体团队横评(用于说明自主编码场景下团队配置仍存在统计显著增益,防止把论文 A 的结论过度外推)