背景：现有协作测试的三处硬伤
多智能体系统已经大规模落地，但衡量它们「会不会配合」的尺子一直不太对。研究团队在论文里点出了三处结构性问题，本文认为这三处比结论本身更有参考价值。
其一是任务太短。多数现有基准的交互轮次不超过 20 步，而真实的团队协作往往体现在几十轮甚至上百轮的持续磨合里。用五分钟的小事去考验一支团队的长期作战能力，测出来的东西从根子上就偏了。
其二是把精细操作与协作决策混在一起。在类似《我的世界》的环境里，智能体要耗费大量精力处理三维空间的精确移动与方块摆放，真正花在「要不要和队友沟通」「该不该调整计划」上的预算被严重挤压。论文的比喻很贴切：这就像考核外科手术团队的配合默契度，却让主刀医生花大半时间调整手术台的螺丝松紧。最终分数反映的是谁手更稳，而不是谁更会配合。
其三是以 Project Sid 为代表的大规模模拟项目，虽然能让上千个智能体自由互动并涌现社会行为，却缺乏明确任务目标与可量化成功标准，无法用于打分排名。
论文于 2026 年 10 月发布，被测的四款模型为 Gemini 3 Flash、Claude Haiku 4.5、GPT-5 Mini 与 DeepSeek R1-70B，其中部分并非各自厂商同期的最高档位。因此本文所有数值都应当被理解为「在这个特定世界里这四款模型的表现」，而不是对多智能体路线或任何一家厂商的通用结论。目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。
AgentWorld 是什么：200 个任务与一套判定脚本
任务规模是 100 个人工标注的核心任务加 100 个由大模型生成的变体任务，覆盖战斗、制作、采集、交易、探索、生存、建造、协调八个类别。每个任务都带一套完整配置：一个需要多方协作的主目标、每个智能体各自不同的角色与技能等级与出生地点与初始物品、一个从 25 轮到 55 轮不等的交互轮次预算、每个智能体专属的任务背景文档，以及一套用 Python 写的成功判定脚本，直接检查最终游戏状态来判定任务是否完成。
任务设计的核心原则是没有任何单个智能体能独自完成。论文给出的典型例子是 68 号任务「资源商队」：需要 8 个智能体横跨三个地貌区域，一个队长协调森林里的两组伐木队与山区的矿工，还有一个工匠要接收两边送来的原材料打造一把镐子。整个过程需要商量谁去采什么、跨区域通报资源数量、在约定碰面点完成物资交接。
质量控制流程同样值得一提：五名人类标注员按预设类别分布设计任务，每个任务都要经过两个 AI 模型的试运行验证，失败会被分类为系统错误、任务设计错误或智能体自身错误，任务反复修改直到只剩下智能体本身的失误；轮次预算也根据试运行结果校准，既要保证挑战性又要确保理论上可行。
世界与接口：把底层操作封装掉，只留 13 个高级 API
环境选型的难点在于两难：太复杂像《我的世界》会让智能体淹没在底层操作里，太简单像狼人杀或 Overcooked 又撑不起足够丰富的长期协作。团队的解法是找中间地带——搭建一个足够复杂但把底层操作全部封装掉的世界。
沙盒基于开源 MMORPG 引擎 Kaetram，世界规模为 1056 乘 768 格地图、9 种地貌、380 多种物品、144 种怪物、70 多个 NPC 角色、1531 个可采集资源点，覆盖伐木、采矿、钓鱼、采集、制作、锻造、制箭、烹饪八种技能体系。
关键的一步是在引擎之上又包了一层抽象接口，提供 13 个高级 API 工具：移动、攻击、采集、制作、转移物品、聊天等。攻击这个工具背后包含寻路到目标、发起攻击、完成战斗、捡取战利品这一整套流程，但智能体只需调用一次函数。这个设计的用意很直接——让决策预算花在「做什么」和「和谁配合」上。
黑箱设定：沟通只靠聊天
黑箱交互模式指的是每个智能体只能获取自己周边的观测信息和公开的聊天消息，完全无法访问其他智能体的内部推理过程、计划或模型权重。这个设定贴近真实团队协作：你能看到同事发的邮件、说的话、做出的成果，但看不到他怎么想的。
由于沟通只靠聊天，智能体被迫学会一件事——把心里想的说出来。如果一个智能体规划好了下一步要采集多少木头却没告诉队友，队友只能靠猜测或者干等。
论文给出的一个具体案例说明了代价有多大：在一个由伐木工、木匠、法师组成的三人小队任务里，用 CCE 方法追溯整个协作链条后发现，27 个总行动里只有 12 个真正对完成任务有贡献，占比 44.4%。剩下超过一半的行动要么是重复劳动，要么是原地打转。
主结果：四模型成功率、部分成功率与 CCE 全表
四款模型使用完全相同的系统提示词、用户提示模板和工具定义，确保比的是协作推理能力而不是提示词工程水平。
| 模型 | 成功率 SR | 部分成功率 PSR | CCE |
|---|---|---|---|
| Gemini 3 Flash | 52.0% | 71.5% | 0.320 |
| Claude Haiku 4.5 | 45.0% | 62.7% | 0.294 |
| GPT-5 Mini | 36.0% | 62.6% | 0.206 |
| DeepSeek R1-70B | 20.0% | 43.5% | 0.125 |
表现最好的 Gemini 3 Flash 成功率 52.0%，与抛硬币相仿；而它的 CCE 只有 0.320，意味着即便在最好的模型上，所有智能体的行动加起来也不到三分之一真正对成功起了作用。DeepSeek R1-70B 的 CCE 为 0.125，接近九成的行动是无效功。
在增强测试集上，所有模型成功率都明显下滑，DeepSeek R1-70B 跌到 10%，说明那 100 个大模型生成的变体任务确实更难，不是凑数。
把 CCE 除以成功率可以得到一个粗略的比值：Gemini 3 Flash 约 0.615，Claude Haiku 4.5 约 0.653，GPT-5 Mini 约 0.572，DeepSeek R1-70B 约 0.625。这个比值四者相当接近，但成功率却相差 32 个百分点。原因是 CCE 在任务失败时直接记零，因此它是一个以成功为条件的指标，衡量的是成功任务内部的行动效率，而不是跨全部任务的资源效率。直接拿 CCE 横向比「谁更不内耗」会得出错误结论——DeepSeek 的比值并不低，它只是很少成功。此为本文基于公开数值的推算，论文未给出该比值。
CCE 怎么算，以及它为什么比主观打分更稳
传统上评判多智能体系统主要看成功率，但成功率看不出「划水式成功」——某个智能体一个人扛下所有活，其他人全程摸鱼，任务照样算成功。也有研究让大模型直接给协作质量打 1 到 5 分，但主观性太强，换个打分模型结果可能完全不同。
CCE 的做法是构建因果行动图。先找出直接达成任务目标的成功行动，然后一轮一轮往前倒推，每轮让大模型判断这一轮里的行动有没有为后面已确认有贡献的行动提供帮助，逐层滚雪球，最终得到贡献行动集合。公式为贡献行动数除以总行动数，任务失败则直接记零。
关键的设计巧思在于：让大模型做的是相对客观的二元判断，例如「钓虾这个行为是否让后来转移虾这个行为得以发生」，而不是主观打分。前者是有没有的问题，后者是好不好的问题，前者的稳定性明显更高。
团队做了两轮验证。抽样 84 个行动贡献度判断让人类标注员独立打标签，与 GPT-4.1 判断器的一致率为 82%，Cohen kappa 为 0.64，属于实质性一致；作为对照，换成 Claude Sonnet 4 作为判断器，两个判断器之间的一致率是 84%，kappa 为 0.66。人类与判断器的一致程度几乎和两个判断器互相之间的一致程度相当，说明这个二元判断本身站得住脚，不是某个特定模型的偏见产物。
| 验证维度 | 读数 | 含义 |
|---|---|---|
| 人类 vs GPT-4.1 | 一致率 82%，kappa 0.64 | 达到实质性一致水平 |
| Claude Sonnet 4 vs GPT-4.1 | 一致率 84%，kappa 0.66 | 人类与判断器的差异接近判断器之间的差异 |
| 跨判断器重算 CCE | 四个模型排名完全不变，绝对数值波动不超过 0.05 | 换裁判不变天，指标可复现 |
用 GPT-4.1、Claude Sonnet 4 与 Llama-4 Maverick 三个不同家族的模型分别重算 CCE，四个被测模型之间的排名顺序在三个判断器下完全一致，绝对数值波动最多不超过 0.05。这个稳定性验证说明，把复杂的主观打分简化成简单的二元因果判断，确实换来了更好的可复现性。这个思路对任何需要用大模型当裁判的评测场景都有借鉴价值。
话说多了不一定好：沟通量与成功率不成正比
论文里有一组反直觉的数据：聊天消息数量与任务成功率并不成正比。
| 模型 | 平均每任务聊天消息数 | 成功率 | 补充观察 |
|---|---|---|---|
| GPT-5 Mini | 44.1 条 | 36.0% | 在失败任务中有 26% 的行动花在聊天上 |
| Gemini 3 Flash | 约 11 条 | 52.0% | 沟通频率中等，成功率居首 |
| DeepSeek R1-70B | 7.5 条 | 20.0% | 平均到第 5 轮才首次发出消息 |
GPT-5 Mini 话最多却只排第三，在失败的任务里有 26% 的行动花在聊天上，光顾着沟通协调反而挤占了干活时间。DeepSeek R1-70B 消息最少，成功率垫底，而且平均到第 5 轮才首次发出消息，其他模型都是第 1 到 2 轮就开始沟通，这个滞后很可能让它错过了协调的窗口期。
把三个模型的两组数字放在一起看，呈现的是一条 U 形曲线：话太多会被协调开销拖累，话太少会错过对齐窗口，中间水平反而最优。这与人类团队的经验一致——会开得越多不代表推进越快，但完全不开会则各部门闷头干活最后还得返工。工程上的启示是，给多智能体系统设置沟通预算可能比鼓励充分沟通更有效，但论文并未直接验证这一干预，此为本文推断，需自行验证。
难度梯度：生存最容易，协调最难
按任务类别拆分，难度分布差异极大，这个梯度本身比总分更能说明多智能体系统的能力边界。
| 任务类别 | 成功率区间 | 本文的判断 |
|---|---|---|
| 生存类 | 67% 至 100% | 对协作精度要求不高，基本动作不出大错即可 |
| 交易类 | 约 33% | 需要双方对物品与价值达成一致，信息对齐成本上升 |
| 建造类 | 约 20% | 需要在时间与空间上同步，任一环节没接上链条就断 |
| 协调类 | 约 12% | 多方高度同步，是当前能力最薄弱的一类 |
这个梯度提示一件容易被忽略的事：多智能体系统的失败率并不是均匀分布的，它高度集中在需要多方在时间与空间上同步的任务类型上。在评估自家场景时，先判断它更接近生存类还是协调类，比看总分有用得多。
消融与基线：有计划反而更差
团队在一个 35 个任务的子集上做了四组消融，测试移除非对称角色信息、把轮次预算从 50 轮压缩到 10 轮、随机化出生地点、不提供任务专属文档这四种情况。结果是每一项拿掉都会造成下滑，最多能掉 25 个百分点。
| 消融条件 | 成功率 | 相对基线的变化 |
|---|---|---|
| 基线（35 个任务子集） | 54.3% | — |
| 移除任务文档 | 29.4% | 下降约 24.9 个百分点 |
| 轮次预算压缩到 10 轮 | 37.1% | 下降约 17.2 个百分点 |
| 随机化出生地点 | 下滑不到 3 个百分点 | 影响最小，说明该变量干扰已被有效隔离 |
影响最大的是移除任务文档与压缩轮次预算。这说明智能体的瓶颈很大程度上是信息获取和时间压力，而不是协作本身出了问题。相比之下随机化出生地点影响最小，反证了这套设计确实把无关变量的干扰降到了最低。
更值得讨论的是五组基线对照。完全随机动作的成功率只有 5.7%；单人扛下所有角色的成功率是 28.6%；去掉沟通渠道的成功率是 22.9%；而加了一份人类事先写好的共享计划但不允许沟通的版本，成功率反而更低，只有 17.6%；作为对照，让一个智能体能看到所有人消息、专门负责协调全队的上帝视角版本，成功率提升到 60%。
| 基线配置 | 成功率 |
|---|---|
| 完全随机动作 | 5.7% |
| 共享计划但不许沟通 | 17.6% |
| 去掉沟通渠道 | 22.9% |
| 单人扛下所有角色 | 28.6% |
| 上帝视角协调者 | 60.0% |
有计划却不许沟通的版本（17.6%）比完全没有沟通渠道的版本（22.9%）还低，团队的解释是：没有沟通渠道时智能体既没法验证队友进度，也没法在计划前提被打破时修正，死守一份固定分工反而会卡在某个依赖他人的步骤上动弹不得；而完全不带计划的智能体至少还能根据实际观察随机应变。本文进一步认为，这个结果的机制是「依赖等待」——静态分工把失败模式从「做错」变成了「等不到」，而等待在有限轮次预算下是纯亏损。迁移到工程上，多智能体系统中的固定任务分配必须在每个依赖点配置超时与降级路径，否则计划越详细越危险。
六类沟通失误清单
团队对 Gemini 3 Flash 在 100 个任务里产生的聊天消息做了错误类型分析，归纳出六类典型失误。这份清单的工程价值很高，因为它把「协作不好」这个抽象批评拆成了可被检查的具体项。
| 失误类型 | 占比 | 具体表现 |
|---|---|---|
| 过时与冗余 | 37.7% | 反复提到已完成的事、重复已知信息、问已有答案的问题 |
| 身份误判 | 16.4% | 搞错自己该扮演的身份，或向错误对象索要资源 |
| 事实性错误 | 14.8% | 报告错误的物品名称或坐标 |
| 过早宣布完成 | 11.5% | 关键步骤还没验证完就单方面宣称任务结束 |
| 无实质内容 | 11.5% | 礼貌但空洞的闲聊，不提供坐标或物资信息 |
| 逻辑不一致 | 8.2% | 执行明显无效的策略或发出自相矛盾的指令 |
占比最高的一类是过时与冗余，典型例子是法师明明上一轮已经把法杖做好了，却还在问「你现在有木棍了吗」。根源很可能是智能体对其他成员状态的理解或预测出现了偏差。
这份清单的共同本质是信息没对齐：智能体之间缺少一个可靠机制去确认对方到底知不知道自己的进度，就像一群人接力传话，前面的人改了口径，后面的人还在按老版本转达。
同月另外两张协作考卷：SWECraft 与 MAMath-Bench
把 AgentWorld 放到同一时间窗口的其它工作里看，结论会更立体。2026 年 10 月还有两份聚焦多智能体协作的材料，测的是完全不同的两件事。
Worlds of SWECraft（arXiv 2610.24061，10 月 16 日提交、10 月 21 日修订）来自包括华盛顿大学、MIT 与艾伦人工智能研究所在内的团队。它构建 Software World 框架，用真实且相互依赖的 Python 包模拟软件生态系统，让智能体在世界中维护各自的程序包，以「提升软件效率」为高层目标，自行发现任务并与他人协作，最终用隐藏依赖包的加速比来集体评价。团队在三个不同的世界中跑模拟，累计超过 1 万小时的智能体工作，覆盖八款模型。结果是性能提升随推理时算力扩展，最好的模型把下游效率提升了最多 31%；同时发现多数智能体能够通过协作找到有意义的任务，但部分前沿模型会过早停止寻找改进，因而进展甚微。
这份材料与 AgentWorld 形成了有意思的互补：AgentWorld 里的失败主要是协调失败，而 SWECraft 里暴露出的是另一类问题——主动性不足导致的提前收工。后者在企业场景里其实更常见，也更难被成功率这类指标发现。
MAMath-Bench（arXiv 2610.26943，10 月 18 日提交）来自西安交通大学团队，是一个面向多智能体数学推理的过程感知基准，包含 1003 道题目，横跨 11 个数学类别、多个难度等级，并覆盖文本、图像与音频三种模态，提供细粒度里程碑标注。它从三个维度评估：解题正确性、推理过程可靠性、对对抗性推理链扰动的鲁棒性。三项发现是：多智能体协作并不能持续提升相对强单模型的最终答案准确率；协作能显著提升中间推理的覆盖率，但代价是推理冗余增加；现有系统对对抗性推理错误仍然脆弱，尤其是那些涉及细微结构扰动的错误。
三份材料放在一起，本文认为可以提炼出一个共同信号：多智能体的收益高度依赖于「被衡量的那一维」。在最终答案准确率上，协作的增益并不稳定；在中间过程覆盖率上，协作确有增益；在长程协调与主动性上，当前的失败率依然很高。因此把多智能体当作验证与审计层来用，可能比当作提升答案质量的手段更可靠。
四条读榜检查与冷静判断
本文建议用以下四条检查来读这类多智能体评测，避免把特定环境下的读数当成通用结论。
其一，看被测模型是不是当期最高档。AgentWorld 测的四款模型里至少有两款并非厂商同期最高配置，把 52% 读成「前沿模型的多智能体上限」会高估问题，也会低估问题——取决于你实际用的是哪一档。
其二，看有没有单智能体对照。本文展示的表里缺一列：同样模型在单智能体配置下的成功率。论文给出的最接近的对照是「单人扛下所有角色」的 28.6%，但那是单模型扮演多角色，不等于单智能体基线的常规配置。缺了这一列，就无法判断多智能体到底是加分还是减分。
其三，看 CCE 的适用条件。它是一个以成功为条件的指标，失败记零，因此只能在成功任务内部解释效率，不宜跨模型横向比。本文在前面给出的比值即是为此提供的一支标尺。
其四，看任务与自家场景的距离。AgentWorld 的协调类任务成功率约 12%，建造类约 20%，生存类 67% 至 100%。如果自家场景本质是生存类——容错高、依赖少——那么 52% 这个数字与你关系不大；如果是协调类，那么即便是 60% 的上帝视角协调者配置也意味着五分之二会失败。
最后需要说明的是，这三份材料均为预印本，尚未经过同行评议；AgentWorld 的中文转述来自多家科技媒体，本文所引数值以这些转述中相互一致的部分为准，论文原文的 arXiv 编号在检索中未获得可直接引用的稳定条目，因此未在参考来源中列出编号而改为标注转述渠道。这些数字更可靠的读法是「多智能体协作在当前仍有硬骨头」，而不是「多智能体路线行不通」。目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。