给一台智能体 300 多个互相依赖的工具,会发生什么?近期更新到 v2 的基准 ComplexMCP 把答案摆在台面上:人类评估者平均拿到 93.61%,而 16 个被测模型里表现最好的 Gemini-3-Flash 也只有 55.31%,没有一个跨过 60%。这不是单点推理的失败,而是工具规模带来的系统性天花板。

差距不在智商,在工具规模

ComplexMCP 在七个有状态应用沙箱(操作系统、社交、电商、天气、航班、股票、新闻)上手工设计了 47 个任务,通过 MCP 暴露 150 多个互相依赖的工具和另一组无状态接口,再用种子初始化和注入式 API 故障扰动环境。结果是清晰的:人类约 94%,顶尖模型卡在 55% 附近,GLM-4.7 42.55%、Claude-Opus-4 41.84%,整张表里没有模型越过 60%。换句话说,当工具数量上到几百且彼此牵连,瓶颈从「聪不聪明」变成了「能不能在正确的时机调正确的工具」。

差距不在智商,在工具规模人类评估者93.61%Gemini-3-Flash55.31%GLM-4.742.55%Claude-Opus-441.84%16 个模型无一跨过 60%天花板清晰:模型再强,工具一多就挑不准
图|300+ 工具沙箱。读图要点:人类 94%、顶尖模型 55%,差距是工具规模而非单点推理。

三道瓶颈

论文把失败拆成三类,而且这三类随部署形态变化,不是智能体固有的毛病。其一是检索饱和:动作空间一大,智能体就挑不准下一步该用哪个工具,即便上迭代式向量召回,也不如把全部工具清单放进上下文。其二是过度自信:不先核实环境状态就动手,比如下单时假设用户一定存在、交易时假设账户额度够用。其三是战略投降:一遇到瞬时 API 错误或缺前置条件就放弃,而不是尝试恢复,GPT-5 在这种设定下只拿到 19.14%,被论文形容为「礼貌性投降」,越是重度训练拒绝与 hedging 的模型越容易中招。

失败分三类,且随部署形态变检索饱和工具一多就挑不准下一步全量清单 优于 向量召回中间步骤被检索漏掉过度自信不先核验环境就动手下单假设用户存在交易假设额度够用战略投降出错就放弃而非恢复GPT-5 仅 19.14%礼貌性投降部署形态:10–30 工具低风险300+ interdependent 高风险,需显式恢复提示
图|三道瓶颈。读图要点:从「主动执行者」转成「会看环境的规划者」,并给失败留恢复路径。

和「菜单大小」不是一回事

这里要和另一篇近期基准(菜单从 8 个涨到 128 个时成功率掉 17.5 个百分点)区分开:那篇量的是工具「菜单大小」对整体成功率的平滑影响;ComplexMCP 量的是互相依赖工具在真实扰动下的三类失败模式。两者合力说明同一件事——工具层是智能体当前最容易被忽视的短板,只是一个从「数量」切入,一个从「结构」切入。

部署形态决定风险

论文给了一张实用的对照表:10 到 30 个精选工具、单域,风险低;50 到 150 个、多域,检索与过度自信风险明显抬升;300 以上、有状态且互相依赖,三类瓶颈全部高发,必须上全量清单和显式恢复提示。对工程上的启发也直接:与其堆几百个细粒度工具,不如并成更少、更高层的工具(论文提到的 Consolidate Agent Tools、Tool Minimalism 正是这个思路),从设计上让检索不再饱和。

目前官方及行业暂未披露更多细节,包括各模型在真实企业系统里的表现口径,后续将持续跟进迭代动态。对正在把工具调用智能体推进生产的团队,ComplexMCP 的价值是把一句含糊的「agent 不够稳」拆成了可定位的三类病根。