八个基准,各说各话

企业要把大模型接进智能体工作流,绕不开评测,而评测要覆盖的能力弧线很长:CRM 操作、异构文档检索、个人数据理解、多轮规划、工具使用、函数调用、长程研究和长上下文软件工程。可这些评测今天散落在不同的代码仓库里,跑法、依赖和打分约定各不相同,既难做跨基准比较,也让人搞不清一个总分数到底代表什么。EGI-BENCH(arXiv 2610.27234,10 月 19 日提交,来自 Salesforce AI Research)想把这些收拢起来。

八个基准,一个命令行CRMARENAHERBPERSONABENCHUSERBENCHMCP-UNIVERSEMCPEVALBENCHFORCELOCOBENCH统一 CLI + quick / deep 两种预算模式来源:arXiv 2610.27234(10/19,Salesforce AI Research)
图|EGI-BENCH 把 CRMARENA、HERB、MCP-UNIVERSE 等八个面向企业的智能体基准收进同一个命令行,提供 quick 与 deep 两种预算模式,免去逐个搭环境的麻烦。

它发布了一个统一的企业通用智能体基准套件,把 CRMARENA、HERB、PERSONABENCH、USERBENCH、MCP-UNIVERSE、MCPEVAL、BENCHFORCE、LOCOBENCH 这八个面向企业的智能体基准,收进同一个命令行接口,并提供两种带运行时预算的执行模式(quick 与 deep)。团队不必再为每个基准单独搭环境,一条命令就能在统一口径下跑起来。

EGI Score:六维,不拿平均糊弄

在套件之上,它定义了企业通用智能(EGI)分数,一个六维框架(M1 到 M6),各维度的细分指标由每个基准的细分度量按路由填进来,而不是简单地取基准层面的平均。论文报告了 14 个前沿与成本模型(覆盖 GPT、Claude、Gemini 系列)在 quick 模式下的结果:头部 EGI 从 GPT-4o mini 的 39.6,到 gpt-5.5 的 65.6;而且没有哪个模型能在所有能力轴上都占优——gpt-5.5 在任务结果、规划和检索落地维度领先,Claude Sonnet 4.5 在工具动作与安全/拒答维度领先,Claude Haiku 4.5 在工程质领维度领先。

EGI Score:六维,不拿平均糊弄M1M2M3M4M5M614 个模型:GPT / Claude / Gemini39.6 → 65.6没有模型在所有能力轴都占优
图|EGI-BENCH 定义六维 EGI Score,由每个基准的细分度量按路由填进来而非取平均;14 个模型里头部分数从 GPT-4o mini 的 39.6 到 gpt-5.5 的 65.6,且各有所长。

EGI-BENCH 对行业的价值,在于它把「企业智能体行不行」这个含糊的问题,拆成了可在同一把尺子下比较的细项。对选型方,它提示了一个常被忽视的真相:一个亮眼的总分,可能掩盖了某条能力轴的明显短板;挑模型时,更该看它在自己要用到的那几维上强不强,而不是被单一聚合分数带着走。