八个基准,各说各话
企业要把大模型接进智能体工作流,绕不开评测,而评测要覆盖的能力弧线很长:CRM 操作、异构文档检索、个人数据理解、多轮规划、工具使用、函数调用、长程研究和长上下文软件工程。可这些评测今天散落在不同的代码仓库里,跑法、依赖和打分约定各不相同,既难做跨基准比较,也让人搞不清一个总分数到底代表什么。EGI-BENCH(arXiv 2610.27234,10 月 19 日提交,来自 Salesforce AI Research)想把这些收拢起来。
它发布了一个统一的企业通用智能体基准套件,把 CRMARENA、HERB、PERSONABENCH、USERBENCH、MCP-UNIVERSE、MCPEVAL、BENCHFORCE、LOCOBENCH 这八个面向企业的智能体基准,收进同一个命令行接口,并提供两种带运行时预算的执行模式(quick 与 deep)。团队不必再为每个基准单独搭环境,一条命令就能在统一口径下跑起来。
EGI Score:六维,不拿平均糊弄
在套件之上,它定义了企业通用智能(EGI)分数,一个六维框架(M1 到 M6),各维度的细分指标由每个基准的细分度量按路由填进来,而不是简单地取基准层面的平均。论文报告了 14 个前沿与成本模型(覆盖 GPT、Claude、Gemini 系列)在 quick 模式下的结果:头部 EGI 从 GPT-4o mini 的 39.6,到 gpt-5.5 的 65.6;而且没有哪个模型能在所有能力轴上都占优——gpt-5.5 在任务结果、规划和检索落地维度领先,Claude Sonnet 4.5 在工具动作与安全/拒答维度领先,Claude Haiku 4.5 在工程质领维度领先。
EGI-BENCH 对行业的价值,在于它把「企业智能体行不行」这个含糊的问题,拆成了可在同一把尺子下比较的细项。对选型方,它提示了一个常被忽视的真相:一个亮眼的总分,可能掩盖了某条能力轴的明显短板;挑模型时,更该看它在自己要用到的那几维上强不强,而不是被单一聚合分数带着走。