三份基准、三种出题人:专家、业务流程、生成器
2026 年 11 月出现了三份方向不同但可以并置的 Agent 基准。GDP.xlsx 于 11 月 13 日提交,作者 Suhaas Garre、Sushant Mehta、Edwin Chen,被 Agent Evaluation Science Symposium(纽约,2026 年 11 月)接收;BizAgentBench 于 10 月 14 日首次提交、11 月 5 日更新到 v3,作者 Enhan Zhao 等十人;SynthCorp 于 11 月 10 日提交 v1.0,八位作者均与 Google 有关联,其中包括 Alon Halevy。三份的题目来源分别是:从业者手写、一家支付公司的真实流程、程序按事件日历生成。
| 基准 | 出题人 | 题量与领域 | 判据形态 | 提交日期 |
|---|---|---|---|---|
| GDP.xlsx | 13 个领域的从业者手写需求,专家配判据 | 70 道需求,13 个领域 | 791 条二元判据,全部满足才算通过 | 2026-11-13 |
| BizAgentBench | 一家头部支付公司的真实业务流程 | 50 道长程多轮任务 | 确定性检查目标达成与执行历史合法性 | 2026-10-14,v3 于 11-05 |
| SynthCorp | 程序按事件类型与虚拟日历生成 | 7 个数据场、256 道题、5 个领域 | 从模拟日志的因果出处导出可执行标准答案 | 2026-11-10 |
把三份并排看,首先要问的不是「谁更难」,而是「它们各自把难度放在了哪」。GDP.xlsx 把难度放在判据的合取上:791 条二元判据,一条不满足就不算通过;BizAgentBench 把难度放在过程上:最终目标达成但中途违规,仍判失败;SynthCorp 把难度放在数据的因果一致性上:题目由事件产生,答案必须能在模拟日志里找到出处。三种难度不可互换,也不能相加成一个综合分。
GDP.xlsx:70 道真人需求与 791 条二元判据
GDP.xlsx 的构造方式是「专业需求加完整文件加专家判据」。70 道需求由 13 个领域的从业者写成,每道配一份完整工作簿或 CSV,合计 218 万个已填充单元格;判据由专家写成二元条件,合计 791 条。Agent 在一个容器里用表格工具作业,判分由一个能打开文件的 agentic judge 按判据逐条核对。
其中两类判据值得单独说明:完整性(completeness)与排他性(exclusivity)。前者要求集合型答案被找全,后者要求没有多余项。这两条把「差不多对」排除在外——多找一个也算错,少找一个也算错。这正是表格类工作的真实验收方式:财务模型多算一行、漏掉一个科目,结果就不能用。
| 读数 | 数值 | 说明 |
|---|---|---|
| 需求数 | 70 | 13 个领域的从业者撰写 |
| 判据数 | 791 | 二元条件,逐条核对 |
| 已填充单元格 | 218 万 | 随题的完整工作簿或 CSV 合计 |
| 模型配置数 | 20 | 含 Google、Anthropic、OpenAI 的前沿模型 |
| 头部 strict pass@1 | 38.3% | Gemini 4 Argon |
| 中位 strict pass@1 | 19.3% | 20 种配置的中位数 |
| 公开题与保留题 | 3 与 67 | 公开题占 4.3%,其余 held-out 防污染 |
三个派生量能说明这套题的密度。791 除以 70,平均每题 11.3 条判据;218 万除以 70,平均每题 31,143 个已填充单元格;3 除以 70,公开题占 4.3%。前两个数字解释了为什么 38.3% 已经是头部:一道题要通过,得在平均三万个单元格里做对十一件互相独立的事,且每件都不能多做。第三个数字解释了为什么这套题难以被训练数据污染——95.7% 的题目从未公开。
38.3% 与 19.3%:strict pass@1 究竟严在哪
strict pass@1 的定义是「满足全部判据的那次尝试所占比例」。注意三个词:全部、那次、比例。全部意味着合取,任何一条判据失败即整题失败;那次意味着不做多次重试的择优;比例意味着分母是尝试次数,不是题目数。三者叠加,得到的是一个偏保守的下限。
| 口径 | 分子 | 分母 | 读数偏向 |
|---|---|---|---|
| strict pass@1 | 满足全部判据的尝试 | 全部尝试次数 | 下限,最保守 |
| 判据达成率(本文未获得) | 满足的判据条数 | 判据总条数 | 会显著高于 strict pass@1 |
| 题级通过率(若多次取优) | 通过题数 | 题目数 | 取决于允许几次尝试 |
| 人类从业者基线(未报告) | 不适用 | 不适用 | 无法判断难度是否合理 |
表格第二行是一个常被忽略的缺口:这份基准没有在摘要里给出判据达成率。也就是说,我们只知道 38.3% 的尝试一条不漏,却不知道平均满足了多少条。如果多数失败只差一条判据,38.3% 会被读得过低;如果多数失败差一半以上,这个数字反而偏乐观。缺了这一层,跨基准比较就只能停在量级层面。
「全部判据满足」「单次尝试」「按尝试计分母」三个条件叠加,会把任何一次小失误都记成整题失败;同时该基准未报告判据达成率与人类基线,因此 38.3% 既不能证明模型弱,也不能证明题目过难。
第四行同样重要。70 道题由从业者写,但没有报告人类从业者自己做这套题的成绩。没有人类基线,就无法区分「题难」与「模型弱」:38.3% 可能意味着任务本身就需要专业判断,也可能意味着判据写得太细。这不是这份基准独有的问题,但它决定了这个数字能不能被当作能力刻度。
BizAgentBench:789 份文档与 601 个工具复刻支付流程
BizAgentBench 的野心不在题量,而在环境的完整度。可执行环境里放了 789 份知识文档与 601 个可发现的业务工具,政策、状态与工具行为保持一致;50 道长程任务覆盖资源约束、时间依赖、既有承诺、以及互相冲突或已经过期的指引。每道题先用参考执行验证可解,再用确定性检查同时核对目标与执行历史,且不规定单一解法。
这套设计针对的是一个具体漏洞:只判最终结果,会放过过程中的违规。在支付场景里,中途把备付金余额击穿再补回来,最终数字可能仍然达标,但这笔操作在真实业务里已经构成违规。确定性检查读的是执行历史,所以这类「结果对、过程错」会被判失败。
| 读数 | 数值 | 口径 |
|---|---|---|
| 知识文档 | 789 份 | 含现行与历史版本、不同适用范围与生效期 |
| 可发现工具 | 601 个 | 需按文档发现并正确调用 |
| 任务数 | 50 道 | 多轮,含用户模拟器提供客户信息与审批响应 |
| Claude Opus 5 严格成功率 | 64.0% | 目标与过程同时满足 |
| GPT-6 Sol 严格成功率 | 61.3% | 同上 |
| Qwen3.8-27B 目标达成率 | 42.0% | 只看目标 |
| Qwen3.8-27B 严格成功率 | 32.7% | 目标与过程同时满足 |
| DeepSeek-V4.1-Flash 平均工具调用 | 191.3 次/次运行 | 比参考执行多约 70% |
环境规模换算成每题负担也可观:789 除以 50 约 15.8 份文档,601 除以 50 约 12.0 个工具。这不是「查一份手册答一道题」,而是「在十几份可能互相矛盾的文件里判断哪一条适用,再在十几个工具里选对调用顺序」。任务的难点因此从检索偏移到了规则适用性判断。
61.3% 与 32.7% 之间:目标达成与执行合法性分叉
这份基准给出的最有信息量的数字,是同一模型两种口径之间的落差。Qwen3.8-27B 的目标达成率 42.0%,严格成功率 32.7%,差 9.3 个百分点;折算成相对值,约 22.1% 的「看起来完成了」其实过程违规。换句话说,如果只看最终结果,这个模型会被高估两成。
| 模型 | 目标达成 | 严格成功 | 差值(百分点) | 相对高估 |
|---|---|---|---|---|
| Claude Opus 5 | 未单独披露 | 64.0% | 不可算 | 不可算 |
| GPT-6 Sol | 未单独披露 | 61.3% | 不可算 | 不可算 |
| Qwen3.8-27B | 42.0% | 32.7% | 9.3 | 约 22.1% |
注意表格前两行的「未单独披露」。摘要只给了这两个模型的严格成功率,没有给它们的目标达成率,所以无法算出它们的过程违规比例,也不能反推「强模型的过程合规更好」。这是一个典型的摘要信息缺口:能算出落差的那一行,恰好是较弱的模型。
同组还有一项一致性读数值得记下:v1 正文提到,仅 40.0% 的任务在三次尝试中均成功。这个数字的含义与严格成功率不同——它衡量的是同一模型在同一题上的稳定性,而不是单次能力。v3 摘要没有再复述这个数字,引用时应标注版本。三个数字(64.0%、40.0%、32.7%)分属三个分母,放在一句话里比较会得出错误结论。
191.3 次工具调用:反推参考执行的约 112 次
摘要给出的另一项读数是:DeepSeek-V4.1-Flash 平均每次运行 191.3 次工具调用,比参考执行多约 70%。这句话里藏着一个可以反推的量——参考执行的平均调用次数。
| 推算 | 算式 | 结果 | 读法 |
|---|---|---|---|
| 参考执行的平均调用次数 | 191.3 ÷ 1.7 | 约 112.5 次 | 以「多约 70%」为等比口径 |
| 超出量 | 191.3 − 112.5 | 约 78.8 次 | 每次运行多出近八十次调用 |
| 调用倍率 | 191.3 ÷ 112.5 | 约 1.70 倍 | 与摘要的 70% 自洽 |
| 若按「多 70 个百分点」理解 | 191.3 × 0.7 | 约 133.9 次为增量 | 会得到 325 次参考值,与 1.7 倍不自洽 |
第四行是这类表述的常见歧义:中文里「多 70%」与「多 70 个百分点」常被混用,前者是倍率关系,后者是加法关系。按倍率算,参考值约 112.5 次;按加法算,参考值会变成 325 次。两者相差近三倍。摘要用英文写成「approximately 70% more than reference executions」,按英文习惯应取倍率读法,但中文转述时若写成「多 70 个百分点」,反推就会失真。
工具调用次数本身不是质量指标。调用多可能是探索充分,也可能是反复试错;调用少可能是路径熟悉,也可能是提前放弃。它只有在与成功率、参考路径同时读时才有意义。这份基准的价值在于它给了参考执行这一侧——有参考路径,才有「多走多少弯路」这个说法。
另外要标注一处版本差异:v1 正文用 Qwen3.5-9B 作为工具调用过多的示例(平均 187.2 次、过半报错、150 次运行无一完成全部目标),v3 摘要换成 DeepSeek-V4.1-Flash 的 191.3 次。同一指标、不同模型示例,说明模型名单在三个版本间调整过。引用具体数字时必须带版本号,否则会出现「同一篇论文给出两个不同读数」的误判。
SynthCorp:把题目与标准答案一起生成
SynthCorp 走的是另一条路:不采集真实工作簿,而是模拟企业数据如何被业务事件逐步改写。它先把场景与目标复杂度维度转成可复用的「事件类型」,每个事件编译成一段基于预定义模拟原语的程序;再把事件实例排到一张虚拟日历上,让例行事件与扰动事件交错;然后执行日历,把表、文档、目录真正生成出来,并把每一步操作写进模拟日志;最后从日志里生成分析任务,并导出可执行的标准答案。
| 阶段 | 做什么 | 产出 | 为什么这么设计 |
|---|---|---|---|
| 一、事件类型合成 | 按场景与复杂度维度生成可复用事件,编译为模拟原语程序 | 事件类型库 | 让题目维度可被指定,而非事后统计 |
| 二、日历排期 | 例行与扰动事件交错排布 | 带时间戳的事件序列 | 制造跨表、跨文档的因果依赖 |
| 三、执行与记录 | 物化数据场,记录每一步操作 | 7 个数据场,单场上限 1,000 张表 | 日志是后续判分的事实源 |
| 四、出题与导解 | 生成分析任务,从日志导出标准答案 | 256 道题,5 个领域 | 答案由出处校验,不靠人工标注 |
这套流程的卖点是两个「免」:免人工标注,免静态数据集的饱和。判分时把候选查询与模拟日志里的因果出处对照,就能验证标准答案是否正确,包括那些需要串联多个事件的复合任务。数据场还要过一组确定性检查——外键违规、未声明写入、日历重复违规、数据库执行失败——报告称错误率接近于零。
但它的可复核性目前是有条件的。论文标注为 v1.0,并写明基准「将很快发布」;也就是说,7 个数据场与 256 道题此刻还不能被外部复跑。摘要还刻意隐去了模型名单、四个数据上下文设置的具体名称、五个领域的名称与准确率数字,只给了一句「三种模型在四种数据上下文设置下能把数据上下文与模型档位区分开」。这意味着当前只能评估它的方法,不能评估它的读数。
同一篇论文的 v1 与 v3:模型名单换了,读数也跟着换
BizAgentBench 的三个版本提供了一个引用纪律的样本。把 v1 与 v3 的摘要并排,能直接看到模型名单的变化。
| 项目 | v1(2026-10-14) | v3(2026-11-05) | 影响 |
|---|---|---|---|
| 前沿模型读数 | GPT-6 Sol 严格成功率 61.3% | Claude Opus 5 64.0%、GPT-6 Sol 61.3% | 新增一个更高的读数,头部换人 |
| 小模型示例 | Qwen3.5-9B,平均 187.2 次调用,过半报错 | Qwen3.8-27B,目标 42.0%、严格 32.7% | 示例模型换代,指标从调用数换成成功率 |
| 工具调用示例 | Qwen3.5-9B 的 187.2 次 | DeepSeek-V4.1-Flash 的 191.3 次 | 同一指标换了主体 |
| 三次一致性 | 正文给出 40.0% | 摘要未复述 | 只在旧版可引,须标版本 |
| 环境规模 | 未在摘要展开 | 789 份文档、601 个工具 | 新版补全了环境口径 |
这不是质量问题,预印本迭代很正常。问题在引用侧:如果一篇文章写「该基准上 GPT-6 Sol 得分 61.3%」,它在 v1 与 v3 都成立;如果写「该基准上表现较好的模型是 GPT-6 Sol」,在 v3 就已经错了,因为 Opus 5 的 64.0% 更高。同理,写「小模型工具调用达 187.2 次」在 v3 已不再对应摘要里的示例。
可操作的纪律是三条:引用预印本必带版本号与提交日期;跨版本比较只用两版都出现的同一模型同一指标;摘要未给的分母不要从正文反推后当作摘要结论。三条都不难执行,但能挡掉大部分「同一篇论文两个数字」的混乱。
三条路线的成本、污染与可复核性矩阵
把三份基准放回造题工程的角度,会看到三种成本结构。专家手写的成本前置在人力:70 道题要 13 个领域的人写需求、再写 791 条判据,写完还要维护;真实业务流程的成本前置在环境复刻:789 份文档、601 个工具、状态一致,任何一处漂移都要重测;程序生成的成本前置在生成器:一旦事件原语与日历引擎做好,边际成本接近零,但生成器的分布就是题目的分布。
| 维度 | GDP.xlsx | BizAgentBench | SynthCorp |
|---|---|---|---|
| 初始化成本 | 高(13 领域专家、791 条判据) | 高(789 文档、601 工具的环境复刻) | 高(生成器与模拟引擎) |
| 边际成本 | 高(每题都要专家写) | 中(可在同一环境加题) | 低(可批量生成) |
| 污染风险 | 低(95.7% held-out) | 低(企业内部流程,未公开) | 低(可不断生成新场) |
| 可复核性 | 中(放出 harness 与 3 道公开题) | 中高(确定性检查与参考执行,但环境不公开) | 待定(v1.0,基准尚未发布) |
| 能否测「过程合规」 | 弱(判据对最终文件) | 强(读执行历史) | 中(可查操作日志,摘要未强调) |
| 能否测「环境规模」 | 弱(单文件为主) | 强(跨文档与工具) | 强(单场可达千表) |
这张矩阵回答了一个常见的选型问题:想知道模型会不会做表,用 GDP.xlsx;想知道模型会不会按规矩办事,用 BizAgentBench;想知道模型在数据规模变大时会不会崩,等 SynthCorp 的数据场公开。三者不是难度梯度,而是三个不同的被测对象。
矩阵里有一格值得单独看:GDP.xlsx 的「能否测过程合规」被标为弱。原因是它的判据作用在最终文件上,中间步骤不参与判定。这不是缺陷,而是表格任务的验收本来就以交付物为准;但如果团队想评估 Agent 的操作风险,这份基准给不了答案,需要另一套读执行历史的检查。
读榜六问与四类不可外推
基于这三份基准,可以把读榜动作收敛成六问。每一问都对应一个具体的、能在摘要里查到或查不到的位置。
| 问题 | 为什么问 | 在这三份里看哪里 |
|---|---|---|
| 一是「全部满足」还是「部分满足」 | 合取判定会把分数压到下限 | GDP.xlsx 的 strict pass@1 定义 |
| 二是判的是结果还是过程 | 只判结果会放过违规执行 | BizAgentBench 是否读执行历史 |
| 三是分母是尝试、题目还是判据 | 三个分母不可互换 | Qwen3.8-27B 的 42.0% 与 32.7% |
| 四是题目公开了多少 | 公开比例决定污染风险 | GDP.xlsx 的 3 与 67 |
| 五是有没有人类基线 | 没有基线无法判断难度是否合理 | 三份摘要均未报告 |
| 六是版本与日期 | 预印本会改模型与读数 | BizAgentBench v1 与 v3 |
接着是四类不可外推。其一,不能把 GDP.xlsx 的 38.3% 当作「前沿模型做不了表格」的证据——这 70 道题由从业者挑出,本身偏向复杂需求,且没有人类基线。其二,不能把 32.7% 与 42.0% 的差当作所有模型的过程违规率,只有这一个模型同时给了两种口径。其三,不能把 SynthCorp 的「接近于零的错误率」当作基准质量已经验证,它只说明生成的数据场通过了确定性检查,不说明题目难度合适。其四,不能把三份基准的题量相加当作覆盖度,70 加 50 加 256 是三个不同被测对象的题数。
如果需要一句可执行的结论:读到任何一个 Agent 基准分数,先找它的判据合取方式与分母,再看题目公开比例,最后看版本日期。这三步能把大部分误读挡在引用之前。
三份基准后续的正式发布计划、SynthCorp 数据场的开放时间与 GDP.xlsx 保留题的扩容安排,目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。