三份 11 月初基准横评：环境构造如何改写长程工具使用的分数

同一周、同一个自变量：三份基准总览

三份预印本中有两份提交于 2026 年 11 月 2 日，一份于 11 月 3 日；作者群彼此独立，任务领域从医疗数据、MCP 工具编排到电商 API 选择，跨度很大（来源：arXiv 2611.02484、2611.03982、2611.05036 摘要页与提交历史直读）。把它们放在一起，不是要排一张总榜，而是因为三者各自把「环境」当成了可调节的自变量。

基准	arXiv / 提交	评测规模	被改动的自变量	头条读数
THReD	2611.02484，11-02（35 页 3 图 22 表）	141 任务（100 模板）、7 类、2550 轮次、Claude Haiku 5.5、四种上下文配置	有无数据剖面、请求抽象层级、注入故障与植入文本	首次回答完成率 92.7%，无剖面降至 58.0%
ToolSpace	2611.05036，11-03（工作进行中，26 位作者）	七个长程工具使用基准、AutomationBench 与 tau3-Bench Banking 的 Pro 版、7 款前沿模型	环境生成方式：执行轨迹见证的依赖边，对 LLM 判定的边	Pro 版让 7 款模型最多下降 38.2 分
SLATE	2611.03982，11-02（20 页 13 图 6 表，NeurIPS 2026 Workshop 定稿）	100 任务、约 1000 工具、6 个决策模型与 6 个基座模型、3B 至 12B	工具库规模与干扰项、判定从单步改为整链	单步准确率上限 74.8%，整链成功率上限 5.0%

三个自变量的共同点是：都不需要动模型权重，就能把分数推到相差很远的位置。THReD 只拿掉一份数据剖面，完成率从 92.7% 到 58.0%；ToolSpace 只把环境生成方式换掉，同一批评测对象最多掉 38.2 分；SLATE 只把判定从「这一步选对没有」改成「整条链有没有到达全部参考结果」，同一模型的读数就从七成掉到半成（来源：三份 arXiv 摘要页与 SLATE 全文表 2、表 3 直读）。这与本栏目 11 月 6 日那期三基准横评的结论方向一致——分数是模型与环境、判定口径的联合产物，而不是模型常数（来源：本栏目 R-BENCH-55 三份 11 月初基准横评，2026-11-06）。

THReD：抽掉数据剖面，完成率掉 34.7 个点

THReD 是一个把电子健康记录抽取转成可用数据集的网页系统，交互形态是聊天式智能体，但它提出的步骤只在用户确认之后才执行。智能体基准含 141 个任务（100 个模板），分七类：目标级请求、故障恢复、无需动作的请求、模式变化，以及通过数据本身注入的提示词攻击等；测试表是按区域健康信息交换校准的合成表，成功与否由产出数据上的检查判定（来源：arXiv:2611.02484 摘要页直读，2026-11-02）。

读数	原文数值	本栏目解读
轮次与配置	2550 轮次、Claude Haiku 5.5、四种上下文配置	单一模型，故读数不可归因到模型间差异
首次回答完成率	92.7%（95% 置信区间 88.1 至 96.4）	区间宽 8.3 个点，样本量带来的不确定性需保留
无数据剖面时完成率	58.0%	相对下降约 37.4%，见下文换算
目标级请求完成率	80.6%	七类里最难的一类
咨询类请求	全部弃权，不提出动作	「不做」被算作正确行为，而非失败
注入故障与植入文本	全部故障恢复；从未提出被植入文本要求的动作	安全项与完成率分开记，未折算进总分

真正让这份工作值得工程团队读的，是它把「上下文供给」量化了。拿掉数据剖面这一项，完成率从 92.7% 掉到 58.0%，落差 34.7 个百分点，相对降幅约 37.4%（原创换算）。同一模型、同一任务集、同一判定，只改上下文，效应量比多数换模型带来的波动都大。另一组对照是请求抽象层级：把请求写成目标级，完成率 80.6%，比整体低 12.1 个点（原创换算）。两条落差放一起看，说明「给它看得懂的数据」比「把话说得更具体」更要紧。

工具侧的六组校验实验同样值得单列，因为它们测的不是智能体，而是被智能体调用的那些预处理工具（来源：arXiv:2611.02484 摘要页直读）。

工具校验项	原文数值	本栏目换算或提醒
遮蔽重建中的患者类别推断	91% 至 92% 正确	约每 12 条错 1 条
生命体征标签推断	99.7% 至 99.8% 正确	与上一行差约 8 个点，同类任务准确率不齐
字典构建器映射原始变体	2208 个变体中 99.0% 正确	约 22 个未正确映射
已保存流水线重放	128 条流水线的 2176 次重放，在固定依赖下产出逐字节一致文件	每条流水线恰好 17 次重放
子群推断准确率差异	在机构与查找键内消失	差异来自数据分布，不是模型偏见的直接证据
同日合并规则	90 天急诊再就诊率最多变动 3.2 个点，队列构成变动不超过 1 个点	预处理口径能改动下游临床终点，却几乎不动人群构成
规模与提示长度	处理时间随记录数大致线性增长到 550 万条，提示维持约 1.3 万 token	上下文开销与数据规模解耦，成本增长在执行侧

ToolSpace：把环境做真，七款模型最多降 38.2 分

ToolSpace 针对的是 MCP 环境扩产的构造顺序。既有方法多为数据优先：先合成数据库与场景，再从中导出工具与任务；由此带来三个后果——工具接口可能与真实接口对不上、工具组合没有落在执行上、任务很少跨多个环境。新框架把顺序倒过来：从真实 MCP 服务与开放智能体语料的执行轨迹中，用确定性规则而非 LLM 判断，挖出相邻调用之间的数据、状态与重试依赖，把加权工具组合图聚类成环境；只为会改变状态的环境合成数据库，查询类与无状态工具直接重放记录返回值；再做带回滚的状态感知随机游走，把每条链反编译成自然语言任务并附断言式检查，只保留能从初始状态成功重放的样本（来源：arXiv:2611.05036 摘要页直读，2026-11-03；ArxivLens 与 arXiv Vanity 条目交叉）。

读数	原文数值	本栏目换算
Pro 版影响	AutomationBench 与 tau3-Bench Banking 的 Pro 版，7 款前沿模型最多下降 38.2 分	是降幅极值，不是平均降幅
七个长程基准上 Qwen3.6-35B-A3B	平均 23.0 → 41.0（带 RL 为 43.2）	提升 18.0 分，相对约 78.3%
RL 的增量	41.0 → 43.2	再加 2.2 分，约为 41.0 的 5.4%
七个长程基准上 GLM-5.2	平均 44.6 → 56.6	提升 12.0 分，相对约 26.9%
参照表述	56.6 被描述为与 Claude Opus 5 相当	来自作者表述，未见独立复测
消融结论	执行轨迹见证的边明显优于 LLM 判定的边；随数据与环境规模继续改善	方向性结论，摘要未给分项数值

这里有一组很能说明问题的量级对照：把环境做真带来的降幅极值是 38.2 分，而用 ToolSpace 生成的环境做训练带来的平均提升是 18.0 分，前者约为后者的 2.1 倍（原创换算，38.2 除以 18.0）。两者分母不同——一个是七款前沿模型在两个 Pro 版上的降幅极值，一个是一款开源模型在七个基准上的平均提升——所以这个倍数只作量级提示，不能读成「改环境比训练更有效」的因果结论。能稳妥说的是：环境难度与训练增益处在同一量级，忽略环境口径去谈训练收益，很容易把分数变化记错账。

消融给出的另一条信息更有工程价值：让边界由执行轨迹见证，比让 LLM 判定更管用。这与 THReD 用确定性规则、SLATE 用确定性模拟器的选择是同一种方法论取向——把判定权从概率模型手里收回，交给可重放的事实（原创关联解读）。不过第三方评述也指出几处尚未闭合：摘要未量化构造总成本，未证明重放的查询返回值能复现会发生变化的线上服务，全文方法、代码与独立复现均未经过评审，且论文档位标为工作进行中（来源：undefined-labs 论文条目评述，2026 年第 45 周；arXiv:2611.05036 Comments 字段直读）。

SLATE：单步 74.4% 与整链 5.0% 的落差

SLATE 面向的是企业内部 SOP 自动化：把流程每一步映射到上千个内部 API 中的正确调用，且不手写步骤到接口的映射。作者指出既有工具使用基准要么只暴露少量工具，要么只评单步调用，要么用主观的 LLM 打分而误罚合法替代轨迹。其构造是三部分：把查询拆成分层的、落在工具上的流程，覆盖约一千个工具的电商库；用一个确定性且上下文感知的模拟器，对匹配的调用返回记录输出、其余返回默认响应；判定只取整链任务成功率——任务到达全部参考结果才算成功，允许功能等价的不同轨迹，全程自动可复现（来源：arXiv:2611.03982 摘要页与全文表 2、附录 B 直读，2026-11-02）。

规模项	表 2 数值	本栏目解读
任务数	100	样本量小，适合作为现象证据
工具库规模	1000	其中 417 个与任务相关、583 个为干扰项
干扰项占比	583 / 1000	约 58.3%，干扰多于相关工具
每任务子步骤	平均 10.8，区间 7 至 14	误差按链长复合
每工具参数	平均 3.07 个	选择正确工具之外还要填对参数
任务类别	11 类	买卖双方场景混合
每步候选	52 个，含参考工具与「无需工具」	另 50 个由 Cohere Embed v4 检索的相似工具；随机基线约 1.9%

主结果表同时给出六个基座模型与由它们训出的六个决策模型，数值为三种选项顺序上的均值与标准差（来源：arXiv:2611.03982 表 3 直读）。下表按参数规模排列，TS 表示整链任务成功率，Acc 表示单步选择准确率，单位均为百分比。

规模	基座模型	基座 TS	基座 Acc	决策模型	决策 TS	决策 Acc
3B	SmolLM3-3B (APO)	0.0±0.0	36.6±0.2	Jevify-SmolLM3-3B	0.3±0.5	52.3±0.3
4B	Qwen3-4B	3.3±0.5	65.7±0.6	AgentDecision-4B	4.3±0.5	72.3±0.2
E4B	Gemma-4-E4B-it	1.7±0.5	64.4±0.3	Strands-Decider-E4B	0.0±0.0	44.1±0.5
8B	Tulu-3-8B-DPO	0.3±0.5	42.0±0.6	Jevify-Tulu-3-8B	1.0±0.8	56.1±0.4
9B	Qwen3.5-9B	2.7±0.9	67.7±1.3	OpenJev-Flash-9B	4.7±1.2	74.8±0.8
12B	Gemma-4-12B-it	5.0±0.8	74.4±0.3	Strands-Decider-12B	1.0±0.8	56.6±0.9

几条读数需要分开记。单步准确率全域为 36.6% 至 74.8%，整链成功率上限只有 5.0%（来源：同表与摘要）。单步读数居首的 OpenJev-Flash-9B 是 74.8%，整链 4.7%；整链读数居首的 Gemma-4-12B-it 是 5.0%，单步 74.4%——两项榜首读数不属于同一模型（原创对照）。决策模型在六对里有四对提升了单步准确率，幅度 6.6 至 15.7 个点，但两个 Strands 决策模型都落后于各自的 Gemma 基座（来源：表 3 与正文表述）。此外论文用独立概率模型解释长链复合：若一条任务有 10.6 个工具步骤、每步独立选对的概率是 0.75，则成功率约为 4.7%——这不是表里某一行，而是理论示例，且与表 2 的平均 10.8 个子步骤不是同一口径，不能混用（来源：arXiv:2611.03982 正文与表 2 直读）。

六组原创换算与它们各自的分母

编号	换算	结果	能说明什么 / 不能说明什么
一	THReD 有剖面 92.7% 减无剖面 58.0%	34.7 个点，相对降幅约 37.4%	同一模型同一任务集下上下文供给的效应量；不可外推到其它模型
二	THReD 整体 92.7% 减目标级 80.6%	12.1 个点	约为换算一的 34.9%；请求抽象层级的影响小于数据剖面
三	THReD 2176 次重放除以 128 条流水线	恰好 17 次每条	工具层可复现性有明确计数；与智能体层完成率不是同一指标
四	ToolSpace 降幅极值 38.2 除以平均提升 18.0	约 2.1 倍	仅作量级对照；分子是极值、分母是七基准均值，不构成因果
五	SLATE 单步 74.4% 减整链 5.0%	69.4 个点，比值约 14.9 倍	同一模型同一任务集下判定口径的效应；不可与其它基准的落差相加
六	SLATE 干扰工具 583 / 1000；随机基线 1 / 52	约 58.3%；约 1.9%	候选集里多数是相似干扰；74.8% 是相对该基线的表现，不是脱离候选集的能力上限

还可以补一组交叉观察：论文自己的独立复合示例给出约 4.7%，与实测整链成功率上限 5.0% 相差 0.3 个点（原创对照）。这提示长链误差复合能解释大部分落差，但示例用的是 10.6 步、0.75 的独立假设，而实际子步骤有依赖关系、还有前置步骤是否执行成功的约束，所以不能把 0.3 个点读成「模型额外贡献」。同理，THReD 里同日合并规则让 90 天再就诊率变动最多 3.2 个点、队列构成变动不超过 1 个点，两者分母不同，比值至少 3.2 倍只表示「预处理口径对下游终点的扰动大于对人群构成的扰动」，不是效应量（原创口径提示）。

读榜六问：这些分数为什么不能相减

问什么	为什么重要
分母是任务数、轮次数还是基准个数	THReD 的 2550 是轮次且含四种上下文配置，SLATE 的 100 是任务数，ToolSpace 的 41.0 是七个基准的平均分
判定是首次回答完成、整链参考结果还是专家量表	THReD 判首次回答产出的数据，SLATE 判是否到达全部参考结果，两者成功率不同义
有没有人在回路	THReD 的步骤需用户确认才执行，另两份没有这层；把 92.7% 与 5.0% 并列会漏掉这一差别
模型规模与家族	SLATE 是 3B 至 12B 的六个决策模型及其基座，ToolSpace 涉及七款前沿模型，THReD 只用 Claude Haiku 5.5
环境是合成表、执行轨迹回放还是确定性模拟器	三种环境对真实接口的逼近程度不同，SLATE 明确提示模拟器结果不等同于生产表现
是否经过独立复现	ToolSpace 标为工作进行中且未见独立复现；SLATE 项目页在查证时仍标注作者与代码待发布；THReD 提供 Zenodo 逐轮结果

还有一处发布状态值得记录：SLATE 项目页在本文查证时仍是占位状态，出现「Authors coming soon」「Abstract: Coming soon」与 BibTeX 作者为 TBD 等字样，论文侧则已给出完整摘要、20 页 13 图 6 表与 NeurIPS 2026 Workshop 定稿说明（来源：SLATE 项目页 geshijoker.github.io/slate/ 直读，2026-11-09；arXiv:2611.03982 Comments 字段）。因此本文的所有 SLATE 数值均以 arXiv 全文表 2、表 3 与附录 B 为准，不以项目页为准。

对工程与评测设计的四条可操作结论

其一，把「上下文供给」列为可消融的独立变量：在自己的回归集里做有数据剖面与无数据剖面两档，记录完成率差，对应 THReD 的 34.7 个点；若落差很大，先补上下文，再谈换模型。其二，验收长链任务时按整链结果打分并单列单步准确率，两个都要报，对应 SLATE 的 74.4% 与 5.0%；只报单步会把几乎全败的系统描成表现良好。其三，生成训练或评测环境时优先用执行轨迹见证的依赖，而不是让模型判定组合是否合理，对应 ToolSpace 的消融方向；同时保留「重放返回值能否代表变化的线上服务」这一未闭合问题。其四，把可被植入文本影响的路径单列安全项，把「无需动作」的请求单列弃权项，不要折算进完成率，对应 THReD 把咨询请求与注入故障分开记的做法。

对采购与选型，还有一条更直接的建议：要求供应商同时报出环境配置、判定口径与模型标识三样东西。缺任何一样，分数都无法复现，也无法判断一次提升到底来自模型、来自环境，还是来自把判定放宽了。

口径边界与待核验项

待核验项	论文是否给出	本栏目处理方式
THReD 四种上下文配置的逐项完成率	摘要未给分项	只报聚合值与置信区间，不推测各配置
ToolSpace 的构造总成本与七基准分项得分	摘要未给	只作方向与量级对照
ToolSpace 的 56.6 与 Claude Opus 5 对照细节	作者表述，未见独立复测	标注为作者表述
SLATE 逐模型错误类型与任务类别细分	全文表 5、表 6 有，摘要未展开	本轮不引用分项数值，避免与摘要口径混用
SLATE 项目页数据、代码与榜单	查证时仍为占位状态	不采信项目页，统一以 arXiv 全文为准
三份基准之间的换算关系	不存在	只比较各自落差结构，不相减不排序

关于 THReD 四种上下文配置的逐项读数、ToolSpace 的完整分项表与构造成本、SLATE 项目页何时发布数据与榜单，以及三份基准在真实生产系统上的对照结果，目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。