背景：生成式评测之外，还有一类调查性工作
过去两年的智能体评测有一条明显的主线：给一份简要说明，让智能体产出一份东西——财务模型、备忘录、表格、幻灯片，然后用量规或另一个模型来判分。这类生成式评测解决了「能不能从零造出来」的问题，却绕开了知识工作里最贵的那一段。
真实的审计、税务、尽调、监管申报、理赔，以及一切围绕数字的争议，答案其实已经存在：它藏在跨系统的、不完整的、彼此矛盾的证据里，要被还原出来，并且要能逐分地辩护。kw-bench 的作者把这一类工作称为调查性的（investigative），并指出此前少有基准专门测它。这个区分看似只是题材差异，实际改变了评测的评分方式——既然答案存在，就可以用确定性规则判分，不必请模型来当裁判。
SCI-AGENT-EXAM 走的是另一条路：科研工作既有可执行的产物（代码、脚本），也有文本产物（报告、解释），因此它采用混合评分——可执行部分用确定性程序校验，文本部分用经过校准的模型裁判。两份基准因此在「能不能不用模型判分」这件事上形成了对照。
两份基准的设计对照
先把两份基准的骨架并排，差异就清楚了：kw-bench 把压力放在长会话里同时维持多个弱信号，SCI-AGENT-EXAM 把压力放在一次任务里同时交付可执行与文本两类产物。
| 维度 | kw-bench（arXiv 2610.36405） | SCI-AGENT-EXAM（arXiv 2610.32441） |
|---|---|---|
| 提交时点 | 2026 年 10 月 26 日（v1） | 2026 年 10 月 23 日（v1） |
| 规模 | 26 页、8 图、5 表，单一作者 | 二十位作者，一百二十项任务 |
| 任务来源 | 税务与法务专家描述的三个真实委托 | 一百五十六位领域专家策划 |
| 已运行任务 | 一个任务族中的一个变体（sap-vat-chain-b） | 一百二十项，每项每模型跑三次 |
| 评分方式 | 完全确定性，无模型裁判 | 混合：程序化校验加校准后的模型裁判 |
| 被测对象 | 四个驾驭层、两个模型 | 十款前沿智能体，统一 Claude Code 驾驭层 |
| 时间预算 | 两小时上限 | 未设明面墙钟上限，报告平均运行时间 |
| 主要读数 | 总分 0.00 到 1.000，含墙钟时间与成本 | 总分 50.9 到 80.9，另有 [email protected] 与效率 |
一个关键的差别是样本结构：kw-bench 目前在单一任务变体上跑了六次运行，读数的统计强度有限，作者自己在局限性里写明了这一点；SCI-AGENT-EXAM 则每项任务每模型跑三次再做宏平均，样本结构更稳，但代价是成本极高——后文会看到单次运行的费用分布。
kw-bench：一个从真实税务委托长出来的任务
作者向税务与法务专家征集了三个真实案例。其一改造成了增值税链路溯源任务族，也是本文实际运行的那个；其二改造成了采购到付款的取证任务族，随仓库发布但未运行；其三被刻意没有构建——那个案例只有全部过账转储和一个「为什么某些科目转正」的问题，没有任何可用来检验答案的数字或流程，专家的判断是「模型给出的头一条建议与第十五条一样站得住」。论文用这个未被构建的案例说明一件事：没有隐藏但可检验的真相的任务，无法区分分析与讲故事。这一条本身就是对生成式评测最有力的批评。
已运行的任务设定为集团内链式交易的增值税重建。实体包括德国的制造商、维也纳与巴塞尔的销售公司、香港出口枢纽与台湾供应商，客户分布在六个欧洲国家。货物通常只从工厂直运客户一次，但欧盟增值税规则只允许两笔供应中的一笔免税，另一笔要在实际发生国应税。
三代系统的历史以原始提取的形式给出：ECC 阶段是带重复页眉的 SE16N 文本转储、Windows 编码；S/4HANA 阶段换了编号范围，迁移日志只覆盖一部分，旧交货号部分保留，表也从 BSEG 换成了 ACDOCA；顾问自建的链路驾驶舱自 2024 年 4 月起从单独的链路订单开票，两笔发票只靠自定义链路 ID 关联，且约一成四的开票是手工录入的变体。
| 项目 | 数值 |
|---|---|
| 时间跨度 | 5 年 |
| 链路数量 | 1,432 条 |
| 链路开票凭证 | 3,084 份（ECC 928 份、S/4 2,156 份） |
| 链路模式 | 8 种 |
| 数据体量 | 62 MB、83 个文件 |
| 植入错误 | 4 类（驾驶舱误报、重复过账、汇率口径、装配线标记） |
| 真实暴露金额 | EUR 3,093,692.38（DE01 为 2,788,967.55，AT01 德国登记为 304,724.83） |
| 需修改申报 | 110 份，每份 7 行全部 |
| 陷阱凭证 | 717 份（巴塞尔库存调拨 240 份、维也纳装配流 477 份） |
| 参考解 | 约 700 行 Python，运行约 30 秒，得分 1.00 |
| 运行容器 | 4 CPU、6 GB 内存，仅 /app 可见 |
交付物有五项：公司模板下拉的链路登记表、按申报主体与期间逐行重算的对账表（容差 EUR 0.02）、符合合规工具规范的更正上传文件、带抬头的至多两页备忘录，以及一个能在隐藏数据上重跑的分类器脚本。最后一项是这份基准最巧的设计：它把「这次答对了」与「下个月还能答对」分开测。
七个评分组件与五档参考锚点
评分完全确定性，评分脚本只读 /app/out 里的文件，会做宽容查找并接受德语或英语的数字分隔符。七个组件与权重如下：
| 组件 | 权重 | 检查方式 |
|---|---|---|
| 链路登记表 | 0.20 | 逐份凭证的判断、管辖区与待遇，虚报扣分 |
| 对账表 | 0.22 | 有差异的单元格须重算到 EUR 0.02 以内，虚假差异扣分 |
| 可在隐藏数据上跑的工具 | 0.20 | 以非特权用户在另一随机种子的数据上执行，看 F1 与待遇判断 |
| 更正文件 | 0.12 | 每份更正申报七行齐全且正确，多报扣分 |
| 格式与品牌 | 0.12 | 八项检查：模板页、表头、下拉、配色、数字格式、备忘录页数与标识 |
| 备忘录 | 0.08 | 总暴露与年度暴露、每个机制的成因、建议 |
| 陷阱 | 0.06 | 登记表里不得出现装配或调拨凭证，不得有虚假税额差异 |
论文还给出了五档参考锚点，这个设计值得单独称赞——它让分数有了可解释的刻度，而不是一个孤立的数字：神谕解得 1.00；内容正确但存在普通文件里（无模板无 PDF）为 0.88；规则对但不理解制度变迁（没有链路 ID、没有迁移日志、没有重录、没有税率类型）为 0.45；直接信任已申报数据为 0.27；把所有东西都标记出来为 0.20；空答案为 0。
其中 0.45 这一档是本文后面一条推算的基准：它代表「会做税务，但不知道这个集团这几年发生过什么」。
四个驾驭层、同一个模型：两小时与两角五分
四个驾驭层共用同一个模型 DeepSeek v4.1 Flash（经 OpenRouter，推理强度设为高，一百万 token 窗口），在同一任务上各跑一次，无头模式，两小时上限。配置上各家都需要一些调整才能让这个模型跑起来：Claude Code 需要把最大上下文 token 设到一百万、把辅助模型重定向到 DeepSeek；Codex 需要在模型目录里声明一百万窗口，否则它会把未知模型的上限按 272k 处理；OpenCode 与 micro-cc 则从模型注册表读取窗口，几乎无需调整。
| 驾驭层 | 总分 | 墙钟 | 是否自行停止 | 成本 | 模型调用 / 工具调用 | 输入 token |
|---|---|---|---|---|---|---|
| OpenCode 1.19.4 | 0.542 | 74 分钟 | 自行停止 | 0.256 美元（精确） | 83 / 86 | 14.5M（97% 命中缓存） |
| micro-cc 0.2.124 | 0.528 | 120 分钟（触顶） | 触顶 | 约 2 美元（估计 1.2 至 2.7） | 186 / 186 | 45.7M |
| Codex CLI 0.164.0 | 0.00 | 121 分钟（触顶） | 触顶 | 约 3.3 美元（估计） | 167 / 333 | 65.7M（87% 命中缓存） |
| Claude Code 2.1.310 | 0.00 | 121 分钟（触顶） | 触顶 | 约 3.0 美元（估计） | 358 / 445 | 164.0M（96% 命中缓存） |
两个交付者的分项如下，分数差异的来源非常清楚：
| 分项（权重） | OpenCode | micro-cc |
|---|---|---|
| 链路登记表（0.20） | 0.81 | 0.81 |
| 对账表（0.22） | 0.30 | 0.13 |
| 可在隐藏数据上跑的工具（0.20） | 0.88 | 0.89 |
| 格式与品牌（0.12） | 1.00 | 1.00 |
| 备忘录（0.08） | 0.24 | 0.50 |
| 更正文件（0.12） | 0.00 | 0.00 |
| 陷阱（0.06） | 0.00 | 0.00 |
| 总分 | 0.542 | 0.528 |
需要注意：OpenCode 领先 micro-cc 的 0.014 分，作者自己在局限性里说明处在单次运行的噪声范围内；而「交付了」与「没交付」之间的差距是真实的，只是其幅度尚未被刻画。四个点里有两个是零分，这两个零分不是因为答案错，而是因为 /app/out 里什么都没有。
成本口径也要说清：只有 OpenCode 的 0.256 美元来自它自己的逐次调用计费，其余三个是按各自 token 计数、以模型标价计算，再按 OpenCode 实际账单与标价的比率 1.86 缩放得到的估计值。因此表格里的成本排序可信，绝对值仅供参考。
前沿模型上任务塌缩：二十二分钟解完一个委托
换到前沿模型后，同一个任务几乎瞬间被解决。作者用 Claude Opus 5.5、中等推理强度、同样的两小时上限跑了两个驾驭层：
| 驾驭层 | 模型 | 总分 | 墙钟 | 成本 | 模型调用 / 工具调用 | 回灌的工具输出 |
|---|---|---|---|---|---|---|
| micro-cc 0.2.124 | Claude Opus 5.5 | 0.9986 | 22 分钟 | 5.80 美元（精确） | 74 / 75 | 30.2 万字符 |
| Claude Code 2.1.310（原生配置） | Claude Opus 5.5 | 1.000 | 24.6 分钟 | 5.89 美元（精确） | 79 / 78 | 105 万字符 |
细节值得看：micro-cc 的 0.9986 并非满分，失分全部来自隐藏数据上的工具，F1 为 0.994。它找到了全部 369 份误报凭证且没有虚假标记，每个对账单元格都算到了欧分，恰好提交了 110 份需更正的申报且没有多报，备忘录给出的暴露金额与真实值一致。Claude Code 则在每个组件上都拿到满分。
作者的总结是：一段原本需要数周证据工作的税务决策，现在花几分钟和几美元就能做完；而在前沿模型之下，驾驭层决定了模型能走多远。这句话的第二半句是这份基准真正的贡献——它把「驾驭层」这个变量单独拎出来测了。
失败不在不知道，在两小时后还记不记得
论文用「惯性」概括失败模式：没有一个单独的步骤能难倒任何驾驭层，十个步骤里每一步都至少被某个驾驭层触及并大多解决。真正击垮它们的是在长会话里同时维持许多弱信号——备忘录要用月度汇率、2022 年 7 月是系统切换月、链路 ID 有手工录入的变体、2023 年本该是平静的一年、维也纳装配线是例外、工具必须接受指定的目录结构。
三次失败各有形态。Claude Code 是打转：前 94 分钟发出 408 条命令清点模板、说明、PDF 与表头，它的读取工具把 PDF 以页面图像返回，该模型在这条路径上用不上；到第 94.5 分钟，967,258 个 token 的上下文被压缩到 11,348，耗时 8.2 分钟，然后重新开始清点；99.5 分钟才开始真正做数据画像，结束时 /app/out 为空。Codex 是深入但没交付：它是四个驾驭层里仅有的独立把已申报数据与过账税行关联起来并核对到欧分的，但最后仍在「把引擎重建好」，只留下一个 30 KB 的脚本。两个交付者则是「交付了但不精确」：OpenCode 的更正文件来自登记表而非对账表（改了 47 份申报，而它的对账表显示 127 处差异），micro-cc 的对账用「已申报加差额」的方法，造出了并不存在的退款。
最有说服力的是那几处「看见了但走开了」：两个交付者都注意到了 2022 年 7 月的重复过账，OpenCode 在第 22 分钟、micro-cc 在第 78 分钟，然后都没回头；micro-cc 在备忘录里点名了汇率问题，却从未计算；Codex 把税行与申报关联到了欧分，却从未使用这个基线。作者指出，这些漏掉的地方，一个旁看会话的专家往往一句话就能纠正——这意味着专家的角色正从做证据工作转向「拿着清单并在签字前把所有信号过一遍」。
同一个任务，便宜模型配不同驾驭层的得分是 0.542、0.528、0.00、0.00；换到前沿模型后变成 22 分钟解完。更值得注意的是：那两个「交付了」的驾驭层，分数里只有约一成二与半成来自真正算对的钱。
SCI-AGENT-EXAM：一百二十项任务与七类科研活动
另一份基准的构造方式截然不同。一百二十项任务由一百五十六位领域专家策划，覆盖十一个科学领域，并按「科学工作流任务分类法」分成七类科研活动。每项任务大约包含八项程序化检查与二十条裁判量规条目，撰写一项任务约需六小时，复核约两小时，审计约一小时；复核与审计的一致性阈值定为 85%，低于阈值需返回复审或重新校准。约八成五的任务记录了陷阱，约六成一使用了输入变异检查。
任务类型与数量分布如下，这个分布本身会影响总分的含义：
| 科研活动类型 | 任务数 | 占比 | 程序化权重 | 裁判权重 |
|---|---|---|---|---|
| 工具编排 | 28 | 23.3% | 0.55 | 0.45 |
| 端到端分析 | 25 | 20.8% | 0.50 | 0.50 |
| 代码生成 | 20 | 16.7% | 0.70 | 0.30 |
| 假设验证 | 16 | 13.3% | 0.50 | 0.50 |
| 错误诊断 | 11 | 9.2% | 0.65 | 0.35 |
| 文献综述 | 10 | 8.3% | 0.20 | 0.80 |
| 结果解释 | 10 | 8.3% | 0.45 | 0.55 |
十一个领域里，生物学的任务最多（15 项），计算机科学、数据科学、材料科学各 10 项，工程学最少（8 项）。领域与活动类型的交叉分布并不均匀：化学领域的文献综述有 3 项而计算机科学没有，物理仿真的工具编排有 3 项而数学只有 1 项。这种不均匀是真实科研工作的反映，但也意味着跨领域比较总分时要留意任务构成。
混合评分：按任务类型切换程序化与裁判的权重
每项任务的最终分数是程序化得分与裁判得分的加权和，权重按任务类型固定，且在模型评估之前就定好。这个设计有一个容易被忽略的好处：它把「哪种任务该更看重可执行的正确性」这个判断显式化了，而不是留给评分实现去隐式决定。
程序化得分对各项检查按权重求加权通过率，每条检查的取值在零到一之间；裁判得分则是量规条目的加权通过率，每条条目为零或一。量规由构建任务的同一位领域专家撰写，明确不是模型生成，且写在参考答案完成之后；发布前有一道校准检查——参考答案的报告必须在对应量规下达到至少 90%，任务才算合格。模型只在评估时被引入：用 GPT-5.6 Sol 作为裁判去应用人类撰写的量规，它不生成也不修改量规。
五项量规维度分别是来源锚定、科学正确性、完整性、执行与验证、表达。论文给出一个很有说明力的对比例子：在某个物理任务上，DeepSeek-V4-Pro 拿到程序化 1.00 与裁判 0.43，即数字全对但报告很薄；Claude Opus 5 则是程序化 0.11 与裁判 1.00，即报告无懈可击但数字是错的。若只看任一侧，这两次运行的评价会完全相反。
执行环境上，每个任务在专用 Docker 容器里跑，固定科学栈与任务专属工具，所有模型通过同一个命令行驾驭层（Claude Code，推理强度设为高）执行，每项任务每模型独立跑三次，先对三次取平均再对任务做宏平均。论文另在附录给出高与最高两档推理强度的对照。
十款智能体的成绩单
| 名次 | 模型 | 程序化 | 裁判 | 最终 | [email protected] |
|---|---|---|---|---|---|
| 1 | GPT-6 Astra | 77.7 ± 2.5 | 85.3 ± 1.4 | 80.9 ± 1.7 | 26.0% |
| 2 | Claude Fable 5 | 62.7 ± 3.1 | 74.4 ± 2.0 | 67.3 ± 2.0 | 9.7% |
| 3 | Claude Opus 5 | 59.2 ± 2.8 | 71.8 ± 2.4 | 64.2 ± 2.1 | 10.5% |
| 4 | Qwen3.8 Max | 54.7 ± 2.6 | 74.2 ± 1.6 | 62.7 ± 1.7 | 7.4% |
| 5 | Kimi K3 | 57.6 ± 2.6 | 71.2 ± 1.6 | 62.6 ± 1.7 | 6.1% |
| 6 | GPT-5.6 Sol | 58.8 ± 2.5 | 62.1 ± 1.8 | 59.6 ± 1.8 | 6.9% |
| 7 | Claude Opus 4.8 | 54.6 ± 2.5 | 63.5 ± 1.8 | 57.1 ± 1.7 | 3.2% |
| 8 | GLM-5.3 | 47.7 ± 2.7 | 67.6 ± 2.4 | 55.9 ± 2.1 | 5.3% |
| 9 | Grok-4.6 | 49.0 ± 3.0 | 57.4 ± 2.7 | 52.4 ± 2.4 | 3.1% |
| 10 | DeepSeek-V4-Pro | 44.8 ± 2.7 | 61.1 ± 1.8 | 50.9 ± 1.6 | 1.9% |
效率与成本的对照如下，论文没有直接报告 token 数，而是给出单次运行的平均费用、运行时间与交互轮次：
| 模型 | 最终分 | 单次运行费用（美元） | 运行时间（分钟） | 交互轮次 | 每分成本（美元，本文计算） |
|---|---|---|---|---|---|
| GPT-6 Astra | 80.9 | 20.79 | 22.1 | 56.8 | 0.257 |
| Claude Fable 5 | 67.3 | 7.67 | 25.3 | 30.2 | 0.114 |
| Claude Opus 5 | 64.2 | 12.49 | 30.6 | 43.9 | 0.195 |
| Qwen3.8 Max | 62.7 | 22.42 | 50.9 | 59.6 | 0.358 |
| Kimi K3 | 62.6 | 20.96 | 47.2 | 52.6 | 0.335 |
| GPT-5.6 Sol | 59.6 | 13.10 | 22.0 | 54.3 | 0.220 |
| Claude Opus 4.8 | 57.1 | 5.13 | 23.3 | 37.3 | 0.090 |
| GLM-5.3 | 55.9 | 57.96 | 56.6 | 102.4 | 1.037 |
| Grok-4.6 | 52.4 | 12.55 | 45.8 | 44.0 | 0.240 |
| DeepSeek-V4-Pro | 50.9 | 31.73 | 30.1 | 63.5 | 0.623 |
八十分与只有四分之一达标：稳定性才是短板
论文除了结果分，还沿轨迹分析了进展与稳定性，定义了四种行为：提前完成（在前三分之一快照内就接近峰值质量）、回落（先前通过的准则后来失败）、恢复（回落过的准则再次通过）、遗憾（早期通过但最终快照失败）。按任务类型统计如下：
| 任务类型 | 样本数 | 提前完成 | 回落 | 恢复 | 遗憾 |
|---|---|---|---|---|---|
| 端到端分析 | 134 | 36.2% | 12.2% | 10.3% | 3.7% |
| 文献综述 | 71 | 29.9% | 6.6% | 4.2% | 3.3% |
| 假设验证 | 117 | 20.9% | 6.1% | 4.5% | 2.9% |
| 工具编排 | 112 | 18.7% | 8.3% | 6.8% | 3.3% |
| 结果解释 | 47 | 13.3% | 4.4% | 2.1% | 2.7% |
| 代码生成 | 112 | 8.6% | 3.7% | 2.1% | 1.9% |
| 错误诊断 | 26 | 3.1% | 1.5% | 1.0% | 0.8% |
模型层面，GPT-5.6 Sol 的提前完成率为 51.7%、回落率 27.0%、遗憾率 16.0%；GPT-6 Astra 分别为 47.8%、18.3% 与 7.9%；其余若干模型的提前完成率约在两成到两成六之间。在五个量规维度上，程序化检查的恢复率在六分之五的模型里高于科学正确性；Kimi K3 是例外，它的程序化恢复率为 40.4%、科学正确性为 42.9%。科学正确性对多数模型既是回落率最高的维度，也常常是遗憾率最高的维度；表达则最稳定，准则通过率在 81% 到 93% 之间。
附录里还有一组对照：在五十项任务子集上，把推理强度从高提到最高，九款模型的整体 [email protected] 从 1% 升到 6%，整体最终分从 61.8 升到 65.1；分模型看，GPT-6 Astra 从 5% 升到 21%，其余多数仍在一成以下。
本文推算：五条原文没有直说的结论
其之一：交付者的分数主要不来自算对的钱。把七个分项按权重折回总分，OpenCode 的对账表、更正文件与陷阱三项（合计权重 0.40，是全部涉及精确金额的部分）只贡献了 0.066 分，占其 0.542 总分的约 12.2%；micro-cc 这三项只贡献 0.029 分，占其 0.528 总分的约 5.4%。反过来，登记表、可重跑工具、格式与备忘录合计贡献了 OpenCode 约 88.0% 的分数、micro-cc 约 94.7% 的分数。也就是说，这两个驾驭层拿到的分，绝大部分来自「找对了凭证、写出了能跑的工具、格式完全合规」，而不是「把欧元算对了」。对采购方而言，这意味着一次看似过半的得分，并不等于可以把它放到签字链上。
其之二：它们离「不懂制度变迁」比离满分更近。以论文给出的 0.45 参考锚点为界，OpenCode 高出 0.092 分，micro-cc 高出 0.078 分；而两者离满分的距离分别是 0.458 与 0.472。折算下来，它们离那档「规则对但不理解历史制度」的参考解的距离，只有离满分距离的约 20.1% 与 16.5%——可以理解为五分之四到六分之五的路还没走完。这条比单看 0.542 更能说明当前水位。
其之三：单位分数的成本在两端相差约十一倍，而总分只相差约一点六倍。按单次运行费用除以最终分折算，每分成本最低的是 Claude Opus 4.8（0.090 美元），最高的是 GLM-5.3（1.037 美元），相差约 11.5 倍；而十款模型的总分极差仅为 30.0 分，最高与最低之比为 1.59 倍。成本效率的分化程度远大于能力分数的分化程度，这与此前多份编码智能体评测里「按每美元收益重排名次」的观察一致，也是采购时最容易被总分掩盖的一栏。
其之四：按任务数加权后，这套基准约 53% 的分数来自程序化检查。把七类任务的程序化权重按任务数加权平均，得到 (20×0.70 + 11×0.65 + 28×0.55 + 25×0.50 + 16×0.50 + 10×0.45 + 10×0.20) ÷ 120 ≈ 0.530，即程序化约占 53.0%、裁判约占 47.0%。这个比例说明它并非「一半靠模型判分」那么简单：文献综述这类任务的裁判权重高达 0.80，而它在总分里只占 8.3% 的任务量，因此高分模型在综述类上的优势不会主导总分；反过来，工具编排与端到端分析两类合计占 44.2% 的任务量，才是总分的主体。
其之五：换模型远比提高推理档位划算。十款模型的平均 [email protected] 为 (26.0+9.7+10.5+7.4+6.1+6.9+5.3+3.2+3.1+1.9) ÷ 10 = 8.01%，也就是说平均约每 12.5 次运行才有 1 次逼近满分；即便是榜首的 GPT-6 Astra，也有 74% 的运行达不到 0.95。把推理强度从高提到最高，整体最终分只从 61.8 升到 65.1（+3.3 分），[email protected] 从 1% 升到 6%；而榜单首尾的分差是 30.0 分。两者口径不同（前者是五十项任务子集与九款模型，后者是一百二十项全表），仅作量级对照：换模型的收益大约是提升推理档位的九倍。
读榜检查清单
其一，先问评分是不是确定性的。kw-bench 无模型裁判，读数可直接比；SCI-AGENT-EXAM 有约 47% 的权重来自裁判，跨论文比较时要确认裁判模型与量规来源是否可比。
其二，看零分是不是「没产出」而不是「答错了」。kw-bench 的两个 0.00 都是 /app/out 为空，与能力判断不完全等价；生产环境里这类失败对应的往往是超时与上下文管理，不是模型不会。
其三，把成本与分数一起看。单次运行费用从 5.13 美元到 57.96 美元，跨度超过十一倍，且论文明确指出单次总成本比每 token 价格更能刻画智能体工作流的开销。
其四，把 [email protected] 当作主指标。平均 8.01% 的达标率说明「平均分」掩盖了稳定性问题；如果你的场景不能接受返工，应当按达标率而不是按均分选型。
其五，注意驾驭层是被测变量而非常量。kw-bench 在同一模型上换驾驭层得到 0.542 与 0.00 两种结果；SCI-AGENT-EXAM 则固定用同一个驾驭层，因此它的分数是「模型加这个驾驭层」的联合表现。
其六，留意样本强度。kw-bench 是单一作者在单一任务变体上的六次运行，作者自己说明 0.014 的分差在噪声内；SCI-AGENT-EXAM 是二十位作者、每项三次运行，统计强度更高，但任务构造成本极高，扩展到更多科研活动需要持续投入。
冷静判断
两份基准共同指向一个转向：智能体评测正在从「能不能生成一份像样的东西」走向「能不能把已经存在的答案找回来并站得住」。前者可以用量规与裁判打分，后者必须有可检验的真相——kw-bench 那个「刻意没有构建」的第三个案例，把这条界线讲得比任何方法论章节都清楚。
也要看到各自的边界。kw-bench 的读数建立在六次运行之上，且作者的驾驭层 micro-cc 是被测对象之一（论文已声明并公开全部轨迹）；数据是合成的，结构来自真实委托但税务规则被简化，不含利息与罚金；公开任务的答案随仓库发布，对未来模型存在污染风险，缓解手段是隐藏数据上的工具测试与按新种子重新生成任务的能力；全部为无头模式，作者明确说测的是「懒惰的专家」，因此便宜模型上的分数应被看作下限。SCI-AGENT-EXAM 的局限则在于它聚焦通用基础模型与标准化智能体设置，尚未覆盖配备领域工具、记忆、规划与迭代研究能力的专用智能体。
对工程实践的可迁移结论有三条：一是把「交付物是否齐全且格式正确」与「金额是否算对」分开度量，否则容易像本文其之一那样被总分误导；二是把长会话中的弱信号维持能力单独测，它比单次任务的峰值能力更能预测生产表现；三是把单位分数成本与达标率一起放进选型表，而不是只看平均分。综合来看，这两份基准给出的水位判断是：前沿模型已经能把数周的专业委托压到二十几分钟与几美元，但稳定性仍是主要短板；在此之下的模型上，驾驭层的差异可以把结果从交付拉到零分。至于两者之间的过渡带究竟在哪里，以及调查结果能否在无专家旁看的情况下达到可签字的质量，目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。