三份基准与共同问题
三份材料的发布时间集中在 2026 年 11 月 3 日至 5 日。ViBench 2.0（arXiv:2611.05620，11 月 3 日提交，六位作者，来自 Replit 的智能体工程平台）把评测单位从「一个完全指定好的任务」换成「一件逐步长出来的产品」；PLE（arXiv:2610.30537，Google AI & Infrastructure 团队与 Mercor 于 11 月 3 日发布）把评测场景从软件搬到需要执业工程师签字的物理工程；RoboARCade（arXiv:2611.08209，11 月 5 日提交，五位作者）则把智能体直接当作机器人策略，考察长程操作中的自我判断。
三者的判定设计指向同一处：不再逐点给分，而是要求交付件整体成立。ViBench 2.0 规定一件构建要通过全部测试计划才算通过；PLE 规定设计先通过每一项硬安全与可行性检查，才进入规范符合性与成本效率评分；RoboARCade 反过来记录了智能体「自认为完成」而实际未完成的比例。这三种口径互为镜像，比任何单一分数都更接近生产环境的验收方式。
| 基准 | 发布 / 提交 | 规模 | 任务域 | 判定单位 | 公开 / 隐藏 |
|---|---|---|---|---|---|
| ViBench 2.0 | arXiv 2611.05620，11-03 | 17 个产品、241 次功能请求、544 条测试计划、9 款模型 | 全栈 Web 产品逐步构建 | 整件产品是否跑通全部测试计划 | 公开 8 个、留出 9 个 |
| PLE | arXiv 2610.30537 与 Google Cloud 博客，11-03 | 85 项任务、5170 个文件、14 款模型、7 套 harness | 机械、电气、土木、结构工程 | 可被持牌复核人签字的交付件 | 公开 29 项、隐藏 56 项 |
| RoboARCade | arXiv 2611.08209，11-05 | 三种 embodiments、长程操作任务 | 机器人精细操作 | 子任务是否真实完成 | 代码、视频与完整轨迹公开 |
PLE 的出题方 Mercor 与开源环境 Archipelago，本站已在 R-BENCH-17 的 APEX-Agents 三口径评测中介绍过；两者是同一机构、同一执行环境下的不同任务域，不是同一基准的版本迭代。R-BENCH-51 讨论过「完成率会说谎」，本轮三份基准提供了两个新测法：硬安全门前置，以及对误报成功的直接计量。
ViBench 2.0：98% 测试计划与 65% 完整交付
Replit 的出发点是平台上真实发生的工作方式：用户不写代码，而是通过接连不断的功能请求让智能体把一个产品逐步做出来。既有的编码基准大多评估单个、需求已完整给定的任务，且不少已接近饱和，无法反映这种长程增量开发。ViBench 2.0 用 17 个参照常用软件设计的全栈 Web 产品，在 241 次功能请求中持续长大，完成后才由浏览器智能体运行 544 条测试计划统一验收；构建只有在每一条计划都通过时才记为通过，论文说明该严格评分经过评分协议校验以保持可靠。
| 构成项 | 数值 | 说明 |
|---|---|---|
| 全栈产品 | 17 个 | 按常用软件形态建模 |
| 功能请求 | 241 次 | 逐次追加，产品随请求增长 |
| 测试计划 | 544 条 | 由浏览器智能体执行 |
| 受测模型 | 9 款 | 用于平台侧模型选型 |
| 公开产物 | 8 个产品 | 连同 harness 与评分器一起发布 |
| 留出产物 | 9 个产品 | 不公开，用于降低过拟合 |
| 读数 | 数值 | 口径 | 读法提示 |
|---|---|---|---|
| 三款分数居前模型的测试计划通过率 | 最高 98% | 以测试计划为单位 | 接近逐项满分 |
| 同组模型的完整可用产品交付率 | 最多 65% | 以构建为单位，需全部计划通过 | 与上一行分母不同 |
| 开源权重模型完整交付 | 0 件 | 9 款模型中的开源权重阵营 | 论文表述为「没有一款交付出一件」 |
| 同一模型家族三代 pass@1 | 3% 升至 53% | 公开产品上的首次尝试通过率 | 任务集是否恒定未披露 |
| 同期每次构建成本 | 下降超过一半 | 论文未给具体金额 | 与 pass@1 属不同量纲 |
若把 3% 升至 53% 与「成本降超一半」当作同一条曲线上的两个读数，按每次成功交付所需的期望构建成本粗算：起点约为单构建成本的 33.3 倍，终点约为 0.94 倍，改善约 35 倍。这只是把两个独立读数放在一起的假设性折算，不是论文结论——三代模型之间任务集是否恒定、成本口径是否一致，公开摘要均未说明，不宜当作实测改善幅度引用。
98% 与 65% 的并置，说明的是长程增量开发里的误差累积：一条测试计划失败，整件产品就不算交付。对选型团队而言，把逐项通过率当作产品可用率会系统性高估。
PLE：91% 单项约束与 41.3% 全硬检查
PLE 由 Google AI & Infrastructure 团队与专家网络公司 Mercor 联合发布，论文作者包括 Rujun Han、Yufan Zhuang、Arijit Ray 等 12 位研究者，代码与公开任务托管在 google-research/ple，竞赛入口为 ple-bench.com。它把智能体放进基于 Mercor 开源 Archipelago 环境构建的容器化项目文件夹，里面是一线工程师实际会收到的材料：PDF、电子表格、邮件、2D CAD 图纸、3D BIM 模型与文档修订。智能体需要自己找出适用规范与物理极限、完成计算，并产出持牌复核人能够签字的设计交付件，例如配电柜与线缆表选型、场地竖向与管线布置。
| 维度 | 数值 | 构成 / 说明 |
|---|---|---|
| 任务总数 | 85 项 | 机械 30、电气 27、土木 18、结构 10 |
| 文件 | 共 5,170 个，平均每项约 61 个 | PDF、表格、邮件、CAD、BIM、修订记录 |
| 运行约束 | 无互联网，单任务最长 6 小时 | 每个模型与 harness 组合跑 3 次 |
| 出题方式 | 44 项专家编写、41 项共作 | 共作部分由对抗循环生成后经工程师验证加难 |
| 公开 / 隐藏 | 29 项 / 56 项 | 公开部分附评分工具与评估容器 |
| 评测组合 | 14 款前沿模型 × 7 套公开 harness | Antigravity、Claude Code、Codex、Hermes、OpenCode、OpenHands、Pi |
| 免费运行 | 13 款 Google 赞助模型 | 在主办方服务器上提交 |
评分采用门控设计：设计先通过每一项硬安全与可行性检查，之后才对规范符合性与成本效率打分；定量输出由自动脚本核验，开放性工作由 LLM judge 对照专家 rubric 评定。官方给出的结果如下。
| 读数 | 数值 | 出处口径 | 备注 |
|---|---|---|---|
| 私有测试集上限 | 全部模型低于 50% | Google 发布说明 | 另有渠道报 50.6%，口径未说明 |
| Claude Opus 5.5 配 Claude Code | 48.3% | Mercor，原生 harness 平均得分 | 居该次评测前列 |
| GPT 6 Astra 配 Codex | 45.8% | Mercor，同上 | 与上一行差 2.5 个百分点 |
| Gemini 4 Argon | 40.6% | Mercor，同上 | 未注明 harness |
| 成绩居前的配置单项约束满足率 | 91% | Google，共作任务 | 以单条约束为单位 |
| 同配置交付件全硬检查通过率 | 41.3% | Google，同上 | 以交付件为单位 |
| 模型间分数极差 | 最多 50 分 | 跨模型比较 | |
| 同模型跨 harness 中位差 | 约 3 分 | 同模型比较 | |
| 头部运行资源 | 约 2,700 万 token、63 分钟每任务 | Mercor | 平均值 |
| Opus 5.5 每任务成本 | 42.32 美元（Antigravity）对 12.87 美元（OpenCode） | 公开榜单 | 同模型不同 harness |
其一，85 项任务乘平均 61 个文件约得 5,185，与公布的 5,170 差 15；用 5,170 除以 85 得约 60.82，说明「平均 61 个」是四舍五入后的表述，不是整除值。其二，29 除以 85 约 34.1% 为公开比例，56 除以 85 约 65.9% 为隐藏比例；公开样本约占三分之一，这直接影响外部团队可复现的范围。
RoboARCade：6.2 分差距与误报成功
RoboARCade 把多模态智能体直接当作机器人策略（论文称为 agentic robot control），在三种 embodiments 上设置长程操作任务，通过在既有开源基准基础上加宽初始条件范围来提高难度。所有任务跑在同一个 MuJoCo 仿真后端，每个任务是自包含数据包，智能体通过可替换接口接入，因此任务、智能体与接口可以分别扩展。
| 读数 | 数值 | 口径 | 读法提示 |
|---|---|---|---|
| GPT-6 Astra 总分 | 49.8% | 论文报告的智能体成绩 | 与下一行差 6.2 个百分点 |
| Claude Fable 5.1 总分 | 43.6% | 同上 | 论文称仍有较大提升空间 |
| 更丰富视觉接口带来的增益 | 1.5 至 6.8 分 | 两种接口对比 | 成本同时升到 1.7 至 2.3 倍 |
| 误报成功 | 24% 至 39% | 以尝试的子任务为单位 | 智能体自报完成但实际未完成 |
| 一次成功示范的效果 | 53.5% 升至 73.0% | Astra，五任务子集 | 子集成绩不可与总分直接比 |
| 智能体自写并自改提示 | 72.0% | 同上子集 | 无需人工输入 |
| 失败归因 | 多为策略选择差或执行不精确 | 论文轨迹分析 | 很少源于场景理解错误 |
把误报成功这一行与 PLE 的门控设计并排看，会发现它们测的是同一件事的两面：PLE 用「全部硬检查通过」从外部堵住自我声明，RoboARCade 则直接量化自我声明与真实状态之间的缝隙。对需要无人值守执行的智能体，24% 至 39% 这个区间比总分差距更值得写进验收清单。
差值对照：分项通过不等于交付过关
三份基准都给出了「分项表现」与「整体交付」两类读数。把它们放在一张表里，能看出差值的量级；但必须先声明：这些差值的两端往往不是同一个分母，下面列出的百分点差仅供现象对照，不能当作可直接相减的统计指标。
| 基准 | 分项读数 | 整体交付读数 | 表面差值 | 分母是否一致 |
|---|---|---|---|---|
| ViBench 2.0 | 测试计划通过率最高 98% | 完整产品交付率最多 65% | 约 33 个百分点 | 不一致：计划对构建 |
| PLE | 单项约束满足率 91% | 全硬检查通过率 41.3% | 约 49.7 个百分点 | 不一致：约束对交付件 |
| RoboARCade | 自报完成的子任务 | 实际完成的子任务 | 误报 24% 至 39% | 一致：同为尝试子任务 |
| 原创换算 | 算式 | 结果 | 必须标注的前提 |
|---|---|---|---|
| PLE 文件均值回算 | 5,170 ÷ 85 | 约 60.82 个每项 | 公布「平均 61」为取整值 |
| PLE 公开比例 | 29 ÷ 85 | 约 34.1% | 外部可复现范围 |
| PLE 成本倍差 | 42.32 ÷ 12.87 | 约 3.29 倍 | 同模型、不同 harness |
| PLE 成本差额 | 42.32 − 12.87 | 29.45 美元每任务 | 榜单快照值 |
| PLE 平均 token 速率 | 2,700 万 ÷ 63 | 约 42.9 万 token 每分钟 | 平均值，非峰值 |
| 模型差与 harness 差之比 | 50 ÷ 3 | 约 16.7 倍 | 一个为极差、一个为中位数 |
| 视觉接口每倍成本换分 | 1.5 ÷ 2.3 与 6.8 ÷ 1.7 | 约 0.65 至 4.0 分 | 区间两端不可交叉配对 |
| ViBench 通过率增幅 | 53 − 3 | 50 个百分点 | 三代同家族，任务集口径未披露 |
其一，ViBench 的 33 个百分点与 PLE 的 49.7 个百分点来自不同任务域与不同判定单位，不能合并成「平均落差」。其二，RoboARCade 的 53.5% 升至 73.0% 发生在五任务子集，不能与 49.8% 的总分并列排名。其三，PLE 的 48.3% 与另一渠道出现的 50.6% 未见口径说明，本文并列标注而不择一采用。
模型差 50 分、harness 差 3 分，成本差 3.29 倍
PLE 给出的这组对照，是三份材料里对工程选型最直接用的一处：跨模型分数极差最多 50 分，而同一模型换 harness 的分数中位变化只有约 3 分。按 50 除以 3 粗算，模型选择带来的分数波动约为 harness 选择的 16.7 倍。但 Google 同时指出，harness 的选择会显著改变运行成本，公开榜单上 Opus 5.5 在 Antigravity 下每任务 42.32 美元、在 OpenCode 下 12.87 美元。
| 比较轴 | 读数 | 变动幅度 | 对选型的含义 |
|---|---|---|---|
| 换模型 | 分数极差最多 50 分 | 大 | 决定能力上限 |
| 同模型换 harness | 分数中位变化约 3 分 | 小 | 对分数影响有限 |
| 同模型换 harness 的成本 | 42.32 对 12.87 美元每任务 | 约 3.29 倍 | 决定账本，不决定分数 |
| 头部运行资源 | 约 2,700 万 token、63 分钟每任务 | 平均值 | 预算与超时设计需按此量级 |
分数账本里，模型权重是主要自变量；成本账本里，harness 是主要自变量。这与本站 R-BENCH-28 讨论过的「harness 与模型谁更影响成绩」并不矛盾：那一轮的材料来自编码任务与 Terminal-Bench 口径，本轮 PLE 把任务换成需要逐项硬检查的工程交付件，结论落在「模型定上限、harness 定单价」。团队若只盯排行榜分数做选型，容易忽略后者在长任务上放大到三倍以上的支出差。
还需留意统计口径：50 分是跨模型的极差，3 分是同模型跨 harness 的中位变化，两者不是同一类统计量，16.7 倍只是量级对照，不能解读为严格的方差分解。
循环验证与可复现性边界
PLE 的方法学里有几处应当在引用时一并说明。榜单把 Claude Opus 5.5 列为 rubric judge，而同一模型家族正居该榜前列；开放性交付件由 LLM judge 对照专家 rubric 评定，因此评分器与受测方存在同族关系。官方材料未说明是否做了去偏处理或引入异族 judge 交叉核验。此外，公告没有列出 14 款受测模型的完整名单，也没有给出逐模型排名，外部无法复核 Gemini 与其他模型的相对位置；私有集与 29 项公开任务之间的难度差异同样未披露。
| 风险项 | 公开材料中的表现 | 对读数的影响 | 建议动作 |
|---|---|---|---|
| judge 与榜首同族 | Opus 5.5 同时担任 rubric judge | 开放性评分可能存在同族偏好 | 等待第三方用异族 judge 复跑 |
| 任务新鲜度 | 任务集新，尚未被广泛复现 | 结论稳定性待验证 | 引用时标注为厂商自建基准 |
| 公开样本偏小 | 29 项公开、56 项隐藏 | 竞赛启动后过拟合更容易发生 | 以隐藏集成绩为准 |
| 模型名单未全公开 | 未给逐模型排名 | 无法核对跨模型极差的构成 | 不据此排产品优劣 |
| 分数口径冲突 | 48.3% 与另一渠道 50.6% | 可能是私有集与配置差异 | 并列标注，不择一采用 |
ViBench 2.0 同样带有平台自评属性：基准由 Replit 用于自家平台的模型选型，留出 9 个产品不公开以降低过拟合，这一设计值得肯定，但外部仍无法在留出集上复现。RoboARCade 则公开了代码、视频与完整轨迹，三份材料里可复现条件相对充分。
六条读榜检查清单
把三份基准的口径差异收拢成六条可操作的检查项，供后续读同类榜单时使用。
| 序号 | 检查项 | 本轮对应的读数 | 常见误读 |
|---|---|---|---|
| 一 | 先问分母是任务、约束、计划还是交付件 | 98% 是测试计划，65% 是构建 | 把逐项通过率当作可用率 |
| 二 | 确认是否存在前置硬门 | PLE 全部硬检查通过后才有分 | 把 91% 当成最终得分 |
| 三 | 把分数账与成本账分开记 | 3 分对 3.29 倍成本 | 只按分数选 harness |
| 四 | 核对子集与总集 | 53.5% 升至 73.0% 属五任务子集 | 拿子集成绩参与总榜排名 |
| 五 | 查评分器与受测方是否同源 | Opus 5.5 同时是 judge 与榜首家族 | 把开放性评分当作客观测量 |
| 六 | 查公开与隐藏的比例 | 29 对 56，公开约 34.1% | 用公开集调参后外推隐藏集 |
六条里前两条关于判定口径，中间两条关于统计与成本，后两条关于可复现性。它们不依赖具体模型版本，换一批榜单同样适用。
口径边界与未披露项
- 不可横比：三份基准的任务域、判定单位、运行预算（ViBench 未给时长上限、PLE 为 6 小时无网络、RoboARCade 为仿真长程操作）都不同，48.3%、65%、49.8% 不构成同一条能力轴。
- 自报与自评：PLE 与 ViBench 2.0 均为厂商或平台自建基准，成绩未经独立复现；RoboARCade 公开轨迹但读数同样出自作者团队。
- 未披露项：ViBench 2.0 未给每次构建的具体成本与三代模型之间的任务集是否恒定；PLE 未给 14 款模型完整名单、逐模型排名与私有集难度说明；RoboARCade 未给接口增益在不同 embodiments 上的分项读数。
- 换算限制：本文所列 33 与 49.7 个百分点差值、16.7 倍、约 35 倍成本折算均为现象级换算，两端分母或统计类型不同，不可作为官方结论引用。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未说明的是 PLE 竞赛的奖金与时间表、第三方复跑结果，以及 ViBench 2.0 留出集的外部评测安排。