0.835 与 0.700、53.4% 与 53.5%：五份 11 月基准的版本与转述口径核对

五份预印本：判分单位换成一段过程

一次问答可以判对错；一段会自己变化的过程不行。五份预印本各自用不同办法把「过程」做成可判分的对象：让模拟时间随动作推进而不受模型延迟影响、给判分标准加时间戳、把用户也模拟进来形成闭环、限制环境重置、或者干脆从游戏引擎状态自动读结果。下表按公开读数整理规模，各列量纲不同，不做横向排序。

基准	arXiv 编号	任务或场景规模	判分单位	成绩居前读数
StoreBench	2610.10942（v1 10-07 / v2 11-02）	11 个场景、30 至 45 模拟日及一整个模拟年、3 个世界种子、29 个商家工具	任务—种子单元通过率与综合分	arXiv 版：模型 49% 对脚本分诊 97%；汇编版：0.835 / 89%
CARTBench	2611.05862v1（11-04）	17 个零售域、1,603 条商品记录、1,328 条专家标注判据；汇编稿另给 169 个带时间戳案例	逐案 rubric 的 Core / Excellence / Safety 判据	10 个模型中 3 个 Core 超过 90%，无一在 Excellence 超过 45%
Interactive Visual Gym（IVG-Bench）	2611.08286（11-05，另有 v2）	315 个交互场景，覆盖烹饪、家居操作与移动界面	时限内任务完成率与交互质量	53.4% 或 53.5%，随版本而变
Embodied First Exam	2611.12177v1（11-09）	1,156 个任务、35 个套件、47 台机器人，其中 456 个核心任务	标准设置下的任务成功率	8 个智能体中成绩居前者 34%
GTAGym（GTAVBench）	2611.13028v1（11-09）	103 个在线任务、9 个任务族，另有 47 个图像类射击任务	引擎状态自动判定的任务完成	GTAVBench-AGI 分支 70.9% 整体准确率

五份材料里值得先记的结构变化是分母的粒度：StoreBench 用「任务—种子单元」而不是「任务」，CARTBench 用「判据」而不是「案例」，IVG 用「时限内完成的场景」，Embodied First Exam 把 1,156 个任务再收成 456 个核心任务。同一个百分号，在这五份材料里指向五种不同的计数对象（原创口径归纳）。

把 89%、70.9%、53.4%、34% 与「Core 超过 90%」并排列成一张「成绩榜」是没有意义的：前四个分别是通过率、准确率、完成率与成功率，最后一个是达标模型的比例而不是分数。本站 R-BENCH-57 讨论过交付件判定如何改写分数，R-BENCH-60 讨论过判分范围如何改写分数；本篇的切口更靠前一层——在比较分数之前，先确认读到的是哪个版本、哪一次汇编（内部对照说明）。

目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是五份预印本之间是否共享任务集、模型版本或推理预算，因此本文不做任何跨基准的分数运算。

StoreBench：两套读数并列保留

StoreBench 让智能体在生产级电商后端上经营一家中型服装店：顾客全天独立下单、供应商会调价或失效、市场冲击可能提前无预警；智能体用人工运营者同样那 29 个商家工具操作，且在窗口化的操作预算下，模拟时间由动作数决定，模型延迟无法影响模拟时间。通过阈值用脚本化锚点策略校准，奖励针对一组已列出的作弊手法做了加固，同一动作序列可完全复现（来源：arXiv:2610.10942v2 摘要页）。

一篇 2026 年 11 月 12 日的汇编稿也介绍了 StoreBench，并附了细得多的读数：成绩居前的模型为 Claude Fable 5.2，平均综合分 0.835、通过率 89%；脚本化智能分诊基线为 0.764、通过率 97%；主套件 693 次运行中有 178 次出现进货不足，目录含 3,448 个商品变体、市场有 40 家供应商，底层用 Medusa v2，并设有防奖励作弊的加固（来源：Hanging Context 汇编全文）。

读数项	arXiv:2610.10942v2 摘要	11·12 汇编稿	是否一致
成绩居前模型	DeepSeek-V4-Pro	Claude Fable 5.2	不一致
模型侧综合分	人类专家 0.708 对模型 0.700	0.835 对基线 0.764	不一致
模型通过率	49% 的任务—种子单元	89%	不一致
脚本化分诊基线通过率	97%	97%	一致
评测模型数量	7 个前沿大语言模型	未给	无法核对
场景与种子	11 个场景、3 个世界种子、匹配推理预算	30 至 45 模拟日、29 个工具	互补，非同一维度
训练实验结果	Qwen3.5-27B 在 5 个不相交任务上做 GRPO，留出集综合分 0.136 升至 0.373	未给	无法核对

本文不判定哪套读数成立。可核对的是：两者共享 97% 这一基线通过率，也都指向同一个结构性结论——综合分与通过率不同向。arXiv 版里模型综合分 0.700 已很接近人类专家 0.708（差 0.008），但通过率只有 49%，远低于脚本分诊的 97%；汇编版里领先模型综合分 0.835 高于基线 0.764（高 0.071），通过率却是 89% 低于基线 97%（低 8 个百分点）。两套数字都说明「把综合分做高」与「把该过的都过掉」不是同一件事（原创交叉结论）。

另有一项值得记的方法设计：arXiv 摘要明确写了「完整环境与评测套件暂不公开，以避免基准被污染」，只放出 5 个训练样例任务、10 条样本轨迹与评分核验工具。这意味着第三方在拿到完整套件之前，很难独立复现任何一套通过率读数；汇编稿给出的 693 次运行与 178 次进货不足，同样缺少可复算的原始轨迹清单（原创可复现性评估）。

目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未说明的是两套读数是否对应同一版本、同一模型池与同一推理预算，以及综合分的具体加权项。

IVG 版本差：分数几乎没动，榜首换了模型

Interactive Visual Gym 把「用户」也放进评测回路：三个模拟器分别复现烹饪、家居操作与移动界面任务，配一套带人格条件的用户模拟，会故意引入执行偏差与计划外行为；助手的回复会改变用户后续动作与任务结果，因此离线回放无法测出这类效应。框架实例化为 IVG-Bench，含 315 个交互场景（来源：arXiv:2611.08286 摘要）。

核对两个来源时出现一处很细但影响引用的差异：arXiv 的 v2 摘要写「成绩居前的模型 Claude Opus 5.5，在时限内仅完成 53.5% 的任务」，并给出 39 页含附录、主体分类 cs.CV；而同一编号的 v1 内容镜像与 11·12 汇编稿写的是「Gemini 4 Argon 完成 53.4%」，提交日标注 11-05、发布标注 11-06。两者共同的部分是 315 个场景、78.5% 的交互质量指标与人类偏好一致率，以及 Qwen3.5-4B 在烹饪环境下经 GRPO 闭环训练后任务成功率与交互质量均有改善（来源：arXiv:2611.08286v2 摘要页、v1 内容镜像、Hanging Context 汇编全文）。

核对项	v2 摘要页	v1 镜像 / 汇编稿	差值
成绩居前模型	Claude Opus 5.5	Gemini 4 Argon	模型名不同
时限内完成率	53.5%	53.4%	0.1 个百分点
交互场景数	315	315	一致
与人类偏好一致率	78.5%	78.5%	一致
GRPO 实验模型	Qwen3.5-4B（烹饪环境）	Qwen3.5-4B（烹饪环境）	一致

把 315 乘上去：53.4% 约 168.2 个场景，53.5% 约 168.5 个场景，差约 0.3 个场景（原创换算，仅作量级示意，实际计数受取整与判定规则影响）。分数几乎没有变化，榜首模型却换了一家——这说明版本更新动的可能不是评测结果本身，而是参评模型名单、重跑范围或榜首归属的标注；摘要页没有解释，本文不猜测原因，只把差异记成引用前必须核对的一项。

v2 摘要同时点出两类失败：事实依据与可执行指导偏弱，以及把响应延迟计入后「常常来不及阻止错误」。后一条与时间维度的关系值得单独记——在闭环评测里，回复慢不只是体验问题，它会直接让用户已经做错的动作进入下一轮状态，因此「时限内完成率」与离线问答准确率不是同一类指标（原创解读）。

目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是 v1 到 v2 的更新说明、参评模型名单变化、53.4% 与 53.5% 是否来自同一批运行，以及未解决事项里提到的「GRPO 闭环训练在烹饪环境之外表现如何」。

CARTBench：Core 与 Excellence 不是同一把尺

CARTBench 处理的是带时间线的复杂模糊购物请求：时间戳对话保留「需求变了」与「问题没被回答」的痕迹，分层抽样覆盖 17 个常见零售域，并与 1,603 条商品记录配对。判分标准不是一张通用清单，而是由专家从成功订单里人工挑出的优秀回复中提炼「理想回复原则」，再逐案实例化为 rubric；模型只拿到原则，拿不到 rubric（来源：arXiv:2611.05862v1 摘要页与 HTML 全文）。

判据维度	含义	首轮全量评测结果
Core	检查必需行为是否做到	10 个模型中 3 个超过 90%
Excellence	奖励超出必需行为的高质量建议	无一超过 45%
Safety	检查逐案风险	摘要未给汇总分数
合计判据	1,328 条专家标注判据，覆盖上述三类	在冻结 rubric 下完成首轮全量评测

作者把 3 个模型 Core 超过 90% 与无一模型 Excellence 超过 45% 之间的落差称为「理解到执行的鸿沟」，并归到两类共同失败：商品证据不足，以及需求未被解决，后者与需求动态变化、关键信息未定有关（来源同上）。这里要分清的是，Core 与 Excellence 是同一套 rubric 里的两类判据，不是两次不同难度的考试；因此可以直接说达标结构不均，却不能说「模型在难题上掉了多少分」——Excellence 的 45% 是所有模型的上限读数，不是某道题的得分。

汇编稿另给 169 个带时间戳案例，这个数字未出现在 arXiv 摘要中（来源：Hanging Context 汇编全文）。把它与摘要里的 1,328 条判据、1,603 条商品记录并排，可以做出三条结构折算，但三条都只是密度，不能当作判据覆盖率：1,328 除以 169 约 7.86 条判据每案例；1,328 除以 17 约 78.1 条每零售域；1,603 除以 169 约 9.49 条商品记录每案例（原创换算）。由于判据按案例定制、商品记录按案例配对，这三个商数都隐含「均匀分布」假设，而原文用的是分层抽样，实际分布未必均匀。

参评模型的数量也有一处口径要留神：摘要写「7 个旗舰商业 API 模型，含 GPT-6.1-Sol 与 Claude-Opus-5，以及 35B 参数以上的开源权重模型」，而结果句写「10 个模型中 3 个」。两处数字对应的是「商业 API 模型数」与「全量评测模型总数」，不能相减得出开源模型个数，除非明确知道名单无交叉（原创口径辨析）。

目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是 169 个案例的抽样明细、三类判据各自的条数分布、逐模型分数，以及 Safety 维度的汇总结果。

另外三份：任务规模、设置与失败读数

剩下三份把「过程」放进了物理与交互约束更强的环境。它们的公开读数完整度不一，本节按可核对到的部分分列，不补齐缺失项。

基准	规模与设置	成绩与失败读数	可核对的加固设计
Embodied First Exam	1,156 个任务、35 个套件、47 台机器人，其中 9 个新套件超出抓取放置；456 个核心任务；标准设置只给传感器观测且默认不允许重置，实时变体让环境在智能体推理时继续运行，特权设置给完整模拟器状态与无限重置	8 个智能体中成绩居前的 GPT-6 Astra in Codex 在标准设置下 34%	按失败发生阶段打标，并跨智能体、设置与阶段类别对照；作者按失败阶段分类
GTAGym / GTAVBench	103 个在线任务按 9 个任务族重建，另有 47 个基于 GTA V 图像的射击狙击任务；6 个前沿大语言模型；AGI 分支只在首张截图给指令，由 harness 自动压缩交互历史	GTAVBench-AGI 分支成绩居前配置 70.9% 整体准确率；空中导航、规避与拦截仍偏难；LoRA 强化学习让原生 GTA V 任务从 15% 升至 23%	从引擎状态自动判定结果，不依赖人工判断；提供可扩展任务生成器与自动奖励、终止信号
Interactive Visual Gym	315 个交互场景、三类模拟器、带人格条件的用户模拟	53.4% 或 53.5% 时限内完成率；响应延迟计入后常来不及阻止错误	人类研究给出交互质量指标与参与者偏好 78.5% 一致率

三份材料里，「设置」本身就是自变量。Embodied First Exam 明确把特权设置下的成功率当作近似上界，标准设置才模拟真实世界；若把 34% 与特权设置的结果相减来解释「信息缺口造成多少损失」，需要先确认两个设置跑的是同一批 456 个核心任务与同一组智能体，摘要页没有给出这组对照数值（原创引用纪律）。

GTAGym 的 70.9% 也有范围限定：它出现在 GTAVBench-AGI 分支，即指令只出现在首张截图、交互历史由 harness 压缩的条件下；这不能直接当作文本指令分支的成绩。15% 升至 23% 则来自「在生成的步行导航任务上做 LoRA 强化学习，再迁移到原生 GTA V 任务」这一训练结果，与前面的评测成绩是两条不同的测量链路（原创口径辨析）。

三份材料都给了「哪里还不行」：机器人的空间谜题、灵巧操作与多机器人交互仍在探索范围；游戏侧是空中导航、规避与拦截；视觉交互侧是事实依据、可执行指导与响应延迟。这些定性短板的价值在于可对照自身场景的失败类型，而不是互相换算成分数差（原创读法）。

目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是三份预印本的逐模型分数、重复运行次数与方差，以及机器人三档设置之间的同源对照数据。

提交日与「发布日」之间的 2 至 35 天

汇编稿把五份预印本统称为「11 月 11 日与 12 日发布」。把 arXiv 摘要页的提交历史逐个对上，会看到另一条时间线。

基准	arXiv 提交历史	汇编稿所称发布日	口径差
StoreBench	v1 2026-10-07；v2 2026-11-02	11-11 或 11-12	相对 v2 约 9 至 10 天，相对 v1 约 35 至 36 天
CARTBench	v1 2026-11-04	11-11 或 11-12	约 7 至 8 天
Interactive Visual Gym	2026-11-05（镜像标注 11-06 发布），另有 v2	11-11 或 11-12	约 5 至 7 天
Embodied First Exam	v1 2026-11-09（另有 11-10 更新标注）	11-11 或 11-12	约 2 至 3 天
GTAGym	v1 2026-11-09；第三方索引标注 11-11	11-11 或 11-12	约 2 至 3 天

差异本身不等于错误：汇编稿可能指的是「被集中报道的日期」，也可能指某个版本被索引或公开讨论的时点，而 arXiv 的提交历史是另一套时间口径。问题出在这两种日期被写成同一个词「发布」，却没有说明各自指什么。对读者而言，这个差别会直接影响判断：StoreBench 的 v1 在 10 月初就已存在，把它读成 11 月中旬的新结果，会误判它与其他四份材料的先后关系（原创时间口径辨析）。

再叠上前文的读数冲突，会出现一个组合情形：同一份 StoreBench，版本不同、日期口径不同、模型名与通过率也不同。此时「五份 11 月 11 至 12 日新基准」这个标题式的概括，至少在 StoreBench 一项上不成立。本文的建议是把这类汇总稿当作线索清单，逐条回到 arXiv 摘要页与提交历史核对，再引用具体数字（原创引用流程）。

需要标注来源限制：五份 arXiv 信息均来自摘要页与公开镜像的提交历史，本文未取得各预印本全文的致谢、变更说明与实验附录；汇编稿页面自述其内容由智能体从 Manifest 生成，并附方法论与更正入口。这些限制不改变读数本身，但决定了对差异「为什么存在」只能列为待核项，而不能下结论（原创边界说明）。

目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未说明的是 v1 与 v2 之间是否重跑过评测、参评模型名单是否变动，以及汇编稿所依据的 Manifest 对应哪个版本。

六组原创折算与不可相减的分母

下列算式全部基于本节已标注的公开读数，用于标出分母与统计类型。凡来自两套冲突读数、两个不同版本或两次不同测量的数字，只并列不相减、不相乘。

序号	算式与结果	分母或统计类型	使用限制
一	178 ÷ 693 ≈ 25.7%	汇编稿主套件的运行次数	进货不足出现率，不是任务失败率
二	1,328 ÷ 169 ≈ 7.86 条每案例；1,328 ÷ 17 ≈ 78.1 条每域；1,603 ÷ 169 ≈ 9.49 条商品记录每案例	CARTBench 判据数 / 案例数 / 零售域数 / 商品记录数	隐含均匀分布假设，分层抽样下仅作密度示意
三	315 × 53.4% ≈ 168.2；315 × 53.5% ≈ 168.5，差约 0.3 个场景	IVG-Bench 交互场景数	两个版本完成率不可合并，且榜首模型不同
四	103 + 47 = 150 个任务；47 ÷ 150 ≈ 31.3%；1,156 ÷ 35 ≈ 33.0 个任务每套件；456 ÷ 1,156 ≈ 39.4%；9 ÷ 35 ≈ 25.7%	GTAGym 任务数与 Embodied First Exam 任务、套件数	结构占比，与成绩无关；两组数字不可相减
五	0.373 ÷ 0.136 ≈ 2.74 倍、提升 0.237；23% − 15% = 8 个百分点、23 ÷ 15 ≈ 1.53 倍	StoreBench GRPO 留出集综合分与 GTAGym 原生任务迁移成绩	两次不同训练实验，倍数不能横向比较
六	汇编版 0.835 − 0.764 = 0.071 对 89% − 97% = −8 个百分点；arXiv 版 0.708 − 0.700 = 0.008 对 97% − 49% = 48 个百分点	综合分为均值、通过率为单元占比	综合分差与通过率差量纲不同，不可合成「净优势」

第六组是全文最该留的一组。两套读数都显示「综合分接近或超过基线、通过率却明显落后」，但落后的幅度一个是 8 个百分点、一个是 48 个百分点，且模型侧的 0.835 与 0.700 差 0.135。把这三者平均成「模型综合分约 0.77、通过率约 68%」没有任何来源支撑——它们来自两套不同的测量（原创反例）。

另有一处容易顺手做错：10 个模型里 3 个 Core 超过 90% 是 30% 的模型占比，「无一超过 45%」是 Excellence 的分数上限，两者一个是比例、一个是分数，不能相减成「落差 30 个百分点」之类的说法（原创口径辨析）。

本站 R-BENCH-49 讨论过让智能体经营 180 天生意的 AutoVend 与 Vending-Bench 2，与 StoreBench 同属长程经营类；本篇不做两者分数对照，原因是任务集、时长与通过判定均不同，且本篇重点在版本核对而非跨基准排行（内部对照说明）。

目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是各基准的重复运行次数、置信区间与逐模型明细，因此本文所有折算都只到量级与结构层面。

读榜六问与可证伪边界

把这一轮的核对动作收成六个问题，供引用任何一份智能体基准前逐条过一遍。它们不依赖具体模型名，也不要求取得全文。

问题	要核对什么	本轮命中的例子
一问版本	arXiv 编号带不带 v1 / v2，摘要页与镜像是否同一版	IVG 2611.08286 的 53.4% 与 53.5%、榜首模型名
二问层级	读的是一手摘要、预印本全文、还是汇编转述	StoreBench 的 0.835 / 89% 出自汇编，0.700 / 49% 出自摘要页
三问分母	百分号对应任务、任务—种子单元、判据、场景还是模型数	49% 是任务—种子单元，3/10 是模型占比
四问设置	是否有标准 / 实时 / 特权、文本指令 / AGI 分支等并列条件	Embodied First Exam 三档设置、GTAVBench-AGI 分支
五问代价	高分是否附带时长、延迟、成本或人工介入条件	IVG 的时限内完成率与响应延迟计入后的失败
六问日期	「发布日」指提交、版本更新、索引还是被报道	StoreBench v1 10-07 与汇编所称 11-11/12

可证伪边界也要写清。本文对两套 StoreBench 读数、两个 IVG 版本只做并列记录，不判定谁更准确；若后续有版本更新说明或作者澄清指出其中一套为不同评测配置，本轮的「冲突」判断即被推翻，届时按新说明重列即可。同理，日期口径差若被证明是汇编稿特指「被集中报道日」，则属于命名问题而非事实矛盾（原创可证伪设计）。

还有一层来源限制：五份材料的 arXiv 信息来自摘要页与公开镜像，汇编稿自述由智能体生成并附更正入口；本文未取得各预印本全文的实验附录，无法核对逐模型分数、方差与失败标注明细。因此本篇结论限于「引用前需要核对什么」，不包括「哪份基准更难」或「哪个模型更强」这类排名判断（原创结论边界）。

本站 R-BENCH-57 从交付件判定切入、R-BENCH-60 从判分范围切入、R-BENCH-59 从榜单分辨率切入；本篇把核对点再往前挪一格到版本与转述层级，四篇的读榜框架可以叠加使用，但所引数字互不通用（内部对照说明）。

目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是五份预印本的版本变更说明、StoreBench 两套读数的对应关系、IVG 参评名单变化，以及各基准完整评测套件的开放时间。