三份 11 月基准，三种「一次运行」
三份材料都在 2026 年 11 月首周前后提交，都测智能体，却几乎没有一个数字可以直接并列。原因不在模型强弱，而在「一次运行」各自指什么（来源：arXiv:2611.13183v1 摘要页与 HTML 全文、arXiv:2611.06803 摘要页、arXiv:2611.06910 摘要页）。
| 基准 | 提交日 | 判定对象 | 一次运行的计数单位 | 公开的核心读数 |
|---|---|---|---|---|
| AgentScript-Eval（arXiv:2611.13183v1） | 2026-11-09 | 一份 AgentScript 声明是否编译并通过全部测试用例 | 生成程序的重复执行次数，直接生成 k=3、智能体式 k=1 | 100 任务、630 测试用例、成绩居前的 25.0% pass@3 |
| Task-Efficient Agent Evaluation Using Cached Traces（arXiv:2611.06803） | 2026-11-04 | 整套基准分数能否被少量执行预测 | 已执行任务数，单个随机已执行任务 | SWE-bench Verified MAE 0.13→0.08、Terminal-Bench 2.0 0.14→0.12 |
| FrontierPhysics（arXiv:2611.06910） | 2026-11-04 | 一段端到端物理研究是否正确且可发表 | rollout 次数，每个配置的 168 次 | 56 任务、42 位物理学家、22 模型 26 配置、无配置通过超过 46 次 |
头一份把「一次」定义成同一段生成程序的重复执行，第二份把「一次」定义成一条任务轨迹被用来做分数预测，第三份把「一次」定义成一次完整研究 rollout。三者的分母分别是测试用例、参考系统集合、研究任务与 rubric，因此 25.0%、0.08、46/168 三组数字不构成任何可相加或可比较的序列（原创量纲辨析）。
25.0% 是「全部检查项都通过的任务比例」，0.08 是「预测分数与真实分数的平均误差幅度」，46 是「168 次 rollout 里通过的次数」。三个数分别属于通过率、误差与计数，量纲都不同。把它们排成一行比较「谁更强」，是读榜时最常见也最难自查的一类错误。
三份材料的署名性质也不同：AgentScript-Eval 由 Salesforce 相关作者完成并被 NeurIPS 2026 第二届「企业任务智能体基准与应用」workshop 接收；Cached Traces 是两位作者的方法学论文；FrontierPhysics 署名 72 位作者、由 42 位物理学家基于自身研究出题。本文后续分别标注来源，不把三者合成一个「11 月基准综述」（原创来源分层）。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是三份材料统一到同一任务集后的可对照结果，以及各自评分器的独立人工复核数据。
AgentScript-Eval：100 个任务、630 个测试用例与三套分数
AgentScript-Eval 测的是 Salesforce 在 Agentforce 里用于构建对话式智能体的声明式 DSL「AgentScript」。企业 DSL 的特点是公开预训练语料里几乎没有，因此通用代码能力在这里不能直接迁移（来源：arXiv:2611.13183v1 摘要与 HTML 全文 Appendix B）。
| 构造维度 | 读数 | 说明 |
|---|---|---|
| 任务总数 | 100 | 取自真实 AgentScript 场景 |
| 任务类别 | 新建 30 / 调试 40 / 优化 30 | 新建为从自然语言规格生成，调试为修复无法编译的声明，优化为改进可运行声明 |
| 难度分布 | 基础 7 / 中级 22 / 高级 71 | 高级占 71% |
| 可执行测试用例 | 630 | 每任务中位 5 个，范围 1 至 13；每个用例中位 3 轮对话，上限 15 轮 |
| 调试任务注入缺陷 | 中位 3 个、上限 5 个、共 8 类 | 缺陷类别计数合计超过 40，因同一任务可带多个缺陷 |
| 优化任务行为缺陷 | 1 个 | 单个行为缺陷 |
| 任务级判分 | 全有或全无 | 必须通过全部测试用例才算通过，无法编译得 0 |
论文同时用了三套指标，这是全篇最需要分清楚的地方（来源：同文 Method 与 Metrics）：Compile rate 是「生成程序能编译的任务比例」；Pass rate 是「每个任务中通过检查项的平均比例」，即部分给分；pass@k 是「固定编译程序在 k 次运行执行中至少一次通过全部检查项的任务比例」。三者分别量语法、量部分完成度、量严格通过，彼此不能互相印证。
| 指标 | 分母 | 能否与另一个指标相除或相加 | 本文用法 |
|---|---|---|---|
| Compile rate | 100 个任务 | 不能与 pass@k 相加 | 只作语法层读数 |
| Pass rate（部分给分） | 100 个任务内检查项比例 | 不能与 pass@k 相除 | 只作部分完成度读数 |
| pass@3（直接生成） | 100 个任务，k=3 为同一程序重复执行 3 次 | 不能与 pass@1 直接比较 | 仅在同协议内比较 |
| pass@1（智能体式） | 100 个任务，取轨迹中遇到的成绩居前的程序 | 与 pass@3 协议不同 | 仅在同协议内比较 |
还有一个容易漏的协议细节：直接生成的 k=3 是同一段生成程序重复执行三次，不是三个独立生成程序；智能体式配置可在轨迹中多次编译、执行与修订，按 k=1 评分并报告轨迹中遇到的成绩居前的程序。论文 Method 与 Appendix D 对「最终 draft.agent 被评分」和「报告轨迹中成绩居前的程序」两处表述略有差异，但都明确智能体式用 k=1（原创协议核对，并列保留）。
智能体式沙箱上限为 50 个 assistant turns 或 900 秒墙钟时间，先到者为准。这个上限本身是一项口径：它意味着「智能体式配置用更多 token 换更好结果」的比较，是在固定步数与时间预算内做的，把两者的 token 数直接相除得到「性价比」并不严谨（原创边界标注）。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是 630 个测试用例在各难度层的分布、任务采样来源的去重规则，以及人工对 DSL 判分器的复核样本。
五个模型零样本：编译率与通过率不同向
五个模型零样本直接生成的结果，是这篇论文被广泛引用的一张表。以下读数全部来自 Table 1，协议为 pass@3（来源：arXiv:2611.13183v1 HTML 全文 Table 1）。
| 模型 | pass@3（%） | 编译率（%） | 部分给分通过率（%） | 每任务输出 token |
|---|---|---|---|---|
| Claude Opus 4.8 | 25.0 | 38.0 | 31.3 | 9.9k |
| GPT-5.5 | 20.0 | 38.0 | 29.1 | 9.5k |
| Gemma-4 31B IT（开源权重） | 15.0 | 48.0 | 28.1 | 7.0k |
| GPT-5 mini | 14.0 | 32.0 | 20.9 | 9.2k |
| Claude Sonnet 5 | 14.0 | 21.0 | 17.4 | 8.2k |
值得细拆的是 Gemma-4 31B IT 这一行：它在该批中拿到居首的 48.0% 编译率，且每任务输出 token 为该批最小读数（7.0k），部分给分通过率 28.1% 与成绩靠前的 Opus 4.8 的 31.3% 相差 3.2 个百分点；但严格通过率只有 15.0%，比 Opus 的 25.0% 低 10.0 个百分点。编译率与通过率在这里明显不同向（原创对照）。
论文 Finding 2 写 Gemma 的部分给分通过率「within three points of the best」，按 Table 1 的 31.3% 与 28.1% 相减是 3.2 个百分点。这可能是四舍五入、不同表的取值或措辞宽松所致，本文并列保留两种表述，不自行改写数值，也不据此推断统计显著性。
论文的结论句是「模型规模与价格是弱预测因子」，并写明「默认选择最贵的模型在这类任务上并不明显站得住脚」。支持它的还有一处对照：Claude Sonnet 5 在编译率 21.0% 与部分给分 17.4% 上，都低于被称为 smaller hosted model 的 GPT-5 mini 的 32.0% 与 20.9%。但这不等于「小模型更强」——五个托管模型的参数规模论文均未披露，只有 Gemma-4 31B 明确给出 31B；论文也未给美元单价，价格结论是通过模型价格排序与 token 成本对照体现的（原创引用纪律）。
另一条量纲提醒：论文用「frontier systems 在 HumanEval 式函数合成上超过 90%」作背景对照，用来说明企业 DSL 的难度。90% 是另一套任务集、另一套判分口径的读数，不能与 25.0% 相减得出「下降 65 个百分点」的性能差（原创分母辨析）。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是五个模型的单次调用美元成本、各模型在 100 任务上的方差，以及重复运行的置信区间。
两样本只教语法：38.0→60.0 编译率与 25.0→21.0 通过率
两样本配置在提示前加上 2 个留出的「规格—程序」示例。论文 Table 3 的 caption 自己给了结论：示例大幅提升部分模型的编译率，却没有转化为正确性（来源：arXiv:2611.13183v1 HTML 全文 Table 3）。
| 模型 | 零样本 pass@3（%） | 两样本 pass@3（%） | 变化 | 零样本编译率→两样本编译率（%） |
|---|---|---|---|---|
| Claude Opus 4.8 | 25.0 | 21.0 | 下降 4.0 个百分点 | 38.0 → 60.0 |
| GPT-5.5 | 20.0 | 20.0 | 持平 | 38.0 → 36.0 |
| Claude Sonnet 5 | 14.0 | 16.0 | 上升 2.0 个百分点 | 21.0 → 31.0 |
| GPT-5 mini | 14.0 | 15.0 | 上升 1.0 个百分点 | 32.0 → 24.0 |
| Gemma-4 31B IT | 15.0 | 14.0 | 下降 1.0 个百分点 | 48.0 → 47.0 |
Opus 4.8 是最能说明问题的一行：编译率从 38.0% 提到 60.0%，上升 22.0 个百分点；严格通过率却从 25.0% 落到 21.0%，下降 4.0 个百分点。论文把这句话写成了「Demonstrations teach syntax, not intent（示例教的是语法，不是意图）」。对工程团队的直接含义是：拿编译是否通过当验收门，可能在一个方向优化的同时把行为正确性推远（原创可迁移性评估）。
这里也有一处 caption 与表格的口径差值得标注：caption 写「only Sonnet 5 improves on pass@3, and by just two points」，但 Table 3 中 GPT-5 mini 从 14.0% 到 15.0% 同样上升 1.0 个百分点，按表内读数是两个模型上升、两个下降、一个持平。可能是 caption 只统计了被视作主要对照的模型，也可能是措辞简化；本文并列保留，不替论文改写 caption（原创核对，并列保留）。
把两样本与零样本并排，还能看到编译率变化并不总是同向：GPT-5 mini 与 Gemma-4 31B 的编译率分别下降 8.0 与 1.0 个百分点。也就是说「加示例能提编译率」只对部分模型成立，不能写成普遍结论（原创分母辨析）。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是两个留出示例的具体选取规则、示例所含 AgentScript 结构，以及不同示例组合下的重复运行结果。
技能包 v1／v2／v3：28%、14%、37% 的归因边界
论文里最反直觉的一组数字，是同一批任务上技能包三个版本的成绩：静态文档 28.0%、可执行插件 14.0%、只重写其中一个 skill 后 37.0%（来源：arXiv:2611.13183v1 摘要、Table 1、Table 4 与 Appendix F）。
| 配置 | pass@1（%） | 编译率（%） | 部分给分（%） | 每任务输出 token |
|---|---|---|---|---|
| 智能体基线，无技能包 | 33.0 | 64.0 | 46.5 | 835k |
| v1 静态文档（3 个 skill） | 28.0 | 89.0 | 51.5 | 480k |
| v2 可执行插件（40 个 skill） | 14.0 | 86.0 | 43.6 | 389k |
| v3 只重写 authoring skill | 37.0 | 98.0 | 61.1 | 440k |
| afcode 极简 CLI | 21.0 | 89.0 | 45.3 | 293k |
把「做成插件」当成 28.0→14.0 的原因，是这组数字最容易被误读的地方。按 Appendix F，v1 是精选的 3 个 skill 的静态 markdown，钩子与脚本不执行；v2 是含 40 个 skill 的真实插件，带可用钩子、辅助脚本、捆绑语言服务器与平台 CLI，authoring skill 入口 830 行、41 个参考文件。两版同时改变了交付形态与内容广度，因此这一降幅无法单独归因于「可执行化」（原创归因边界）。
| 对照 | v2 可执行插件 | v3 重写后 | 变化 |
|---|---|---|---|
| authoring skill 入口 | 830 行 | 461 行 | 减少约 44% |
| 参考文件数 | 41 个 | 49 个 | 增加 8 个 |
| 参考文件总词数 | 88.3k 词 | 89.0k 词 | 基本持平 |
| 插件外壳、40-skill 目录、工具策略、语言服务器 | 保持不变 | 保持不变 | 未变 |
| 100 任务中调用捆绑语言服务器 | 0 次 | 0 次 | 均未调用，均通过 harness compile.sh 验证 |
| 失败任务平均轮数 | 15.4 轮（v2） | 平均 12.0 轮（v3） | v2 通过任务为 13.1 轮 |
v2 与 v3 才构成一次较干净的对照：插件外壳、40-skill 目录、工具策略、语言服务器、参考总词数基本不变，只把一个 authoring skill 从 830 行重构成 461 行，pass@1 从 14.0% 升到 37.0%，上升 23.0 个百分点；编译率 86.0%→98.0%，部分给分 43.6%→61.1%。论文因此写「约束从来不是包装，而是指导密度」（来源同上）。这是一条对企业内做技能库、提示库与插件平台的团队比较有价值的增量认知：把材料塞进更花哨的容器，未必比把其中一份说明写清楚更有效（原创工程解读）。
摘要写「同一套 skill pack 作静态文档得 28%、作实时插件只有 14%」，但 Appendix F 明确 v1 是 3-skill 子集、v2 是 40 个 skill。两者在内容广度上并不相同。本文并列保留摘要措辞与附录细节，不把 28.0→14.0 单独算成「包装造成的损失」。
还有一处与成本有关的对照：直接生成每任务约 9.9k 输出 token，智能体基线约 835k，约 84 倍；Sonnet 5 从 8.2k 到 1,563k，约 190 倍。换来的是 Opus 部分给分 31.3%→46.5%、Sonnet 17.4%→40.4%（原创换算）。摘要称智能体式编译—编辑闭环「roughly doubling partial-credit accuracy」，按表内数字，Opus 是约 1.49 倍、Sonnet 约 2.32 倍，只有后者接近翻倍；本文并列保留，不把「约翻倍」当成两个模型共同的读数（原创核对）。
按分类看（Table 5），零样本直接生成在新建类为 0.0%、调试 22.5%、优化 53.3%；智能体基线为 16.7%／25.0%／60.0%；v3 为 10.0%／45.0%／53.3%。论文写明没有单一配置在三类上同时取胜。整体成绩靠前的 v3 在新建类只有 10.0%，低于智能体基线的 16.7%——这又是一处「综合读数与分项读数不同向」的例子（原创对照）。成绩居前的配置仍留下 100 个任务中的 40 个处于部分给分状态。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是 40 个 skill 的完整清单、v3 重写的具体措辞对照，以及技能包在 Sonnet 5 上 v3 仍低于 v1 静态文档严格通过率的原因分析。
Cached Traces：0.13→0.08 是误差不是准确率
第二份论文问的不是「智能体做得多好」，而是「能不能少跑几个任务就估出整套分数」。标准做法只用一批已评参考系统的二元正确性；作者提出用 LLM 把每次执行的轨迹抽成结构化摘要，再用标准文本编码器嵌入，构造系统级低维表示，按新系统在这批参考系统中的位置预测分数（来源：arXiv:2611.06803 摘要页）。
| 基准 | 基线 MAE | 加入几何预测后 MAE | MAE 下降量 | 相对下降 | Wilcoxon 检验 |
|---|---|---|---|---|---|
| SWE-bench Verified | 0.13 | 0.08 | 0.05 | 约 38.5% | p 小于 10 的负 4 次方 |
| Terminal-Bench 2.0 | 0.14 | 0.12 | 0.02 | 约 14.3% | p 小于 10 的负 3 次方 |
条件的限定不能漏：这两个改善是在「提供单个随机已执行任务」时取得的；作者另称在给定完整参考系统集合时，任意已执行任务数下该方法都优于基线。把 0.13→0.08 简写成「误差下降约四成」再套到任意任务数，是把一个特定条件下的读数外推成通用结论（原创口径辨析）。两个基准的相对改善相差约 24.2 个百分点，也说明同一方法的收益随基准而变。
0.08 是「预测分数与真实分数之间平均差 0.08」，不是「8% 错误率」，更不能换算成「92% 准确」。把误差读数写成百分比正确率，是评测方法学文章被转述时最常见的一类量纲错误。同理，0.13 与 0.14 是各自基准上的基线误差，分母不同，不能相减说「第二个基准更难」。
方法设计里有一处与头一份论文形成有意思的呼应：作者刻意让轨迹表示保留与正确性、任务相关的信号，同时尽量压低系统身份、模型家族与 harness 相关的信号，因为原始轨迹嵌入会被后者主导。换句话说，这份论文要消掉的「harness 指纹」，正是 AgentScript-Eval 发现左右成绩的那类变量。两篇并不矛盾——一篇研究如何改变 harness 来提分，一篇研究如何在预测分数时把 harness 差异从表示里剥掉（原创跨篇关联解读）。
本文也标注这项方法的边界：它预测的是「整套基准分数」，不判断单次执行对错；参考系统集合的构成、摘要抽取所用 LLM 与编码器选择都会影响几何位置，摘要页未给参考系统数量、各基准任务总数与重复实验次数（原创缺口标注）。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是参考系统集合的规模与选取规则、结构化摘要的字段模板，以及跨基准迁移时的误差变化。
FrontierPhysics：46/168 与「可发表」这道判定
第三份把「一次运行」放大到一整段研究：56 个任务由 42 位物理学家基于自己的研究构造，覆盖理论、计算与实验物理的九个领域；每个任务要求智能体综述文献、制定研究计划、开展研究与实验、产出结构化输出与科学手稿（来源：arXiv:2611.06910 摘要页）。判定用确定性验证器加专家撰写的 rubric，同时查「正确」与「可发表」。
| 构造或结果维度 | 公开读数 | 量纲 |
|---|---|---|
| 任务数 | 56 | 研究任务 |
| 出题物理学家 | 42 位 | 人 |
| 领域数 | 9 | 学科领域 |
| 评估模型与配置 | 22 个模型、26 种配置 | 模型数与配置数 |
| 每个配置的 rollout | 168 次 | 运行次数 |
| 通过次数上限 | 没有任何配置通过超过 46 次 | 次数 |
| 篇幅 | 41 页，其中正文 10 页；19 图、11 表 | 页数与图表数 |
把这组数字读成「通过率约 27.4%」需要非常小心（原创折算与限定）：46 除以 168 约 27.4%，但原文的表述是「没有配置在其 168 次 rollout 中通过超过 46 次」，这是上限读数，不是任一配置的实测通过率，也不是 26 种配置的平均通过率。把它写成「榜首模型通过率 27.4%」属于把上界当点估计。
另两处结构折算也只作量级示意：56 个任务与 168 次 rollout 恰好是 3 倍关系，若每任务 3 次 rollout 则可对上，但摘要页未说明 rollout 与任务的对应规则，本文不据此推断重复次数；26 种配置相对 22 个模型多出 4 种，说明至少部分模型跑了不止一种配置，但无法判断是哪几个、各跑几次（原创折算，均标注为推断而非结论）。
比分数更值得注意的是失败归因：人工复核智能体轨迹后，作者的判断是前沿智能体的主要短板在于推理不够严谨与专家直觉有限，而不是物理知识缺口或执行错误。这与头一份论文「瓶颈不是缺少正确性信号，而是能否据此行动」形成同一方向的观察，但两者任务域、判定器与样本都不同，只能并列，不能互相印证（原创跨篇辨析）。
与本站已覆盖的 R-BENCH-60 划清边界：那一篇讨论 ARE-bench 的 75 任务、1,173 个检查项与判分范围变化，本篇不复用其读数。两者切口不同——ARE-bench 改的是「哪些检查项算数」，FrontierPhysics 改的是「什么才算一段合格的研究」（内部对照说明）。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。摘要页未公开 22 个模型的名单、26 种配置的划分、rubric 的评分细则、专家复核的一致性系数与各模型的分项通过次数。
三把尺子、六组原创折算与读榜六问
把三份材料叠起来，可以抽出三把尺子：判定对象、计数单位、分母。同一批模型在不同尺子下会给出不同排序，而多数转述只保留了一个数字（原创框架说明）。
| 尺子 | AgentScript-Eval | Cached Traces | FrontierPhysics |
|---|---|---|---|
| 判定对象 | 一份 DSL 声明能否编译并通过全部检查项 | 整套基准分数能否被少量执行预测 | 一段研究是否正确且可发表 |
| 计数单位 | 同一生成程序的重复执行次数 k | 已执行任务数 | rollout 次数 |
| 分母 | 100 任务与 630 测试用例 | 参考系统集合与全基准成绩 | 56 任务与 26 配置、168 次 rollout |
| 分数类型 | 通过率与部分给分比例 | 平均误差幅度（MAE） | 通过次数上限 |
| 容易被误读成 | 模型能力排行 | 准确率或错误率 | 榜首模型的通过率 |
| 改变量 | harness 与指导材料 | 轨迹表示与预测方法 | 任务形态与判定器 |
以下六组算式由公开读数推导，凡涉及不同论文或不同统计单位的，一律不合成单一结论。
| 序号 | 算式与结果 | 依赖的假设 | 能否跨场景使用 |
|---|---|---|---|
| 一 | Gemma-4 31B 编译率 48.0% 减去其 pass@3 15.0% 等于 33.0 个百分点；Opus 4.8 为 38.0% 减 25.0% 等于 13.0 个百分点 | 两列均以 100 个任务为分母 | 说明「能编译」与「能通过」之间的落差因模型而异，不可当性能差 |
| 二 | Opus 两样本：编译率 +22.0 个百分点、pass@3 减少 4.0 个百分点；两者方向相反 | 两样本与零样本为同一任务集 | 仅语法层与严格通过层的对照，不可相加 |
| 三 | v2→v3：pass@1 14.0%→37.0%（+23.0 个百分点）、编译率 86.0%→98.0%、部分给分 43.6%→61.1%，同时入口 830→461 行 | 除 authoring skill 外其余保持不变 | 较干净的隔离对照；v1→v2 因同时改两件事不可单归因 |
| 四 | 直接生成 9.9k→智能体基线 835k 输出 token 约 84 倍；Sonnet 8.2k→1,563k 约 190 倍 | 以 Table 1 与 Table 4 的每任务均值计算 | 不同模型的倍数不可平均，且沙箱有 50 turns 与 900 秒上限 |
| 五 | Cached Traces：0.13→0.08 MAE 下降 0.05、相对约 38.5%；0.14→0.12 MAE 下降 0.02、相对约 14.3%；两者相差约 24.2 个百分点 | 单个随机已执行任务的条件成立 | 两个基准的基线误差分母不同，不可相减说难度 |
| 六 | FrontierPhysics：46÷168 约 27.4%；168÷56 等于 3；26−22 等于 4 | 头一条以上限读数作折算，后两条为结构推断 | 三者均非实测通过率，摘要未给 rollout 与任务对应规则 |
头一组值得多说一句：编译率减通过率得到的 33.0 与 13.0 个百分点，量的是「语法过了但行为没对上」的区间宽度，不是模型的错题率。拿它给模型排座次，等于把判分器的严格程度当成能力（原创反证用途）。
读榜六问（原创清单）：一问这个百分数或小数分母是什么；二问判定对象是一次执行、一段程序还是一段研究；三问用的是 pass@3、pass@1、MAE 还是次数上限；四问改的是模型、harness、指导材料还是判定器；五问有没有附代价栏，例如 token 倍数、轮数上限或准确率差值；六问读数来自摘要、正文表格还是第三方转述，三者不一致时并列保留而不是取其一。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是三份材料在同一模型池上的交叉结果，以及各判分器的人工一致性检验。
可证伪边界与未披露项
把可引用的与不能外推的分开列。可引用的是：三份基准各自的构造规模与核心读数、AgentScript-Eval 的三套指标定义与技能包三版对照、Cached Traces 在单个随机任务条件下的两组 MAE、FrontierPhysics 的 46/168 上限表述。不能外推的是：把 25.0%、0.08、46 排成序列比较高低、把 0.08 读成准确率、把 46/168 读成榜首模型的通过率、把编译率与通过率互相印证。
- 【协议未对齐】AgentScript-Eval 的直接生成为 pass@3、智能体式为 pass@1，论文自身在两处说明中对「最终文件」与「轨迹成绩居前的程序」的表述略有差异，本文并列保留。
- 【caption 与表格微差】Table 3 caption 称只有 Sonnet 5 的 pass@3 提升，表内 GPT-5 mini 亦升 1.0 个百分点；Finding 2 的「within three points」与表内 3.2 个百分点亦不完全一致。
- 【归因不等价】v1 为 3-skill 子集、v2 为 40 skills 插件，摘要的「same skill pack」与附录细节不严格同义；只有 v2→v3 隔离出指导措辞的作用。
- 【误差与次数】0.08 是平均误差幅度（MAE）；46 是 168 次 rollout 中通过次数的上限，两者都不是正确率。
- 【发布方与样本】AgentScript-Eval 由 Salesforce 相关作者完成、面向自家 DSL；FrontierPhysics 题目由 42 位物理学家基于自身研究构造，摘要注明分数应读作该发布任务分布上的证据。
两条可证伪的检验路径：其一，在 AgentScript-Eval 的 100 个任务上固定模型池，把 v2 与 v3 的其余变量全部钉死，只改 authoring skill 的措辞，重复多次运行并报方差；若 23.0 个百分点的提升在重复中不稳定，则「指导密度」的解释需要收窄。其二，把 Cached Traces 的同一套摘要与编码器迁移到第三个基准，记录单个随机任务条件下的 MAE；若改善幅度落在 0.02 至 0.05 之外，则说明收益高度依赖参考系统集合的几何结构。公开材料目前都未给出这两组数据（原创检验设计）。
对准备引用这些数字做选型的团队，一条较稳的顺序是：先确认自己要判的是「能不能编译」「能不能通过」「整套分数估得准不准」还是「能不能交付一份研究」；再按同一判定对象挑基准；然后只在同一协议内比较模型；最后把代价栏（token 倍数、轮数上限、判定器人工成本）一并记进选型表。这条顺序是从三份材料的口径差倒推的实施建议，不构成效果保证（原创框架说明）。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是三份基准的可复现配置清单、评分器的人工标注一致性数据，以及跨基准统一口径后的重评分结果。