背景：完成率之后，评测该问什么
过去两年的智能体评测，主流指标是完成率：任务做完了没有、答案对不对、测试过了没有。这套指标在能力爬坡期是有效的，因为当时的主要矛盾是「能不能做」。但当主流模型在多数基准上的完成率进入高位区，完成率的解释力开始下降——它无法区分三种情况：模型真的解出了这道题；模型在训练数据里见过这道题；模型找到了别人已经发表的答案。
这三种情况在业务上的含义完全不同。若一家机构指望智能体去做投行披露审阅、去做科研假设生成、去做专利查重，那么「它见过」与「它能做」之间的差别，就是这套系统能不能被信任为生产力的全部差别。
2026 年 10 月 27 日同日提交的三份预印本，恰好各自盯住了这个差别的一端。它们的方法学差异很大，但设计哲学一致：给评测加一个时间锚或环境扰动，让记忆不再构成捷径。FilingLoop 用真实历史信函并要求跨案例积累；OpenFrontiers 只收模型知识截止之后才被解决的题；SciGame 直接把已知定律的系数与关系改掉。
它们都给出了分母。FilingLoop 给成本增量（+5.8%），OpenFrontiers 给已解题总数（40 道），SciGame 给任务实例总数与 episode 总数（176 个实例、每模型每协议 528 个 episode）。少了分母，提升值很容易被读成能力值；有了分母，读者才可能自己算出「这份提升值不值这个价」。
三份基准与它们各自盯住的一环
| 基准 | arXiv | 提交日 | 规模 | 盯住的问题 |
|---|---|---|---|---|
| FilingLoop | 2610.37905 | 2026-10-27 | 96 家公司、380 个任务、6,099 条合格要求 | 程序性经验能不能跨案例积累，而不靠改权重 |
| OpenFrontiers | 2610.37739 | 2026-10-27（10-30 更新） | 12,151 条开放问题语料、200 道基准题、HQ-50 子集 | 闭卷条件下能不能重新做出已被人类解决的结果 |
| SciGame | 2610.37919 | 2026-10-27 | 44 个任务家族、176 个任务实例、9 个模型 | 当控制关系被改变，先验是帮手还是负担 |
三者的评测对象也有分工：FilingLoop 面向文档密集的合规审阅，OpenFrontiers 面向形式化数学证明，SciGame 面向经验科学中的定律归纳。它们合起来覆盖了一条从「读文档改文档」到「从观测中归纳规律」的能力轴。
FilingLoop：380 个审阅任务与一个独立评估器
FilingLoop 的数据来源是美国证监会的历史往来信函。作者从中重建了 380 个以 IPO 审阅为主的任务，覆盖 96 家公司，且这些任务处在各不相同的信息约束之下——有的缺公司事实，有的缺行业口径，有的需要跨文件才能发现未言明的缺陷。
它要智能体做三件环环相扣的事：在相关文档中找出没有被直接写出来的缺陷；去把缺失的公司事实取回来；再确认所承诺的修改确实满足了有证据支撑的要求。这三步之间有两次转换，而每一次转换都是 invent support 的机会——无中生有地补一条依据、悄悄删掉一个限定条件、或者「修」一处证据从来没有支持过的地方。
评估设计上最关键的一点是：评估器独立于执行智能体。它对照 6,099 条合格要求给最终文件与回复打分，同时审计无依据的声明与有害的修改。把「打分」与「干活」交给不同的主体，这一点与本栏目此前拆过的代码安全智能体四家收敛结构完全一致——在需要证据的场合，判断权不能与执行权同源。
框架把案例内的迭代审阅修改，与跨案例的程序性学习耦合起来：把要求级别的评估反馈转成角色专属的指引，而不更新模型权重。更新只影响后续案例，这使得「程序性适应」可以被评估，而不必重跑已经打分过的任务。这一设计回避了一个常见的评测污染：如果用同一批任务反复训练再反复测，涨分到底是学会了还是背下来了，说不清。
24.28 到 27.96，以及 5.8% 的账单
| 指标 | 固定策略基线 | 程序性进化后 | 绝对提升 | 相对提升 |
|---|---|---|---|---|
| 需求满足率 | 24.28% | 27.96% | 3.68 个百分点 | 约 15.2% |
| 完整意见解决率 | 16.90% | 20.75% | 3.85 个百分点 | 约 22.8% |
| 总成本 | 基准值 | 增加 5.8% | — | +5.8% |
这组数字最值得称赞的地方是它同时报了成本。许多智能体论文只报提升值，让读者默认这份提升是免费的；FilingLoop 明确说这 3.68 与 3.85 个百分点是花 5.8% 的成本换来的。
但真正的重点在另一侧：即使进化之后，完整意见解决率也只有 20.75%。也就是说，近八成的意见仍然没有被完整解决。这不是一个可以上线的分数，论文也没有把它当成可上线的分数来写。它的价值在于提供了一个可度量的进展坐标：在一个此前几乎没有公开基准的合规审阅场景里，首次有了「起点在哪、一次迭代能走多远」的读数。
还有一个设计细节值得工程团队注意：有害修改被单独审计，而不是当普通错误扣分。在有后果的工作流里，代价是不对称的——一次不完整的修改是可见的，一次无依据的修改可能看起来很专业，直到有人真的依赖了它。
OpenFrontiers：12,151 个开放问题与 200 道可评分题
OpenFrontiers 由两部分构成。一部分是语料：12,151 条开放研究问题，记录问题陈述、背景、进展等信息，跨学科。另一部分是基准：200 道数学题，其中 110 道在 2026 年被解决、90 道仍未解决；每道题都有 Lean 4 陈述，经过自动探测与两次独立审查；其中的 HQ-50 子集再按质量分数等标准筛选。
作者把需求概括得很清楚：需要一张标明哪些问题尚未解决的地图，也需要一些能够被评分的任务。前半句解决的是「开放问题散落在问题列表、研讨会报告、综述章节、奖项页面与博客里，措辞与状态口径各异」；后半句解决的是「开放问题没有标准答案，怎么评」。
时间锚是这里的关键机制。一个曾经开放的问题，只能对照在该模型被冻结之后才出现的解答来评分；因此任务必须锚定时间——模型拿到的是解决之前就已公开的 formulation，而真实解答只有评估方能看。
评测协议在隔离沙箱内运行，用两个独立检查器给形式化证明评分，分三种条件：闭卷、冻结检索、实时联网。这个三档设计本身就是结论的一部分：它把「检索」这个变量显式化了。
40 道已解题中最多 7 道
| 条件 | 结果 | 解读 |
|---|---|---|
| 闭卷 | 40 道已解题中最多 7 道被重新做出 | 再发现率上限约 17.5% |
| 实时联网 | 成功大多反映对已发表解答的检索 | 高分不等于发现，可能只是找到了答案 |
| 冻结检索 | 介于两者之间 | 论文未在摘要中给出该档的单独分值 |
这里最需要被反复引用的一句话是：联网条件下的成功大多反映对已发表解答的检索，而非独立的问题求解。它对整个「AI 做科研」叙事构成了一个具体的校准——如果一个系统能联网，那么它的高分至少有一部分应该记在检索能力的账上，而不是发现能力的账上。
同时也要避免另一种误读：闭卷再发现率低，不等于智能体在科研中没有用。人类研究者也是站在文献之上的，联网条件下的高成功率本身是有价值的能力。真正被这份基准质疑的，是把联网分数直接称为「发现能力」的做法。
SciGame：把已知定律改成反事实
SciGame 的做法是把科学文献转成结构化的科学卡片，每张卡片生成一对原始环境与反事实环境，两者维度一致、任务接口相同。所谓反事实，就是把支配关系的系数或形式改掉，让模型熟悉的先验不再成立。
它有两个集合。历史集合含 20 个任务家族，取自经典科学定律；时序集合含 24 个家族，来自 2026 年 4 月 30 日至 9 月 15 日发表的 23 篇论文，即模型知识截止之后的新工作，用于降低记忆污染。每个家族产生 4 个任务（原始 / 反事实 × 辨识 / 发现），合计 44 个家族、176 个任务实例。
评测在两种设置下进行：候选引导的辨识（给若干候选公式，判断哪个对）与开放式的发现（自己提出）。每种设置又在三种协议下运行：仅先验（零次观测）、固定观测（主实验预算 B=4）、自适应实验（模型自己决定做几次观测）。每个任务每个模型每个协议重复 3 次，因此历史集合每模型每协议 240 个 episode、时序集合 288 个，合计每模型每协议 528 个 episode。
模型共九个：五个前沿 GPT 模型（GPT-5.5、GPT-5.6 Luna、GPT-5.6 Terra、GPT-5.6 Sol、GPT-6 Astra）与四个开源模型（DeepSeek-V4 Flash、K2-Horizon-375B-A23B、Qwen3.6 Plus、Qwen3.7 Plus）。评判方固定由 GPT-6 Astra 担任。指标包括严格成功率的 ESR（要求预测误差在容差内且表达式与真值精确匹配）、预测分 PS 与解释分 SES。
严格成功率从 0% 到 16.7%
| 集合 / 环境 | 设置 | 九个模型平均严格 ESR（固定预算 B=4） |
|---|---|---|
| 历史 / 原始 | 发现 | 58.6% |
| 时序 / 原始 | 发现 | 21.3% |
| 历史 / 反事实 | 发现 | 0.0%（所有模型均为 0） |
| 时序 / 反事实 | 发现 | 8.9%（模型区间约 5.6% 至 12.5%） |
历史集合原始环境 58.6% 与时序集合原始环境 21.3% 之间的落差，本身就说明了一件事：当题目来自训练数据可能覆盖的经典定律时，分数会显著偏高。而一旦换成反事实，历史集合直接归零——熟悉的先验在关系被改掉之后变成了负担，而不是垫脚石。
表现最好的 GPT-6 Astra 在自适应协议下把时序反事实发现的严格成功率推到 16.7%，这是全表的峰值。但同一条件下它的宽松成功率是 98.6%，两者相差 81.9 个百分点。这个差值就是本文认为整个 SciGame 里最重要的一条读数：智能体经常能把观测数值拟合得很好，却无法恢复精确的符号表达式。
| 条件（时序集合 / 反事实 / 发现） | 固定预算 ESR | 自适应 ESR | 变化方向 |
|---|---|---|---|
| GPT-6 Astra | 9.7% | 16.7% | 上升 |
| GPT-5.6 Terra | 8.3% | 1.4% | 下降 |
| GPT-5.6 Terra（原始环境） | 20.8% | 6.9% | 显著下降 |
| Qwen3.7 Plus（原始环境） | 13.9% | 6.9% | 下降 |
自适应实验「帮强伤弱」是论文的三条发现之一，也是工程上最需要注意的一条：把自主权交给智能体，对强模型是增益，对弱模型是损耗。这与本栏目此前多篇评测的结论一致——自主性本身是一种能力，不是一种可以免费附赠的特性。
第三条发现更尖锐：好解释可以隐藏量化失败。存在若干组合，严格成功率低于 12.0% 但解释分高于 0.700。典型一例是 GPT-5.6 Terra 在时序反事实发现自适应条件下的表现：解释分 0.815、严格成功率 1.4%、预测分 0.060。翻译成业务语言就是：它讲得头头是道，预测错得离谱。
成本表：谁为失败买单
SciGame 是三份里给出成本明细的一份，且只统计通过 Codex 运行的五个前沿 GPT 模型、共 7,920 个 episode。
| 项目 | 数值 | 占比或备注 |
|---|---|---|
| 总推理成本 | 5,843 美元 | 五个 GPT 模型合计 |
| 仅先验 | 631 美元 | 约占总成本 10.8% |
| 固定预算 B=4 | 782 美元 | 约占总成本 13.4% |
| 自适应 | 4,429 美元 | 约占总成本 75.8% |
| 平均每 episode | 0.74 美元 | 7,920 个 episode 摊薄 |
| 自适应每 episode（GPT-5.5 / Luna / Terra / Sol / Astra） | 1.93 / 0.39 / 0.74 / 0.86 / 4.47 美元 | 得分最高的模型单位成本约为最省的 11.5 倍 |
| Player token | 输入 524.2M、输出 102.5M | — |
| Judge token | 输入 104.6M、输出 8.2M | 输入约为 Player 输入的 19.9% |
最扎心的一条在论文正文里：成功的 episode 平均只用 1.3 至 2.5 次观测，失败的 episode 平均跑 7 至 20 次，并且消耗了自适应条件下 96% 的成本。作者的概括是——额外预算被用于搜索，而不是被用于解决问题。这句话值得所有在做智能体预算治理的团队抄在墙上：给一个跑偏的智能体更多预算，大概率会让它跑得更远地偏。
本文九条推算
| 编号 | 推算 | 过程 | 含义 |
|---|---|---|---|
| 1 | 需求满足率相对提升约 15.2% | 27.96 除以 24.28 减一 | 绝对提升 3.68 个百分点听起来不大，相对口径下是一次可观的迭代 |
| 2 | 完整意见解决率相对提升约 22.8% | 20.75 除以 16.90 减一 | 要求越严格的指标，程序性学习带来的相对增益反而越大 |
| 3 | 每提升一个百分点的代价约 1.5% 至 1.6% 成本 | 5.8 除以 3.68 约 1.58；5.8 除以 3.85 约 1.51 | 两个指标的单位成本几乎相同，说明成本增长主要来自迭代轮次而非目标难度 |
| 4 | 进化后仍有约 79.25% 的意见未被完整解决 | 100 减 20.75 | 这是判断能否上线时的关键读数，比提升幅度更重要 |
| 5 | 每任务平均约 16.05 条合格要求、每公司约 63.5 条 | 6,099 除以 380；6,099 除以 96 | 要求粒度足够细，才可能支撑「要求级别的反馈」这一设计 |
| 6 | 闭卷再发现率上限约 17.5%，未再发现至少 82.5% | 7 除以 40；33 除以 40 | 「最多 7 道」是七个智能体中的最好成绩，不是平均成绩 |
| 7 | HQ-50 占基准的 25%，其中已解题占 80% | 50 除以 200；40 除以 50 | 可评分子集很小，任何基于它的结论都应标注样本宽度 |
| 8 | 预算翻倍让反事实发现提升约 5.3 至 7.3 倍 | B=4 平均 8.9% 对 B=8 固定预算 47.2% 至 65.3% | 反事实场景下固定预算显著优于自适应（B=8 时自适应仅 27.8% 至 34.7%） |
| 9 | 失败 episode 消耗约 4,252 美元，占总成本约 72.8% | 4,429 乘 96% 约 4,252；再除以 5,843 | 近四分之三的预算花在没做出来的 episode 上，这是预算治理的直接靶点 |
第 8 条值得展开。在 B=8 的预算下，时序反事实发现里固定预算达到 47.2% 至 65.3%，而自适应只有 27.8% 至 34.7%。也就是说，在关系被改掉的不熟悉环境里，让模型自己决定做几次观测，反而不如给它一个固定且充足的预算。结合第 9 条，可以导出一条工程建议：在不熟悉的任务域里，宁可给固定预算，不要给自主权；自主权的收益只在模型足够强时才兑现。
六条读榜检查
| 检查项 | 具体做法 | 针对的风险 |
|---|---|---|
| 先找分母 | 确认论文给出任务总数、已解题总数或 episode 总数 | 缺分母时提升值容易被读成能力值 |
| 区分严格与宽松口径 | SciGame 严格 16.7% 对宽松 98.6%，务必确认引用的是哪一套 | 数值拟合成功不等于符号恢复成功 |
| 确认是否联网 | OpenFrontiers 的联网高分可能只是检索 | 把检索能力当成发现能力 |
| 看极值还是均值 | 「最多 7 道」是七个智能体中的最好成绩 | 用极值代表整体水平 |
| 检查成本栏 | FilingLoop 报 +5.8%，SciGame 报 5,843 美元 | 默认提升是免费的 |
| 检查评估方是否独立 | FilingLoop 用独立评估器，SciGame 用 GPT-6 Astra 固定评判 | 自评或同源评判会系统性抬高分数 |
未披露项与三份的共同边界
三份预印本均存在未交代清楚的地方，此处一并说明，不另作推测。
| 基准 | 未披露项 |
|---|---|
| FilingLoop | 未公布参与评测的智能体与模型清单；未给出 5.8% 成本的绝对金额或 token 量；未说明有害修改的发生率；未给出人工专家对任务重建质量的复核比例 |
| OpenFrontiers | 摘要未给出冻结检索档的分值；未列出七个智能体的具体名称与各自成绩；未说明实时联网条件下区分「检索到」与「独立做出」的判据 |
| SciGame | 未给出反事实环境的具体生成规则与维度一致性如何保证；未说明四个开源模型仅在部分分析中出现的原因；未披露 B=4 之外的成本结构；未给出 SES 评分标准的完整 rubric |
共同的边界有三条。其一，三份都是预印本，尚未经过同行评议，数值存在修订可能。其二，三份的评测对象都是当前的前沿模型，结论对下一代模型的有效期有限。其三，三份都测的是「有没有被做出来」，而不是「值不值得做」——一个能重新做出 7 道题的系统，在真实科研中的成本效益比，没有任何一份给出。目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。
六步清单：把这三份用起来
| 步骤 | 动作 | 依据 |
|---|---|---|
| 1 | 在自己的评测里加一个时间锚或反事实扰动 | 三份基准一致的做法；没有它就无法区分记忆与能力 |
| 2 | 把评估器与执行器分开，且要求结构化证据 | FilingLoop 的独立评估器与 6,099 条合格要求 |
| 3 | 同时报严格与宽松两套口径 | SciGame 严格 16.7% 对宽松 98.6%，单口径必然误导 |
| 4 | 为每一次迭代记成本，并折算成每百分点的代价 | FilingLoop 的 +5.8% 与本文第 3 条推算 |
| 5 | 在不熟悉的任务域用固定预算，不要用自适应 | B=8 时固定预算 47.2% 至 65.3% 对自适应 27.8% 至 34.7% |
| 6 | 给失败 episode 单独设预算上限 | 失败 episode 消耗了自适应条件下 96% 的成本 |
冷静判断：分母摆出来之后
把三份基准放在一起读，得到的不是「智能体行不行」的结论，而是一张更细的能力剖面。在文档密集的合规审阅里，一次跨案例的程序性迭代能把完整解决率从 16.90% 推到 20.75%，这说明程序性经验是可积累的，也说明离可用还很远。在形式化数学里，闭卷再发现的上限是 40 道中 7 道，而联网高分主要来自检索，这说明当前的「发现」叙事需要被重新计价。在经验科学的定律归纳里，把关系改掉之后历史集合直接归零、时序集合只剩 8.9%，而严格与宽松口径之间可以差出 81.9 个百分点，这说明「讲得清楚」与「算得准确」是两件事。
三份基准还有一个共同的副作用值得指出：它们都让分数变难看了。FilingLoop 的完整解决率两成、OpenFrontiers 的再发现率不到两成、SciGame 反事实下历史集合归零——这些数字放在任何一份产品宣传里都不好看。但正是这样的数字，才让评测回到它该在的位置：不是证明系统有多强，而是划出它现在到哪里为止。
对于正在做智能体选型的团队，最实用的一条或许不是任何一个分数，而是第 9 条推算所指向的那件事：近四分之三的预算被没有做出来的 episode 花掉了。在还没有能力显著提升单次成功率之前，把失败的代价管住，可能比把模型再换大一号的收益更确定。