基准怎么搭：研究者、候选、目标与预算
ERB 里的角色需要分清。研究者（researcher）是设计评估器的那个模型加其智能体外壳；候选（candidate）是被评估的模型；目标基准（target benchmark）是已有的成熟评测，评估器应当复现它对候选的打分与排序。
输入包括源任务、轨迹与开发参考，流程是「检查、设计、测试、修订」，输出必须是一个包含 100 道以上问题的可运行评估。研究者在提交前要把评估冻结，之后由独立流程评估。研究者自行决定题目、判分器、权重与测试策略，但每一次试点都从固定预算里扣钱。
| 要素 | 设定 | 对结果的影响 |
|---|---|---|
| 研究者 | 9 个，其中 8 个完成并被排名 | Fable 5 运行不完整，补全后未进入排名 |
| 候选模型 | 13 个（随机基线覆盖 12 个） | 基线比研究者少一个候选，直接对比需标注口径差 |
| 目标基准 | 14 个，其中 6 个开发目标、8 个封闭目标 | 封闭目标对研究者隐藏，用于检验是否只是过拟合开发集 |
| 领域 | 编码、协作、推理 | 三域表现差异极大，见后文 |
| 预算 | 固定时间与 API 预算，未公开具体额度 | 试点次数受限，研究者必须做取舍 |
| 产出约束 | 可运行评估，题目数不少于 100 | 下限约束，但题目质量与分布由研究者自定 |
两把尺：CCC 分数与成对一致率
榜单同时给出两个指标，理解它们的差别是读懂全榜的前提。
分数（Score）。等于 100 乘以 Lin 一致性相关系数（CCC），衡量评估器给出的分数与目标基准参考分数在三个维度上的一致程度：水平、离散度、变异。完全一致为 100；如果变化趋势与目标基准相反，可以算到零以下。分数在 14 个目标上等权平均。
成对一致率（PA）。只衡量模型排序：顺序正确记 1，测得平局记 0.5，顺序反转记 0，参考侧本身的平局被剔除。以百分比展示。
两把尺的关键差别在于：PA 只看谁排在前，不看分差有多大；CCC 连分差的分布都要对上。因此同一个评估器完全可能 PA 很高而分数很低——它把好坏次序排对了，但把差距估错了。后面会看到，这恰恰是本榜的核心现象。
全榜：八个完成运行加一个随机基线
下表数据取自官方榜单的源数据文件，Overall 为 14 个目标的等权平均，三域列为对应领域内目标的平均。分数为 CCC 乘以 100，PA 为百分比。
| 研究者 | 总分数 | 总 PA | 编码分数 | 协作分数 | 推理分数 |
|---|---|---|---|---|---|
| GPT-6 Astra | 22.79 | 69.54 | -0.20 | 42.06 | 36.67 |
| Grok 4.7 | 22.59 | 74.87 | 23.28 | 26.84 | 14.10 |
| Fable 5.1 | 21.96 | 67.80 | 15.36 | 21.22 | 36.38 |
| Opus 5 | 21.79 | 64.88 | -0.31 | 38.30 | 38.46 |
| Kimi K3 | 18.03 | 74.58 | 7.21 | 19.43 | 37.35 |
| GPT-5.6 Sol | 16.99 | 63.32 | 19.81 | 3.48 | 33.87 |
| GLM-5.3 | 14.27 | 64.72 | 5.29 | 15.65 | 29.94 |
| DeepSeek V4 Pro | 10.49 | 63.50 | 1.33 | 9.17 | 31.01 |
| Random120（基线） | 13.10 | 68.29 | 22.92 | 3.75 | 9.03 |
| Fable 5（补全，未排名） | -13.18 | 42.07 | -6.72 | -17.67 | -18.60 |
粗看这张表，容易得出「头部几个差不多」的印象：总分从 22.79 到 21.79，前四名挤在 1 分之内。但把 PA 那一列一起看，排序立刻变了：Grok 4.7 以 74.87 领跑，比总分居首的 GPT-6 Astra 高出 5.33 个百分点；Astra 的 PA 只有 69.54，在八个完成运行里排到第四。两把尺给出的答案并不一致，这是读榜时要处理的头一件事。
发现一：随机 120 题基线并不弱
官方榜单里有一条常被忽略的基线：Random120，即从公开题目里随机抽 120 道组成的评估。它覆盖 12 个候选，比研究者评估少一个。把它的数字与八个研究者逐项对比，结论比预期更强。
| 对比项 | Random120 | 研究者一方的结果 |
|---|---|---|
| 总分数 | 13.10 | 八个中七个高于基线，DeepSeek V4 Pro（10.49）低于基线 |
| 总 PA | 68.29 | 八个中四个高于基线；Opus 5（64.88）、GLM-5.3（64.72）、DeepSeek V4 Pro（63.50）、GPT-5.6 Sol（63.32）低于基线 |
| 编码 PA | 75.25 | 八个全部低于基线，为全表最高值 |
| 编码分数 | 22.92 | 八个中七个低于基线，仅 Grok 4.7（23.28）略高 |
| 协作 PA | 59.62 | 八个中七个高于基线，GPT-5.6 Sol（54.74）低于 |
| 推理分数 | 9.03 | 八个全部高于基线（最低 31.01） |
换句话说：在「模型排序」这件事上，随机抽 120 道题的基线比半数智能体精心设计出来的评估器还要准；在编码域，它比全部八个都准。论文把「人类设计的公开任务抽样仍是强基线」写进了摘要，但从榜单原始数字看，这个基线的强度比摘要措辞所暗示的还要高一些。
把随机基线当作零线，可以粗算各域的净增益。推理域：八个研究者的分数区间为 31.01 至 38.46，减去基线 9.03，净增益约 22 至 29 分，且八个全部为正。协作域：区间 3.48 至 42.06，减去基线 3.75，七个为正，最高净增益约 38 分。编码域：区间 -0.31 至 23.28，减去基线 22.92，七个为负，仅一个微正。也就是说，智能体自建评测的价值目前主要体现在推理与协作两类任务上；在编码这类有明确可执行判据的任务上，自造评估器相对随机抽样并无优势，甚至更差。需要说明，Random120 覆盖 12 个候选而研究者评估覆盖 13 个，两者口径不完全对等，上述比较为量级参考。
发现二：编码域是智能体自建评测的塌陷区
编码域的结果值得单独拎出来，因为它与直觉相反。编码通常被认为是「最容易自动判分」的领域——有单元测试、有编译器、有标准答案。按理说研究者应该最容易在这里造出高保真评估器。
实际数据是：八个研究者里，GPT-6 Astra 为 -0.20、Opus 5 为 -0.31、DeepSeek V4 Pro 为 1.33、GLM-5.3 为 5.29、Kimi K3 为 7.21、Fable 5.1 为 15.36、GPT-5.6 Sol 为 19.81，全部低于随机基线的 22.92；只有 Grok 4.7 的 23.28 略高。CCC 为负值的含义也不是「一致度低」，而是「变化趋势与目标基准相反」——这两个头部模型造出来的编码评估器，在分数走向上与目标基准是拧着的。
本文对此的判断是：编码任务的判分门槛并不在「能不能判」，而在「判得与目标基准像不像」。目标编码基准往往带有自己的难度分布、部分给分规则与超时口径，研究者造出的评估器即使能判对错，也很难复现这套分布；而随机抽样由于直接取自公开题目池，分布反而更接近原始基准。这解释了为什么随机基线在这一域占优。该判断为本文解释框架，论文未给出对应归因，尚需独立验证。目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。
发现三：开发集与封闭集的排名错位
论文摘要明确指出：开发目标上的最优评估器，并非封闭目标上的最优评估器。用榜单源数据可以把这句话量化。
| 研究者 | 开发目标总分数 | 封闭目标总分数 | 差值 | 开发排名 | 封闭排名 |
|---|---|---|---|---|---|
| GPT-6 Astra | 20.98 | 24.15 | 加 3.17 | 2 | 3 |
| Grok 4.7 | 17.84 | 26.14 | 加 8.30 | 4 | 1 |
| Fable 5.1 | 23.40 | 20.87 | 减 2.53 | 1 | 4 |
| Opus 5 | 17.93 | 24.68 | 加 6.75 | 3 | 2 |
| Kimi K3 | 16.58 | 19.12 | 加 2.54 | 6 | 5 |
| GPT-5.6 Sol | 17.14 | 16.88 | 减 0.26 | 5 | 6 |
| GLM-5.3 | 13.15 | 15.12 | 加 1.97 | 7 | 7 |
| DeepSeek V4 Pro | 10.78 | 10.28 | 减 0.50 | 8 | 8 |
两点值得注意。其一，错位确实存在且幅度不小：开发目标上领跑的 Fable 5.1 拿到 23.40，在封闭目标上跌到 20.87、排名落到第四；而开发目标上仅排第四的 Grok 4.7，在封闭目标上以 26.14 居首。其二，更反直觉的是方向——八个研究者里有五个在封闭目标上分数更高，只有三个下降。如果研究者是在过拟合开发集，应当普遍出现开发集高、封闭集低的形态；实际形态相反。本文据此判断：开发目标这 6 个基准本身可能更难对齐，或者研究者在有限预算内把试点机会用在了更难的开发目标上。该解释未经论文确认。目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。
发现四：约 75% 对齐与 22.79 分的口径落差
论文最常被引用的结论是「最好的评估器能像目标基准那样排出约 75% 的候选对顺序」。这句话出自 PA 口径，对应榜单上 Grok 4.7 的 74.87。但同一批评估器在分数口径上的最高值只有 22.79，满分是 100。
PA 只考核谁排在前，不考核分差大小；CCC 同时考核水平、离散度与变异三组一致性。因此 74.87 的 PA 配 22.59 的分数并不矛盾，它说明这批评估器能把候选的相对次序排对大约四分之三，但无法复现目标基准给出的分数分布——比如目标基准认为两个模型差 15 分，自造评估器可能只给出 3 分的差距。对企业选型的含义是：如果只关心「选哪个模型」，自造评估器已有参考价值；如果要拿它给的分数做预算、做验收或做对外承诺，当前精度不足以支撑。此外，论文给出的 91% 上限来自目标基准彼此之间的分歧，意味着即便一个完美复现了全部 14 个目标的评估器，也无法突破这个天花板。
还有一个容易漏掉的信号：Fable 5 的运行未完成，补全后总分为 -13.18，远低于任何一次完成运行。这说明这套流程对「跑完」这件事的容错很低——预算耗尽或中途失败，产出的评估器不只是差一点，而是整体失效。对想照此方法做内部评测的团队，预算与中断保护是必须先设计的部分。
成本与一致率：最便宜的那个赢在哪
论文摘要有一句看似反常的话：记录中执行成本最低的评估器拿到了最高的成对一致率。对照榜单，总 PA 最高的是 Grok 4.7 的 74.87。由此可以推断，Grok 4.7 同时是执行成本最低的那一个；其编码分数 23.28 也是全表最高。
这条相关性不该被读成「便宜就好」。更合理的解释是：题目数量少、判分逻辑简单的评估器，执行成本低，同时在排序这种粗粒度任务上不容易引入噪声；而追求高保真、大量调用被评模型做长轨迹的评估器，既贵又容易在个别题目上失手。论文未给出成本的具体数值与单位，本文无法验证这一解释，仅作为一条待验证假设列出。目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。
| 指标 | 领跑者 | 读数 |
|---|---|---|
| 总分数（CCC 乘 100） | GPT-6 Astra | 22.79 |
| 总 PA | Grok 4.7 | 74.87 |
| 编码分数 | Grok 4.7 | 23.28 |
| 编码 PA | Random120（基线） | 75.25 |
| 协作分数 | GPT-6 Astra | 42.06 |
| 协作 PA | Kimi K3 | 81.87 |
| 推理分数 | Opus 5 | 38.46 |
| 推理 PA | GPT-6 Astra | 78.51 |
| 封闭目标分数 | Grok 4.7 | 26.14 |
这张表直接印证了论文「没有任何研究者在所有指标上领跑」的判断：八个指标分布在五个不同的领跑者身上，其中还有一个指标被随机基线拿走。对使用者的实际含义是：不存在一个「最好的自造评估器」可以按总分直接挑；要先明确自己关心排序还是分差、关心哪个域、关心开发集还是未知场景，再回表里找对应的那一列。
边界：方法学与数据口径的六条保留
读这份榜单时有六条限制需要同时挂在心上。
- 其一，基线口径不等。Random120 覆盖 12 个候选，研究者评估覆盖 13 个，直接相减存在结构性偏差。
- 其二，样本极小。只有 8 个完成运行，且研究者身份与模型版本绑定；某次运行的个体差异很容易被读成模型能力差异。
- 其三，预算额度未公开。论文只说固定时间与 API 预算，未给出具体数值，因此「成本最低」无法量化复核。
- 其四，评估器自身的故障模式已被记录。论文明确列出三类失效：截断答案、耗尽评测预算、以及少数几道题主导了整个域的分数。这说明即便流程跑完，结果也可能被个别题目绑架。
- 其五，预印本状态。论文于 2026 年 10 月 3 日提交、10 月 6 日发布，未经同行评审；作者来自俄勒冈州立大学、加州大学圣迭戈分校、宾州州立大学与 AG2 AI，其中三名作者与 AG2 AI 存在联合身份，而 AG2 本身是智能体框架的开发方，存在潜在利益关联。
- 其六，榜单为动态页面。本文数据取自榜单源数据文件的某次快照，页面本身可能随提交更新而变化，读数以抓取时点为准。
四条读榜检查
把这份榜单的经验抽象成可复用的检查项，对任何「用智能体做内部评测」的团队都成立。
- 检查一：先问要排序还是要分差。只决定用哪个模型，PA 够用；要把分数写进报告或合同，必须看 CCC 类指标，当前水平不足以支撑。
- 检查二：必须配一条随机基线。本榜最有价值的不是头部排名，而是那条 Random120——没有它，就没有办法判断 68% 的 PA 到底算好还是算差。任何自建评测体系都应当保留一条零成本对照线。
- 检查三：按域分别看，不要只看总分。本榜三个域的结论方向完全不同：推理域全部跑赢基线，编码域几乎全部跑输。总分会把这种结构差异抹平。
- 检查四：留出封闭集。开发目标与封闭目标的排名错位是常态而非例外；只对着已知基准调评估器，得到的可能是错位的能力画像。
综合判断
ERB 是一次诚实的测量，而且把不利于自己的基线也放进了榜单。它给出的结论应当被理解为「当前水平的刻度」，而不是「这条路走不通」：在推理与协作两个域，智能体自建评估器相对随机抽样有明确净增益；在编码域则尚未跑赢随机线；在排序任务上已接近可用，在分差复现上还差得远。
对工程团队来说，最可直接落地的一条不是「用智能体造评测」，而是「先配一条随机基线」。本榜若去掉 Random120，头部 68% 到 75% 的 PA 会被读成相当不错的成绩；有了它，这个成绩立刻要打个问号。评测这件事上，零成本对照线的价值常常高于精心设计的评估器本身。
需要强调的是，本文的全部数值来自官方榜单源数据文件的快照，部分对比（尤其是与随机基线在各域的逐项比较）为本文基于该数据自行计算，论文未给出同类表格；关于编码域塌陷与开发／封闭集方向的两条解释属于本文推断，尚待独立验证。目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。