论文与事件：基准也要年检
11 月 1 日，机器之心报道了一篇被 NeurIPS 2026 Evaluations and Datasets Track 接收为口头报告（Oral）的论文——《Benchmark Health Index: A Systematic Framework for Benchmarking the Benchmarks of LLMs》，据该报道口径，它是本届该赛道 15 篇 Oral 论文之一。论文来自阿里数据与晓天衡宇（skyeval.com）团队，作者为 Longyuan Zhu、Hairan Hua、Linlin Miao、Wei Wang、Bing Zhao，代码与数据已在 GitHub 开源（SKYLENAGE-AI/benchmark-health-index 仓库）。 arXiv 编号 2602.11674，最早于 2026 年 2 月 12 日公开 v1 版本。
它处理的是每个常看跑分的人都隐约感觉到、却很少有人系统量化过的问题：模型越出越快，基准却越来越「钝」。头部模型在同一条基准上的分数逐渐挤在一起，零点几分的差距可能只是统计噪声；早期就在圈内流传的题目，大概率已经进了预训练语料，高分未必是真本事；而一座基准的热度（引用量、下载量、星标）也未必等于它仍被前沿模型实际采用。换句话说，跑分内卷之前，得先确认尺子本身有没有磨损。
三个维度怎么给「尺子」打分
BHI 从三个正交维度给评测基准做体检。其一是能力区分度：先以最高分与最低分之差的 2% 为阈值，统计能拉开有效差距的模型对占比，再看第 10 到 90 百分位的分数跨度——占比越高、跨度越大，这条基准越能把模型分开。其二是抗饱和度：不只看平均分离满分还有多远，而是按模型能力加权估计剩余提升空间，再拟合分数随时间的变化趋势向后外推 30 天，两部分按 8:2 合成——分数低未必说明空间大，也可能只是来的模型都太弱。其三是影响力：不看引用量与热度，而是统计哪些基准被技术报告提供了有效成绩的模型采用，并按模型能力加权——前沿模型愿意用的基准，权重更高。
三个维度用 CRITIC 方法按信息量定权：抗饱和度 35.74%、区分度 32.63%、影响力 31.63%。为避免「用一条基准的成绩去评这条基准本身」的循环论证，团队采用 LOBO（留一基准法）：评估某条基准时先把它排除，用模型在其余基准上的表现估计能力。据机器之心报道的录用版口径，研究基于 117 个模型的技术报告，整理出 158 个评测基准；作为对照，arXiv v1 摘要的早期口径为「2025 年 91 个代表性模型技术报告中的 106 条验证基准」——从 v1 到录用版，覆盖面明显扩展，两版数字在此并列供读者对照。
体检结果：谁还锋利，谁在钝化
综合排名上，Humanity's Last Exam（HLE）以 67.05 位居榜首，它的优势不在单一维度：既能区分模型，也留有挑战空间，同时被高能力模型广泛采用。Agents' Last Exam（53.08）与 AutomationBench（52.68）紧随其后位列第二、第三；SWE Marathon 以 52.09 排在第四，与 AutomationBench 只差 0.59 分，但两者擅长的事情不同——后者的抗饱和度更高，前者的区分度更高。另一组值得注意的对照是 SWE-bench Pro（48.35，第八）与 BrowseComp（48.09，第九）：前者抗饱和度更高，后者影响力更高，但 BrowseComp 的抗饱和度是前十中最低的——被大量高能力模型采用，说明它有分量，却不保证题库还有充足的成长空间。
方法论层面的稳健性检验也做得比较足：去掉抗饱和度维度，基准排名平均变动 16.18 位、最大变动 82 位；三个维度两两相关系数均低于 0.5，说明信息不重复。用独立于 BHI 计算的外部依据划分「已知饱和」与「活跃前沿」两组，平均 BHI 分别为 0.227 与 0.600，方向与外部观察一致；随机移除 30% 的模型后，新旧排名的 Spearman 秩相关仍高于 0.97。
为什么值得看：给跑分新闻装一道前置过滤器
对这个栏目的读者而言，BHI 的价值不在「又多了一个榜单」，而是提供了一道前置过滤器：以后看到任何「模型 X 在基准 Y 上刷新纪录」的消息，可以先查一下基准 Y 本身的健康状态——如果它已接近饱和、或热度与真实采用脱钩，破纪录的含金量就要打个问号。对基准作者与评测平台，它给出了可持续更新的生命周期管理工具：题目该不该换、什么时候换，可以用数据说话而不是靠社区体感。论文自己也划了边界：不同技术报告的提示词与测试条件未必一致，基准饱和时点也难以精确预测，一次方法突破就可能让难题迅速变容易——BHI 适合做筛选与复核依据，不是保质期的精确判决书。
顺带一提，这也是本月内 NeurIPS 2026 数据集与基准赛道第二篇进入本栏目视线的 Oral 工作：此前 BóLèBench 关注的是「模型会不会当评委」，BHI 关注的则是「评委手里的题还灵不灵」——两条工作合在一起看，顶会社区正在系统性地给评测这件事本身建立元评价体系。