基准这东西有个尴尬的宿命：题目是死的，考生是活的。一套卷子用上半年，训练数据里见过、社区讨论烂了、题型被摸透了，分数就开始通胀——更隐蔽的是污染，考生可能提前背过答案，而聚合分数看不出任何异常。10 月 14 日提交 arXiv 的 EvoProbe 把出题本身做成了闭环：评估不再是一次性仪式，而是跟着诊断结果一起进化的流水线。
论文六人作者，归类人工智能，尚未经同行评审。闭环分四步：先生成可执行任务；随后做双轨诊断——可验证的子任务按结果机械计分，需要判断轨迹的环节由证据支撑的多评委评估；接着把阶段级瓶颈、成功模式与失败模式蒸馏成诊断反馈；最后反馈驱动下一轮任务生成。整套设计的赌注是：聚合分数和成功率指不出「卡在哪一步」，而阶段级诊断可以——知道瓶颈在哪，新题目才知道该往哪儿长。
换考卷之后，全线下降
实验分两轮，落在网络安全领域，8 个模型、66 项任务。关键的一步是跨轮对比时把 Examiner 模型集与 solver 配置都固定住——变量只剩题目。结果是全部 8 个模型在更新后的任务上得分更低：平均 Outcome 相对下降 11.8%，平均 Pass^3 相对下降 40.0%。两个数字的落差比数字本身更值钱：跑三遍都对的稳定性，对题目新鲜度的敏感程度远超单次通过。换句话说，旧卷上的高分里，有一部分买的是「熟」。
放进台谱里看
「基准会过期」不是新论。MAADBench（1498）给异常检测基准内置了刷新机制；Dan Luu 拆排行榜（1021）早就提醒过读数别全信；BizBench（1946）同天提交，走的是另一条路——不改考卷，改计分栏。三条路线其实在回答同一个问题：当考生进化得比考纲快，评测的可信度该由什么保证。EvoProbe 的答案是「让考纲也会进化」，并把进化权交给诊断而不是人工拍脑袋。
几盆该浇的冷水
首先，领域单一：两轮实验都在网络安全，换到软件工程或办公场景，闭环是否同效未证。其次，「演化」本身可能引入新的偏置——新题目由旧瓶颈反推生成，等于戴着上一轮的眼镜看下一轮，盲区会遗传。再者，Examiner 模型集固定是优点也是假设：如果出题官自己会过时，谁来诊断出题官？最后仍是预印本、无代码发布说明、复现待第三方。把它读成「评测方法的一个严谨提案」，比读成「一个新基准」更合适。
给评测负责人的一条可落地建议：给手上每套基准加一个「换卷日」——用同一份配置重采一遍换过题目的分数。降幅如果在统计噪声里，说明旧卷还干净；如果像 EvoProbe 这样掉出个位数百分点，那份基准的读数就该打个折再看。