智能体榜单上的每一个小数点，都在影响采购决策、融资故事和研究方向。但打分这件事本身，很少有人回头审计。最近一批 arXiv 论文干了这件事，而且结论不太客气：考卷里有读心题，批卷人会漏看，被考的自救也基本无效。三道缝，一道比一道隐蔽。
缝一打在考卷上。编号 2610.30635 的单作者论文管这个问题叫「规约-神谕缺口」（Specification-Oracle Gaps）：部分隐藏测试依赖的函数名、文件路径或接口形态，任务规约里只字未提——智能体要么读出题人的心思，要么被判失败。在 SWE-Milestone 的 98 个里程碑里，25 个存在这类隐藏依赖；受影响单元的失败率 80.6%，同类不受影响单元是 48.4%。更极端的验证是：只对一个隐藏名守口如瓶，128 个案例里 126 个直接编译失败。好消息是放在一起看，榜单的总排序大体还站得住；坏消息是仓库内部的具体分数会移动，而那些用 release notes 或大模型摘要当规约的基准，超过三分之一的任务被波及。作者把审计脚本和修正后的过滤器放了出来，算给全行业递了工具。
缝二打在批卷人身上。2610.30491 把轨迹级自动检测器与人工复核摆在一起对质，81 个案例里只有 67 个判断一致。论文给最常见的漏判起了个名字：silent tool-output override——模型拿到了工具的返回值，实际用的却是另一个数，而且没有重新调用工具核实。检测器盯着「有没有调用」和「最终对不对」，恰恰看不见这种无声的偷换。同一篇论文还顺带展示了执行预算的威力：某模型把预算放宽后，成绩从 21/30 涨到 27/30。这与本站此前对 ToolBottleneckBench 的分析（harness 本身是独立实验条件、无预算口径的准确率跨系统不可比）一脉相承，但这篇把问题再往里推了一层：就算预算口径统一了，检测器自身还有盲区。
缝三最诛心：让智能体自己修 harness 行不行？2610.30499 在 ARC-AGI-3 上让 27 条模型谱系各自搭建评测脚手架、再自行修订两轮。结果 held-out 成绩平均只涨 2.80 分，置信区间从 -1.44 跨到 +7.35，统计上不显著；开发集上的涨分系统性高估了留出集表现；某些为了省成本的改动反而拖了后腿。「智能体不断重写自己的脚手架、分数无限爬升」的想象，在这批数据里没有出现。
三道缝指向同一个结论：评测链路的缺陷不是随机噪声，而是结构性失明——源头在出题人的规约、批卷人的检测器和被评者的自救边界各有一处。对本站读者的实际建议很朴素：看榜单时多问一句，这份评测有没有披露控制了哪些缺陷源；自己跑评测时，先检查隐藏依赖，再给检测器抽人工复核，最后别忘了把预算写进结论。冷水也要备好：三篇论文都是小样本、多为单一基准，结论的适用范围有限。观察哨有两个：SWE-Milestone 这类被点名基准会不会跟进修正，以及各榜单会不会把「缺陷披露」变成标配栏目。