三份预印本、三种提问方式
三份材料都提交于 2026 年 11 月上旬,且都把「评测本身」而不是「模型能力」放在中心(来源:arXiv 摘要页与提交历史直读)。把它们并排读,比单独读任何一份更能看出分数是怎么被造出来的。
| 编号 | 提交日与作者 | 规模 | 核心提问 |
|---|---|---|---|
| arXiv:2611.14581 | 2026-11-10,Sungbin Im;38 页、3 图、11 表,投 Empirical Software Engineering | 2,160 回合,tau2-bench 航空与零售域 | 换一个给分机制,结论会不会翻转 |
| arXiv:2611.16485 | 2026-11-12 08:54 UTC,Nguyen Minh Thang;52 页、15 图、37 表 | 9,660 行运行记录、2,494 条评分控制、72 项服务测量 | 筛选时看到的增益,冻结规则后还在吗 |
| arXiv:2611.11796 | 2026-11-09,Yiqun T. Chen 等 5 人;q-bio.GN / cs.AI / stat.AP | 121 道任务、16 个基线方法、6 个 Agent | 基准由论文转译而来时,读数该怎么解释 |
三份材料的领域并不相同:航空与零售的工具调用、小型编码智能体的竞赛评分、空间转录组学对齐的数据分析。把它们放在同一篇里,不是为了比谁分高,而是为了提取三条可迁移的读数纪律(原创选题说明)。所有分数都按作者报告值引用,本站没有重跑任何一项实验。
R-BENCH-62 讨论的是同一次运行在不同计分口径下被读成 25%、0.08 与 46/168;R-BENCH-61 核对的是版本与转述口径;R-BENCH-59 提出分辨率轴。本篇往前退一步:给分的那套机制本身可不可靠、同一对象重跑会不会漂、筛选出来的增益能否被确认。
2,160 回合与四种给分机制
2611.14581 的设定很干净:在 tau2-bench 的航空与零售域跑 2,160 个回合,记录每一次数据库写入,然后对同一批回合用四种方式各判一次。另有两名标注者独立标注 120 个回合,标注维度是任务正确性、政策合规性与提交正确性(来源:arXiv:2611.14581 摘要)。
| 给分机制 | 依据什么判定 | 是否调用模型 |
|---|---|---|
| 原生评分 native scoring | 拿最终状态与金标答案比对 | 否 |
| LLM 裁判 | 阅读交互轨迹后给出判定 | 是 |
| 带政策文档的裁判 | 裁判同时拿到政策文档 | 是 |
| 提交边界检查 boundary evaluator | 比对「本应发生写入」与「轨迹里是否出现写入」这两件事 | 否,极简规则 |
论文指出实践里常把前两类当成可互换:基准有金标状态可比,线上服务没有,于是用 LLM 裁判读轨迹来决定。这项研究测的就是「能不能换」。提交边界检查被设计成几乎不含智能的对照:不去理解语义,只核对一次写入该不该发生、实际有没有发生(来源同上)。
原创折算:2,160 回合 × 4 种给分 = 8,640 个判定位置,另有 120 个回合 × 2 名标注者 = 240 个人工标注位置;这两个数是计数位置,不是独立实验次数,因为四种给分共用同一批回合。把 8,640 当成样本量去算置信区间,会重复计入同一批轨迹(原创分母标注)。
98.2% 与 56.2%:一致性与正确性差 42 个百分点
论文给出的两个百分数常被混着读:裁判重复自己结论的比例是 98.2%,与原生评分一致的比例是 56.2%(来源:arXiv:2611.14581 摘要)。前者测的是稳定性,后者测的是与金标口径的吻合度。
| 读数 | 数值 | 比较对象 | 含义 |
|---|---|---|---|
| 裁判自身重复率 | 98.2% | 同一裁判对同一轨迹的两次判定 | 给分稳定 |
| 与原生评分一致率 | 56.2% | 裁判判定与金标状态比对结果 | 与金标口径吻合程度 |
| 两者之差 | 42.0 个百分点 | 本站按 98.2 减 56.2 折算 | 稳定不等于判对 |
| 人工标注回合 | 120 个 | 两名标注者,三个维度 | 用于对照各判定机制在人工标签上的表现 |
42.0 个百分点是本站对两个已报告百分数的直接相减,不是论文给出的新指标(原创折算)。它的用途是提醒:一个高重复率的裁判完全可能稳定地偏离金标口径。把 98.2% 写进「评测可信度」一栏,等于把稳定性当作正确性来用。
论文还写明:没有任何裁判在人工标签上显著超过那条不含模型调用的提交边界检查。也就是说,在这个设定里,增加模型能力没有换来可检出的判定质量提升(来源同上)。这条结论有明确边界——它针对的是 tau2-bench 这两域的写入判定,不宜外推到开放式写作或设计类任务的评分。
11 次违禁写入:裁判放过 10 到 11 次,规则检查全抓
这是整份材料里后果较具体的一段:在 11 个回合里,Agent 执行了被禁止的数据库写入。LLM 裁判放过了其中 10 到 11 次,无论是否附上政策文档或轨迹都差不多;换用能力更高的裁判,仍放过 6 次;提交边界检查不调用模型,11 次全部抓到(来源:arXiv:2611.14581 摘要)。
| 判定者 | 放过的次数(共 11 次) | 本站折算的漏判率 |
|---|---|---|
| LLM 裁判(不带政策文档) | 10 到 11 | 约 90.9% 至 100% |
| LLM 裁判(带政策文档或轨迹) | 10 到 11 | 约 90.9% 至 100% |
| 能力更高的裁判 | 6 | 约 54.5% |
| 提交边界检查(无模型调用) | 0 | 0% |
原创折算:换更强的裁判把漏判率从约 90.9% 至 100% 降到约 54.5%,改善约 36.4 到 45.5 个百分点,但仍有超过一半的违禁写入被放过。把「更强的裁判漏判更少」读成「换模型就解决了」,会漏掉这个剩余比例。
另一处需要分开记的口径:论文写明在没有门控的回合里,违禁写入发生在 11.1% 的回合中。若拿 11 次去除以 11.1%,会反推出约 99 个回合的分母,但论文并未说明这 11 次是否就是该 11.1% 所对应的完整子集,也没有给出该条件的回合总数。本站并列保留两个读数,不做反推(原创口径辨析)。
这 11 次写入的判定对象很窄:一次写入该不该发生、实际有没有发生。规则检查在这个对象上占优,不说明它在所有维度上都占优——论文同时用人工标注了任务正确性与政策合规性。可迁移的做法是把「是否越界」这类可枚举的硬约束单独用规则判,把需要语义理解的部分留给裁判或人工,并分别报数。
门控为什么没起效:证据摘要丢了两个字段
论文测试了三类门控:验证、纠正与安全终止。结果是它们没有显著降低违禁写入。轨迹里给出一个候选原因:门控所用的证据摘要丢掉了订单状态与客户认证两个字段,导致合法请求被拒绝(来源:arXiv:2611.14581 摘要)。
| 门控 | 论文报告的效果 | 轨迹里的候选解释 |
|---|---|---|
| 验证 verification | 未显著降低违禁写入 | 证据摘要缺订单状态、客户认证 |
| 纠正 correction | 未显著降低违禁写入 | 同上 |
| 安全终止 safe-termination | 未显著降低违禁写入 | 同上 |
| 附带影响 | 合法请求被拒 | 摘要丢字段使门控看到的信息不完整 |
论文用的是「候选原因」这一措辞,本站照此保留,不写成已证实因果(原创证据分级)。这条解释的工程含义是:把安全判定建立在摘要之上时,摘要裁掉了哪些字段,就等于给判定划定了可见边界;字段缺失会同时制造漏判与误拒两类错误。
论文同时写明轨迹、代码、提示词与标注均已发布,复现包挂在 Zenodo(doi 10.5281/zenodo.23683806)。这给出了一条可证伪路径:后续若在证据摘要里补回这两个字段、重跑三类门控,可回验「门控无效」究竟是门控策略问题还是输入裁剪问题(原创可检验项)。
目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。尚未公开的是 11 次违禁写入的逐条类型分布、11.1% 所对应条件子集的具体回合数,以及补回字段后的门控复测结果。
9,660 行运行记录:评测工具链的三段结构
2611.16485 处理的是另一件事:竞赛托管分数是一个带噪声的数,开发阶段需要一套本地评测器,既快、又能安全跑 Agent 写出的代码、还要与托管评分器的提示词一致。作者给出 drydock-eval,在单张 RTX 5090 上约每小时 250 次运行,对象是小编码智能体 Gemma 4 E4B(来源:arXiv:2611.16485 摘要与附件清单)。
| 段落 | 机制 | 报告的数值 |
|---|---|---|
| Contain 隔离 | 每个 job 在全新无网络容器中运行 | 通过 200 次脚本逃逸测试 |
| Conform 对齐 | 比对本地栈请求与托管评分器配置 | 8 项检查,细到渲染后的 token |
| Compare 统计 | 配对统计并尊重仓库聚类 | 未给效应量门槛 |
| 实验记录 | 公开全部运行级结果 | 9,660 行运行、2,494 条评分控制、72 项服务测量 |
| 构建方式 | AI Agent 搭建并攻击该工具包,人工所有者批准机器使用与发布 | 未给人工复核工时 |
服务测量一栏还有两个速率:在四张 L4 GPU 上,31B 模型单流解码 38.1 token 每秒,E4B 为 105.8。本站折算 105.8÷38.1≈2.78 倍,但这两组数字来自不同硬件与不同测量场景(drydock 的 RTX 5090 评测吞吐与四卡 L4 的解码速率),不能并置成同一台机器上的加速比(原创量纲辨析)。
复现边界同样被作者写明:提示词与 Agent 包不公开,所有运行级结果公开。这意味着外部可以复核统计与结论,却无法逐字重放生成过程。把「数据全公开」读成「实验完全可复现」,会越过这条明确的自述限制(原创可复现边界)。
筛选增益与冻结规则:三个改动无一得到确认
这篇扩展版把开发与筛选过程整本摊开。31B Agent 的六种配置在 70 道开发题上解出 37 到 44 道,未检出成对差异;一项预注册五臂实验用 231 道题、4,620 个 job 测量四种提示词偏差,未检出 E4B 解题率变化,幅度较大的估计是负 2.1 个点,95% 区间为负 4.4 到正 0.4(来源:arXiv:2611.16485 摘要)。
| 实验 | 规模 | 报告结果 | 本站折算 |
|---|---|---|---|
| 31B 六配置 | 70 道开发题 | 解出 37 到 44 道,未检出成对差异 | 约 52.9% 到 62.9%,极差 7 道题即 10.0 个百分点 |
| 预注册五臂 | 231 道题、4,620 个 job | 四种提示词偏差未检出解题率变化 | 4,620÷231=20 个 job 每题;五臂下每臂约 4 次,属反推 |
| 幅度较大估计 | 同上 | 负 2.1 点,95% 区间负 4.4 到正 0.4 | 区间跨过 0,与「未检出」一致 |
| 三项 E4B 改动 | 筛选阶段 | 高出各自基线 1.0 到 6.2 点 | 合计区间 3.0 到 18.6 点,来自三项独立改动 |
| 冻结规则复测 | 换新任务各测一次 | 无一得到确认,读数负 0.35、负 0.39、正 4.10 点 | 合计正 3.36 点;正 4.10 那项仍属未确认 |
这里有两处容易读错。其一,正 4.10 点看起来是增长,但论文把它与其它两项一起归为「无一得到确认」,说明确认判据并不是「大于零」这么简单;本站按作者结论保留,不替它改判(原创读数纪律)。其二,37 到 44 道的 7 题极差没有被检出成对差异,说明「未检出差异」是统计结论,不等于「六种配置表现相同」。
论文还给出一条读数纪律:预注册实验里的四种提示词偏差都用同一套解题率口径衡量,幅度较大的估计为负 2.1 点、95% 区间跨过 0,作者据此写「未检出变化」。把区间上界正 0.4 点单独摘出来读成「可能有提升」,会丢掉区间整体与预注册口径;同理,把 37 到 44 道的极差读成「配置有优劣」,也越过「未检出成对差异」这句统计结论(原创读数纪律)。
1.17 个点与 65%:把基线漂移当分辨率尺
如果说上一篇问的是「谁给分」,这一节问的是「同一把尺子自己稳不稳」。论文写明:未改动的基线在同一批 128 道题上重跑,读数移动了 1.17 个点;这批题中有 65% 在八次运行里一次都没被解出(来源:arXiv:2611.16485 摘要)。
| 读数 | 对象 | 可作为尺子的用法 |
|---|---|---|
| 基线重跑漂移 1.17 点 | 同一基线、同一批 128 道题 | 小于该幅度的单次增益需要额外重复才能读出 |
| 筛选增益下界 1.0 点 | 三项 E4B 改动中的较低者 | 1.0 小于 1.17,落在基线自身噪声量级内 |
| 八次运行全失败占 65% | 同一批 128 道题 | 任务集存在硬尾,改进空间不分布在全部题目上 |
| 冻结复测读数 | 负 0.35、负 0.39、正 4.10 点 | 前两项的量值小于 1.17,与漂移同量级 |
原创折算的核心很朴素:把 1.17 个点当作这套测量装置的分辨率下限,筛选阶段 1.0 点的增益、冻结复测里负 0.35 与负 0.39 的回落,都落在这个量级附近;这不证明改动无效,只说明单次读数不足以把它们与噪声分开。论文用「未检出」而非「为零」,用的正是这个分寸。
65% 的硬尾还给出另一条读数纪律:当多数题目在八次运行里全军覆没,按平均解题率比较配置会掩盖改进集中在少数题上的事实。这也是为什么论文在 Compare 一段强调配对统计并尊重仓库聚类——题目并非独立同分布(原创统计含义归纳)。
目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。尚未公开的是 1.17 点漂移对应的置信区间、八次运行的方差结构,以及三项改动在冻结规则下各测一次所用的新任务数量。
121 道科学任务:80% 是任务占比,前 10% 是排名分位
2611.11796 换了赛道:把已发表的科研论文转译成可审计的 Agent 基准,在空间转录组学对齐任务上验证。规模是 121 道任务、16 个基线方法与 6 个 AI Agent;GPT-6-Astra 与 Gemini-4-Argon 在 80% 的任务上匹配或超过全部基线方法,且常使用相当简单的启发式(来源:arXiv:2611.11796 摘要)。
| 读数 | 数值 | 分母与量纲 | 不能读成 |
|---|---|---|---|
| 任务数 | 121 道 | 由论文转译出的对齐任务 | 模型数量或实验次数 |
| 基线方法 | 16 个 | 既有方法 | 与 121 道任务可相加 |
| Agent 数 | 6 个 | 参评智能体 | 与 16 个基线合并成 22 个模型 |
| 头部表现 | 80% 的任务 | 任务占比,分母 121 | 准确率 80% 或分数 0.80 |
| 蒸馏程序 | 前 10% | 在 16 个基线方法中的排名分位 | 相对全部参评者的百分位 |
| 稳健性 | 对提示词与预装包访问稳健 | 定性结论 | 所有提示词下均无差异 |
原创折算:80% 乘 121 约等于 96.8 道任务,是「匹配或超过全部基线」的任务数量级,不是得分;前 10% 乘 16 约等于 1.6,指在这组基线里排到靠前位置,不是精确名次。两个百分数分母不同,不能相减或相乘。
论文另写明两条容易被忽略的副产物:构建基准的过程发现了既有工作中的错误与当前评测指标里的捷径;Agent 生成的解可被蒸馏成可复用程序,在未见数据上排进基线方法前 10%。这两条说明基准本身也在被审计——若指标允许捷径,头部表现就同时反映了解题能力与指标宽松度(原创增量解读)。
与站内 R-BENCH-35「证据—行动链条断点」对照,二者都指向同一类风险:可观测到的动作或产物达标,并不等于支撑它的依据成立。差别在于,那一篇测的是 Agent 的行为链,这一篇测的是评审指标本身(原创层级对照)。
三把尺子、六组折算与读榜六问
把三份材料合起来,可以整理出三把互不替代的尺子。它们不是排行榜,而是读任何一份评测报告前可以先问的三组问题(原创框架)。
| 尺子 | 要问的问题 | 本篇对应证据 |
|---|---|---|
| 判定者 | 这次分数由谁给、依据金标状态还是轨迹、有没有不含模型调用的对照 | 98.2% 对 56.2%,提交边界检查 11 次全抓 |
| 判定边界 | 哪些项计入通过、政策文档是否可见、冻结规则前后是否同一套判据 | 10 到 11 次放过、三项改动冻结后无一确认 |
| 判定复现 | 同一对象重跑会漂多少、筛选增益是否超过基线漂移、运行级数据是否公开 | 1.17 点漂移、65% 八次全失败、9,660 行公开 |
| 原创折算 | 算式或依据 | 结论边界 |
|---|---|---|
| 一致性与正确性之差 | 98.2 减 56.2 等于 42.0 个百分点 | 本站相减,非论文指标 |
| 更强裁判的改善 | 漏判约 90.9%~100% 降到约 54.5% | 仍过半被放过 |
| 判定位置数 | 2,160×4 等于 8,640;120×2 等于 240 | 计数位置,非独立样本量 |
| 每题 job 数 | 4,620÷231 等于 20 | 五臂下每臂约 4 次属反推,官方未拆 |
| 解码速率比 | 105.8÷38.1 约 2.78 | 硬件与场景不同,不可并置为加速比 |
| 增益与分辨率 | 筛选下界 1.0 点小于漂移 1.17 点 | 说明单次读数不足,不证明改动无效 |
- 一问给分者:这个分数是金标状态比对、LLM 裁判,还是规则检查?三者是否在同一批轨迹上判过?
- 二问重复率与吻合率是否分开报:高重复率只说明稳定,不说明与金标口径一致。
- 三问硬约束:越界写入、越权调用这类可枚举的行为,有没有独立于裁判的检查?漏判率是多少?
- 四问判定边界:政策文档、历史要求、冻结规则,哪一项被计进通过条件?换条件后分数变动多少?
- 五问分辨率:同一基线重跑漂移多少?筛选阶段看到的增益是否超过这个幅度?
- 六问可复现:运行级结果、提示词、Agent 包分别公开到什么程度?「数据公开」不等于「逐字可重放」。
三份材料也各有短板:2611.14581 的结论限于 tau2-bench 两域的写入判定;2611.16485 明确不公开提示词与 Agent 包;2611.11796 的 80% 是任务占比而非准确率,且作者自述构建过程发现指标捷径。把这些限定与亮眼数字一起引用,才不会把一份有条件的实证读成通用结论(原创辩证归纳)。
目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。尚未公开的是 11.1% 条件子集的具体回合数、补回订单状态与客户认证字段后的门控复测、三项 E4B 改动冻结复测的新任务数量,以及 2611.11796 中 6 个 Agent 的完整名单与逐任务得分。