同日两份卷子，一个共同盲区
2026 年 11 月 10 日 UTC 凌晨，arXiv 先后收录两份主题看似不相干的预印本。03:48:55 提交的是《The RSI Tax: When Recursive Self-Improvement Is Not Worth the Cost》（arXiv:2611.13524，Yitong Zhang、Ang Li、Yisen Wang，cs.LG）；04:03:04 提交的是《Agent Benchmarks Stop Ranking Before They Run Out of Tasks》（arXiv:2611.13541，Zihan Dong、Qishi Zhan、Minxuan Hu，cs.AI）。前者量的是自改进过程自己花了多少，后者量的是榜单还能不能把模型分开（来源：两份 arXiv 摘要页与提交历史直读）。
把它们并排放在一起的理由不是日期凑巧，而是两者各自拆掉了一个常被默认省略的维度：改进不是免费的，通过也不是全部结果。前者把自改进开销补进账单，后者把被 pass/fail 丢掉的连续量补进刻度。合起来看，一个智能体评测要交代的其实是两条轴——成本轴与分辨率轴，而不是一个百分数。
| 维度 | arXiv:2611.13524（RSI Tax） | arXiv:2611.13541（榜单饱和） |
|---|---|---|
| 被省略的量 | 自改进过程的 token 开销 | pass/fail 之外的连续成绩与资源量 |
| 评估单位 | 持续任务流上的逐任务打分 | 八个基准的已发布运行重评分 |
| 核心动作 | 把改进开销并入端到端成本 | 把一位通过位换成带锚点的分级信用 |
| 公开的关键读数 | 65.6%~71.0% 总 token 节省；验证占 74.8%~93.6% | 八个基准；前十差异小于测试误差；超十倍量差 |
| 给出的替代方案 | 联合优化 RSI Tax 与预期任务执行成本 | 截断对数比评分、日期锚点、成本独立轴 |
两篇论文都提到成本，但指的不是同一笔账。RSI Tax 里的成本是为了让智能体变强而额外花掉的验证、探索与写作 token；榜单论文里作为独立轴的成本，是完成任务时消耗的资源，以及被测试丢弃的速度、竞赛分数等连续量。把 65.6% 的节省与「超十倍量差」放进同一句结论里，是读这两篇预印本时最容易犯的错。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。两篇均为预印本，尚未见第三方复现、完整消融表与逐任务的成本明细。
RSI Tax：在反馈被用掉之前先打分
递归自改进（RSI）想让智能体从自己的任务经验里变强。论文指出，它的实用价值取决于性能增益是否抵得上自改进与任务执行的全部成本。为此，评估放在持续任务流上，顺序写得很明确：先用当前智能体给每个任务打分，之后才把该任务的反馈用于后续更新——否则改进成果会提前泄漏到它本该被检验的任务上（来源：arXiv:2611.13524 摘要页全文）。
RSI Tax 被定义为自改进过程的 token 成本，并与任务执行成本一起纳入端到端评估。这个定义把此前常见的做法翻了过来：多数自改进论文只报改进后的准确率，改进过程本身消耗的验证轮次、候选尝试与写库开销不进账单。
| 评估环节 | 论文设定的顺序 / 内容 | 若省略会怎样 |
|---|---|---|
| 任务打分 | 在反馈用于后续更新之前，用当前智能体打分 | 改进成果泄漏到被检验任务，成绩虚高 |
| 成本记账 | RSI Tax 与任务执行成本并列计入端到端 | 只报准确率，改进开销不可见 |
| 任务流形态 | 持续任务流，而非单轮独立题 | 无法观察状态或产物后续是否被复用 |
| 规模 | 六种方法、两个语言模型 | 单模型结论难外推 |
| 状态追踪 | 记录相关状态或产物在后续流里的使用情况 | 无法区分「有用沉淀」与「写了没人读」 |
最后一行是这篇论文里较容易被忽略的设计：它没有停在「验证很贵」，而是继续追这些贵出来的状态后来有没有被用上。摘要明确说，有相当比例的 RSI Tax 与后续任务流里未被使用的状态或产物相关。这句是定性表述，公开摘要没有给出具体比例，不宜替它补一个百分数。
有界笔记基线：65.6%~71.0% 的节省怎么读
论文最受关注的结果是一条有界笔记基线：在六种方法、两个模型上，它匹配或超过 Meta-Harness、EvoSkill 与 RRSI 的观察准确率，同时平均总 token 节省 65.6%~71.0%（来源：arXiv:2611.13524 摘要页；clauday.com 的独立转述把这条基线具体描述为 Simple Reflection with Notes、一份 2048 token 的笔记，属转述细节，摘要正文未写）。
| 方法 | 类型 | 观察准确率 | 总 token | 口径说明 |
|---|---|---|---|---|
| 有界笔记基线 | 基线 | 匹配或超过下列三种 | 平均省 65.6%~71.0% | 相对三种 RSI 方法的平均节省 |
| Meta-Harness | 递归自改进 | 被基线匹配或超过 | 未给单方法数值 | 本站 R-TECH-52 另有专题解构 |
| EvoSkill | 递归自改进 | 被基线匹配或超过 | 未给单方法数值 | 摘要未给分项 |
| RRSI | 递归自改进 | 被基线匹配或超过 | 未给单方法数值 | 本站 R-TECH-25 另有专题解构 |
65.6%~71.0% 是节省比例，不是剩余比例。按公开数字折算，剩余总 token 约为对照的 29.0%~34.4%，换成倍数即对照约为基线的 2.91~3.45 倍（100÷34.4≈2.91、100÷29.0≈3.45，原创换算）。这个区间只说明总账的差距，不能反推「准确率高了 3 倍」——论文给的准确率关系是「匹配或超过」，没有百分点差值。
摘要用的是 matches or exceeds the observed accuracy，即在这批任务流与这两个模型上不低于三种 RSI 方法。它没有声称基线在所有任务域、所有模型上都更好，也没有给出显著性与方差。把它读成「自改进没用」超出论文结论；论文自己的措辞是「已部署智能体的改进未必抵得上改进过程的开销」。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是六种方法的完整名单、两个模型的型号、逐任务准确率与 2048 token 这一数值在原文中的出处。
74.8%~93.6%：验证吃掉了哪一笔钱
论文把 RSI Tax 拆成验证、探索与写作三类成本。对 Meta-Harness、EvoSkill、RRSI 这三种方法，验证占该税总额的 74.8%~93.6%（来源：arXiv:2611.13524 摘要页）。也就是说，自改进账单里的大头不是「想出新做法」，而是「检查新做法到底行不行」。
| 成本类别 | 占 RSI Tax 的比例 | 公开材料是否给单类数值 | 本文的口径提示 |
|---|---|---|---|
| 验证 | 74.8%~93.6% | 给出区间 | 三种 RSI 方法的合计占比区间 |
| 探索 + 写作 | 约 6.4%~25.2% | 未单列 | 由 100 减去区间两端反推（原创换算） |
| 未被复用的状态或产物 | 定性「相当一部分」 | 未给比例 | 与前三类的划分方式不同，不可相加 |
| 任务执行成本 | 不在 RSI Tax 内 | 未给数值 | 与 RSI Tax 并列计入端到端，属另一列 |
6.4%~25.2% 是本文按区间两端做的补集换算，不是论文报告的分项；且「未被复用的状态或产物」是沿后续使用情况切的一刀，与验证 / 探索 / 写作沿动作类型切的一刀正交，两者相加没有意义（原创口径辨析）。举例说，一次验证生成的中间产物可能既计入验证成本，又属于后来没用上的状态。
这条结果对工程侧的含义相当直接：如果自改进循环里没有单独的成本行，验证轮次与候选尝试就会静默膨胀。论文最后给出的方向是让 RSI 目标联合优化 RSI Tax 与预期任务执行成本，同时保证能力在任务流上持续增长——这等于把「改得值不值」写进优化目标，而不是事后算账。
八个基准重评分：饱和在测量里
另一份论文处理的是榜单本身。它指出，数据科学与 ML 工程智能体常用 MLE-bench、ALE-Bench、SWE-fficiency、AlgoTune 这类基准，任务本来会产出一个连续量（Kaggle 指标、竞赛分数、加速比），但多数计分最终把一次运行压成单个 pass/fail 位。作者重评分八个基准的已发布运行，并纳入 SWE-bench Verified 与 Terminal-Bench 以拓宽覆盖面（来源：arXiv:2611.13541 摘要页全文）。
| 基准 | 原任务产出的量 | 论文点出的计分问题 | 公开摘要给出的核查结果 |
|---|---|---|---|
| MLE-bench | Kaggle 指标 | 压成 pass/fail 位 | 纳入八个基准重评分，未单列头条数字 |
| ALE-Bench | 竞赛分数 | 以参照物为天花板 | 前十对中位数人类打平，近半数运行超过该人类 |
| SWE-fficiency | 效率量 | 压成 pass/fail 位 | 纳入八个基准，未单列头条数字 |
| AlgoTune | 加速比 | 压成 pass/fail 位 | 纳入八个基准，未单列头条数字 |
| SWE-bench Verified | 测试通过位 | 刻度太粗 | 前十相邻之差小于测试自身误差 |
| Terminal-Bench | 任务通过位 | 丢弃连续量 | 打平模型在被丢弃的量上差超十倍 |
| 其余两个基准 | 摘要未逐一列名 | 同上 | 以「八个基准」总数出现 |
八个基准里摘要点名六个，另两个未在公开摘要中列出名称，本文按「其余两个」记录，不替论文补齐。论文的核心判断是：当模型不再被分开时，通常的做法是出更难的题；但相当一部分饱和其实在测量端。固定任务集上提高门槛只是把问题挪到更高处。
论文把 pass/fail 位的失效拆成两类：一类是太粗，相邻名次的差距小于测试自身误差；另一类是封顶在参照物，超过中位数人类的程度无法体现在分数里。前者需要更细的刻度，后者需要换参照物。只加难题对两者都不对症。
截断对数比、日期锚点与成本独立轴
论文给出的替代方案叫 graded credit：推导一个带日期锚点的截断对数比评分，并把成本列为独立坐标轴。日期锚点的作用是把「相对哪个时点、哪个参照水平」写进分数，避免不同批次运行结果被直接横向比较；截断则防止个别极端值把比值拉飞（来源：arXiv:2611.13541 摘要页）。
| 要素 | 论文的做法 | 相对 pass/fail 位补上了什么 | 公开摘要未给出的细节 |
|---|---|---|---|
| 评分函数 | 截断对数比 | 把连续量纳入，而非只看过或不过 | 截断阈值与对数底数 |
| 参照物 | 带日期的锚点 | 不同批次的分数有了可追溯基准 | 锚点选取与更新频率 |
| 资源维度 | 成本作为独立轴 | 速度、开销不再被丢弃 | 成本单位与计量方式 |
| 验证方式 | Terminal-Bench 重跑 | 打平模型在丢弃量上差超十倍 | 重跑样本量与模型名单 |
最能说明问题的是 Terminal-Bench 重跑：在 pass/fail 上打平的模型，在被测试丢弃的那个量上相差超过十倍。也就是说，榜上并列的两者在完成同一批任务时花掉的资源或达成的程度可能相差一个数量级，而这个差别原本完全不进分数。这与本站 R-BENCH-28 讨论过的「harness 与模型不可只看一个通过率」是同一类问题，但这次给的是计分端的修法。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未公开的是截断对数比的具体公式参数、日期锚点的构造规则、八个基准逐一的重新排名表，以及成本轴的单位定义。
六组原创换算与并列保留的口径
以下六组数字均由本文依据公开读数推算，两份摘要均未直接给出。每组标明分母，避免把不同口径的量拼在一起。
| 换算 | 依据 | 结果 | 分母与边界 |
|---|---|---|---|
| 总 token 剩余比例 | 100 − 65.6、100 − 71.0 | 29.0%~34.4% | 相对三种 RSI 方法的平均总账 |
| 对照 / 基线倍数 | 100 ÷ 34.4、100 ÷ 29.0 | 约 2.91~3.45 倍 | 成本倍数，不是准确率倍数 |
| 非验证成本占比 | 100 − 93.6、100 − 74.8 | 约 6.4%~25.2% | 验证占区间的补集，非论文分项 |
| 配置规模上界 | 六方法 × 两模型 | 至多 12 组配置 | 论文未说明是否全组合都跑 |
| 随机删通过项比例 | 六分之一 | 约 16.7% | 论文用作重排幅度的对照量 |
| 点名基准覆盖 | 六个点名 ÷ 八个总数 | 约 75% | 摘要点名比例，非实验权重 |
并列保留一处口径：clauday.com 的转述把有界笔记基线写成「2048 token 的笔记」并称其「打败」三种自改进系统，而 arXiv 摘要只写 bounded-note baseline 与 matches or exceeds。数值与措辞的强弱都不同，本文以摘要为准，把转述作为细节来源单列，不合并成一句更强的结论。
还有一处不能相减：65.6%~71.0% 是成本节省，74.8%~93.6% 是成本构成，二者共用「RSI Tax」这个词但分母分别是「对照总账」与「税总额」。把它们叠成「净省多少」需要先知道税在总账里的占比，公开摘要未给。
读榜六问：把两条轴分列
把两份预印本合起来，可以整理成一张不依赖任何特定框架的读榜清单。六问分属两条轴，逐条记录才不会把不同口径的量拼成一句结论。
| 轴 | 该问的问题 | 对应论文的证据 | 缺什么就不该下结论 |
|---|---|---|---|
| 成本 | 改进过程本身花了多少 token | RSI Tax 定义与 65.6%~71.0% 节省 | 没有单独成本行 |
| 成本 | 验证占了多少，产物后来用上了吗 | 验证占 74.8%~93.6% 与状态追踪 | 只报最终准确率 |
| 分辨率 | 相邻名次之差是否大于测试误差 | SWE-bench Verified 前十核查 | 只有单一通过率 |
| 分辨率 | 分数是否被参照物封顶 | ALE-Bench 前十对中位数人类打平 | 参照物不随批次更新 |
| 分辨率 | 打平的模型在丢弃量上差多少 | Terminal-Bench 重跑超十倍 | 连续量未记录 |
| 两轴交叉 | 分数与成本是否分列而非合成单分 | graded credit 把成本列为独立轴 | 用加权总分抹平两者 |
对工程团队的落点很朴素：自改进循环上线前，先给验证轮次与写库动作单独记账；读任何榜单前，先确认这一位的分数是把连续量压成了通过位、参照物是谁、有没有成本列。这两步都不需要换模型。
R-BENCH-51 处理「完成率会说谎」，是判定口径的盲区；R-BENCH-57 处理「交付件怎么定义」；R-BENCH-14 讨论评测与现实维护者评分的鸿沟。本轮两篇补的是另外两段：改进过程的账单与榜单计分端的分辨率。四者合起来是一条从任务定义、判定、计分到成本的完整链路，彼此不构成重复。
可证伪边界与未披露项
把这两份预印本当作评测改造依据时，以下几处应保留怀疑：
- 预印本自报：两篇均为 2026 年 11 月 10 日提交的单版本预印本，未见第三方复现或外部任务集验证。
- 基线细节不全：有界笔记的容量、写入时机、六种方法完整名单与两个模型型号，公开摘要均未列出。
- 节省区间无分项：65.6%~71.0% 是平均值区间，未给逐方法、逐模型的账单与方差。
- 状态复用是定性结论：「相当一部分产物未被使用」没有给出比例，无法判断它在总税里的权重。
- 重评分缺逐榜排名表：八个基准只点名六个，截断对数比的公式参数、日期锚点构造与成本单位未公开。
- 超十倍缺样本说明：Terminal-Bench 重跑的模型名单、任务数与重复次数未说明，十倍量差的稳定性无从核查。
- 两笔成本不可合并：自改进开销与任务资源量分属不同列，合成一个总成本需要共同的计量单位，公开材料未给。
一条可证伪的检验路径是：固定任务流与模型，只把自改进循环的验证轮次设上限，若观察准确率大体不变而 RSI Tax 明显回落，则「验证开销是主要负担」成立；若准确率同步下滑，才说明验证轮次确实在贡献增益。论文目前没有给出这组消融，本文把它列为待验证项而非结论。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。尚未说明的是完整消融表、逐任务成本明细、八个基准的重新排名表、日期锚点规则与独立第三方复现结果。