一个让做早停的人不太舒服的对照
11 月 5 日提交到 arXiv 的 2611.08285，标题就带着点挑衅：这道题太难、模型太弱，还是这次跑坏了？作者是 Xingyue Shi 与 Wesley K. G. Assunção，正文只有 5 页、2 图 2 表，归在软件工程类。它要问的事很朴素——那些读了一半轨迹就判断「这次要黄」的失败预测器，到底有没有从运行过程里学到东西。
结论不太给面子。团队在 SWE-bench Verified 的公开轨迹上做对照，这类数据的形状是每个模型对每道题只跑一次。他们搭了一个从不看本次运行的参考分，只统计这道题对别的模型有多难，判别一次运行会不会失败的 AUROC 就到了 0.92；而真正读了部分轨迹的预测器，大约 0.62。更扎心的是模型身份：在同一道题里，只要知道跑的是哪个模型，预测失败比预测器还准，预测器大体是在复述模型能力排名。把题目难度和模型能力都扣掉之后，轨迹额外贡献的信息，统计上等价于零。
把失败分成三堆，重试才知道该不该按
这个结果不是要说重跑没用，恰恰相反，它解释了重跑什么时候有用。论文把一次失败拆成三种：题本身就超出能力范围、模型能力不够、以及单纯这一次运气差。按题换模型之所以流行，靠的是「最好的单模型解决率」与「任一模型神谕」之间那道口子；但作者发现，这道口子并不比随机波动本身能造出来的更大，在留出集上按题切换拿不到收益。而在重复运行的小规模试点里，同一个模型确实有时解开、有时栽在同一道题上——重试有真实的修复空间，只是它救得回坏运气那类，救不了超出模型能力的那类。
麻烦就在这儿：现在的预测器主要在预测题目和模型，不是这一次运行，所以它分不清第三堆。工程上最常见的两个动作因此都带着盲区。看见预警就早停，可能只是在惩罚难题；看见失败就换更强的模型，可能只是把同一道题又交了一遍。论文给的药方不是换个更准的分数，而是让失败预测解释「为什么这次会失败」，并且放到重复运行的基准、等预算的闭环里评——不是拿一条轨迹配一个标签就算数。
和站内两篇放在一起看，正好接上
1398 号那篇写的是 EarlyEval：SWE-bench Verified 上把 500 道修复题完整跑完要花约 487 美元，于是给评测装一个提前下课铃，尽早掐掉明显没戏的轨迹。那篇解决的是账单，这篇追问的是铃声本身——如果所谓的「明显没戏」主要是题目难度在说话，那省下的钱和错杀的难题要一起算。两篇不矛盾，是同一条链上的两站。
1010 号记的 IBM 一致性缺口补的是另一半：AppWorld 上同一个 ReAct 智能体平均成功率 77.4%，五次重复全过的任务只有 53.0%，差出 24.4 个百分点；团队用一致性准则把缺口压到 12.0 个百分点，平均准确率没掉。那篇量出了「复现失败」有多大，这篇则提醒，缺口里既有手气成分也有能力上限，不归因就一律重跑或一律换模型，钱花得未必对。顺带说清，本篇谈的是运行时失败预测这个品类的有效性，和 2199 号讨论「不执行该不该计分」不是同一层问题。
冷水：5 页短文，证据边界比结论更重要
分寸得摆在前头。这是篇 5 页预印本，未见第三方复现；结论建立在 SWE-bench Verified 这类「一模型一题跑一次」的公开轨迹上，数据形状本身就限制了它能证明什么，不能直接外推到多轮工具调用、长程无人值守或者带状态的生产工作流。重复运行试点的规模与抽样方式，摘要里没有展开；论文也没有点名具体是哪几家预测器产品，更没有商业系统上的对照实验。作者自己呼吁重复运行基准与等预算闭环评测，等于承认现有证据还不足以给这个品类定性。
能今天就拿走的，是三步很土的动作：失败日志里把「题难、模型弱、这次手气差」打成三类标签；对可疑失败先同模型重跑一次，看看是不是运气；别把按题换模型的预期收益写进成本模型。至于三类失败在真实业务里的占比、以及什么信号才真能预判坏运气，目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。