11 月 9 日提交的 arXiv 2611.11995 提出 Infrathon,21 位作者来自艾伦人工智能研究所、斯坦福、华盛顿大学等,含 Hamish Ivison、Noah A. Smith 与 Radha Poovendran。基准看的是智能体能不能在真实 AI 基础设施优化任务上连续变好,而不是单题对错。作者用 6 个模型跑 150 次运行,每次 24 小时预算,累计超 10000 GPU 小时,任务涉及推理服务、缓存与编解码等。

150 次运行中 135 次,后半程还在改进起点12 小时24 小时前半程后半程仍有增益6 个模型 · 150 次运行累计超 10000 GPU 小时名次随评测时长变化短榜不等于长榜来源:arXiv 2611.11995,2026-11-09
图|把预算砍短,丢掉的不只是增益还有排序。

结果与短跑式评测的直觉不太一样。150 次运行里有 135 次在预算后半程仍取得进一步改进,模型排名会随评测时长改变,把观察窗口砍短,丢掉的不只是绝对增益,还有相对名次的顺序。作者据此给出一句克制的话,较短的评测会同时漏掉优化收益与模型相对表现的变化。轨迹分析把挡住持续改进的东西归成三类,任务违规、测试不可靠、过早收工,均与算力多少无关。

另一组数字来自 KV 缓存压缩任务。人工设计的 Quant-VideoGen 编解码器给出 6.82% 的平均压缩比,Claude Opus 5.5 在同样任务上把它推到 19.86%,智能体找出的方案超过了人写的基线。站内 2005 号记的是四个智能体用 104 小时把 3B 模型后训练到官方 instruct 水平,2027 号把失败重新归因到 harness 上限;这条问的是给足时间之后还能不能继续改进,问题不落在同一处。

智能体找出的方案超过人工基线6.82%人工 Quant-VideoGen→19.86%Claude Opus 5.5压缩比指标未换算成端到端时延任务违规测试不可靠过早完成来源:Infrathon 轨迹分析,2026-11-09
图|三类行为挡住了持续变好,不是算力不够。

作者把 Infrathon 同时写成构造长程任务、评测前沿智能体与搜寻基础设施方案的资源。摘要没有列出 6 个模型的具体名称,也没有给出每次运行的费用、GPU 型号与任务清单的完整分布;19.86% 是压缩比指标,没有换算成端到端时延或吞吐收益,135 次后半程改进的幅度分布同样没写。上述结果均为作者自测,尚未见第三方复现。