长跑的智能体,一半 token 烧在「重放历史」上

让智能体跑自动研究(autoresearch)——反复提出、实现、评估解法——近两年成了热门方向。但 Stanford、CMU、UW 和 SambaNova 的研究者在 arXiv 2610.07625 里泼了盆冷水:推理量堆上去,进展并不跟着来。他们观察到三种典型死法:智能体不断重放越来越长的历史、并行智能体互相重复对方的活儿、或者干脆停止实验但 token 照烧。更麻烦的是,大多数评测用短预算或早早饱和的基准,这些毛病根本测不出来。

论文把病因归结到两个设计抉择上:研究状态存在哪里,以及下一步试什么由谁决定。他们的答案叫 SLA(Stateless Language Agents),原则一句话——有状态搜索,无状态智能体。

两种设计的差别:状态放在谁身上常见做法:有状态智能体对话历史随运行变长重放历史烧 token、行为退化并行智能体互相重复劳动SLA:无状态智能体harness 持有研究状态每次调用重建角色化上下文连 Advisor 也不带对话harness:候选解+实测结果Advisor 派实验并行 Worker 执行论文:arXiv 2610.07625(Stanford / CMU / UW / SambaNova)
图|SLA 的原则是「有状态搜索、无状态智能体」:研究状态由 harness 持有,每次调用重建一份针对角色的新上下文,「Agent 能看到什么」变成显式设计选择。

把状态从对话里「没收」

SLA 的做法说起来激进:任何智能体都不在多次调用之间携带自己的对话。研究状态——候选解、实测结果——全部由 harness(模型与工具之间的那层运行时)持有;每次调用,harness 现场重建一份全新的、针对角色的上下文。于是「智能体能看见什么」从「一段随运行变长的历史」变成了一个显式的设计选择。

框架里有两个角色。Advisor 也是无状态的,它读的是 harness 汇总的各搜索方向证据,负责全局判断该收拢还是该发散,再把具体实验派给并行的 Worker;Worker 在隔离的工作区里干活,只看得见自己的任务和局部进展。注意这和常见做法差别很大:多数编码智能体也开并行子智能体,但编排者本身是有状态的,它留着自己的对话,自己决定每个子智能体看到什么、什么时候停。

拉到十亿 token 再打分

评测规模也很离谱:软件工程用 FrontierSWE 四个任务,内核优化用 Anthropic 的 VLIW SIMD 和 NVIDIA 的 SOL-ExecBench,算法设计用 FrontierCS 的 Structured-LWE,预算一路拉到十亿 token,模型用 Codex 加 GPT-5.5。结果,SLA 在每一个任务上都拿到最好的最终成绩;在内核优化任务上追平头部基线的最终表现,token 少用了 84% 以上——Anthropic 那个任务是 14.5 倍的差距,降了 93.1%。FrontierSWE 上平均高出单任务头部基线 4.95 分,而 Advisor 自己消耗的 token 不到总量的 0.6%。

评测拉到 10 亿 token,短周期基准会骗人内核优化:追平头部基线的最终成绩,token 少用 14.5 倍(降 93.1%)每一轮 SLA 运行都跑在每一轮基线运行前面FrontierSWE 四任务平均高出单任务头部基线 4.95 分Advisor 开销不到总 token 的 0.6%排名会随时间翻转:175M token 时落后,700M 时领先26 圆堆积这类基准 5M token 就饱和——短尺子量不出长跑系统
图|SLA 在软件工程、内核优化、算法设计三类任务上全部拿到最好的最终结果,代价是头部基线的零头;排名随时间翻转说明短周期评测会误判研究系统。

比省钱更值钱的,是那张「排名会翻转」的警告

消融实验显示,聚焦上下文和显式指派各有贡献,而且效应会随全程跑完而复利。但论文里真正该被圈起来的发现是:方法排名会随时间翻转——在 175M token 时落后的系统,到 700M token 时反超。再加上 26 圆堆积这类基准在 5M token 内就挤成一团(彼此差距小到可以忽略),结论很直白:拿短尺子量长跑系统,会量错。

这和前些天本站聊过的几篇正好连上。1823 那篇讲 harness 有天花板、内容失败得靠训权重;1650 的 AutoCompact 学的是「什么时候该压缩上下文」;1824 的 MemoType 研究记忆怎么分类检索。SLA 走的是更绝的一步:干脆不让历史进上下文,状态归属问题从「怎么压缩」变成「放在谁身上」。当然它也有新单点——harness 汇总证据的质量直接决定全局判断准不准,Worker 的隔离也可能丢掉跨方向的线索。论文自报的数据还需第三方复现,但「把状态从对话里没收」这个思路,值得每个做长程智能体的团队回去试一遍。