Athanor 讲的是智能体怎么干活,同一周的 arXiv 2610.22019 讲的是人怎么给智能体备底座。这篇 NVIDIA 十四位作者的论文,把预训练与后训练之间长期半透明的「中间训练段」写成了公开配方:256K 上下文、数千亿 token 的规模,数据以打包代码仓库、PR 记录、提交历史、构建日志这类自然软件工程素材为主,再掺一小份智能体轨迹。结论是:在相同完整 SFT 之下,两个 Nemotron 模型的多项基准整体抬升。

预训练与后训练之间,加一段 256K 的中间训练预训练上下文短几乎不见智能体交互通用语料为主中间训练(本文)256K 上下文数千亿 token 规模为智能体后训练备底座后训练SFT 数据多为合成过长 SFT 伤 RL 可训性中间训练的数据混合打包代码仓库PR 记录提交历史构建日志少量智能体轨迹自然软件工程数据为主体,智能体交互只占一小份——备底座,不是替后训练
图|三格是训练流程的新增段落,底部是数据混合。读图要点:这一段不教模型答题,教它在长上下文里读写真实的工程现场。

为什么需要中间这一段

论文先把三段各自的毛病摆开。预训练基本跑在短上下文上,而且几乎不含智能体交互——模型没见过「读需求、改代码、跑测试」这种长链条。后训练这头,SFT 数据大量是合成的,且论文特别提醒:过长的 SFT 阶段会损害模型后续强化学习的可训性。中间训练就坐在中间的缝里:把上下文拉到 256K,用真实的工程现场把模型泡一遍,但不急着教它答题。用论文的说法,这是给智能体后训练「备底座」。

数字:涨幅不大,但干净

Nemotron 3.5 Lightning 上用 500B token 做中间训练,相同完整 SFT 之后:SWE-bench Verified 从 60.7 到 64.5,SWE-bench 多语言版从 55.8 到 62.8,SWE-bench Pro 从 32.0 到 35.5。更大的 Nemotron 3.5 Super 用 280B token:长程基准 DeepSWE 从 11.7 到 15.7,SWE-bench Verified 从 72.9 到 74.3。两个规模都报告了跨 harness 的鲁棒性提升——换个智能体脚手架,优势还在。涨幅换算成百分点不算惊人,但每一分都来自同一条 SFT 流水线的前后对比,混不进别的变量。

相同 SFT 之下,分数整体抬升Nemotron 3.5 Lightning(500B token)SWE-bench Verified60.7 到 64.5SWE 多语言55.8 到 62.8SWE-bench Pro32.0 到 35.5Nemotron 3.5 Super(280B token)DeepSWE11.7 到 15.7SWE-bench Verified72.9 到 74.3该被划线记住的一句底座期的代理指标与后训练结果并不同步所以论文的评估协议干脆建在「短固定 SFT跑完再比」上头,而不信底座期的表面分数两个规模都报告了跨 harness 的鲁棒性提升;论文未披露中间训练本身的算力成本,配方公开的是方法与配比,不是数据
图|左栏是五个基准的前后对比,右栏是论文自认的方法论要点。读图要点:涨幅不算惊人,但「代理指标会骗人」这句提醒,对刷榜风气是一盆冷水。

最该被划线记住的一句话

论文里有句话值得所有刷榜的人抄在墙上:底座期的代理指标,与后训练结果并不同步。也就是说,中间训练做完看几个常见基准,并不能可靠预测它将来好不好做智能体后训练。作者的应对是把评估协议整个建在「短固定 SFT 跑完再比」之上——用便宜但贴近真实用途的方式验收,而不是信底座期的表面分数。这句话的普适性远超本文:任何「先备料再训练」的多段式流程,都该问一句,中间阶段的指标到底代不代表最终产出。

局限与并读

局限很实在:单一厂商、两个模型规模,没有跨团队复现;「公开配方」公开的是方法与数据配比,不是训练数据本身;中间训练本身的算力成本,论文没有披露——几千亿 token 不是小数,这笔账不给,外部很难估算性价比。与 Athanor 并读更有意思:那篇证明智能体可以在 104 小时里把后训练的活干完,且账单大头是算力;这篇证明后训练的上限很大程度上由底座决定。两条加起来是一句朴素的话——智能体自主科研的成本与天花板,同时取决于智能体有多强、底座有多好,而后者现在有了一份公开配方。

论文为 10 月 15 日提交的预印本,未经同行评审;配方在两个 Nemotron 模型之外的有效性待验。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。