Athanor 讲的是智能体怎么干活,同一周的 arXiv 2610.22019 讲的是人怎么给智能体备底座。这篇 NVIDIA 十四位作者的论文,把预训练与后训练之间长期半透明的「中间训练段」写成了公开配方:256K 上下文、数千亿 token 的规模,数据以打包代码仓库、PR 记录、提交历史、构建日志这类自然软件工程素材为主,再掺一小份智能体轨迹。结论是:在相同完整 SFT 之下,两个 Nemotron 模型的多项基准整体抬升。
为什么需要中间这一段
论文先把三段各自的毛病摆开。预训练基本跑在短上下文上,而且几乎不含智能体交互——模型没见过「读需求、改代码、跑测试」这种长链条。后训练这头,SFT 数据大量是合成的,且论文特别提醒:过长的 SFT 阶段会损害模型后续强化学习的可训性。中间训练就坐在中间的缝里:把上下文拉到 256K,用真实的工程现场把模型泡一遍,但不急着教它答题。用论文的说法,这是给智能体后训练「备底座」。
数字:涨幅不大,但干净
Nemotron 3.5 Lightning 上用 500B token 做中间训练,相同完整 SFT 之后:SWE-bench Verified 从 60.7 到 64.5,SWE-bench 多语言版从 55.8 到 62.8,SWE-bench Pro 从 32.0 到 35.5。更大的 Nemotron 3.5 Super 用 280B token:长程基准 DeepSWE 从 11.7 到 15.7,SWE-bench Verified 从 72.9 到 74.3。两个规模都报告了跨 harness 的鲁棒性提升——换个智能体脚手架,优势还在。涨幅换算成百分点不算惊人,但每一分都来自同一条 SFT 流水线的前后对比,混不进别的变量。
最该被划线记住的一句话
论文里有句话值得所有刷榜的人抄在墙上:底座期的代理指标,与后训练结果并不同步。也就是说,中间训练做完看几个常见基准,并不能可靠预测它将来好不好做智能体后训练。作者的应对是把评估协议整个建在「短固定 SFT 跑完再比」之上——用便宜但贴近真实用途的方式验收,而不是信底座期的表面分数。这句话的普适性远超本文:任何「先备料再训练」的多段式流程,都该问一句,中间阶段的指标到底代不代表最终产出。
局限与并读
局限很实在:单一厂商、两个模型规模,没有跨团队复现;「公开配方」公开的是方法与数据配比,不是训练数据本身;中间训练本身的算力成本,论文没有披露——几千亿 token 不是小数,这笔账不给,外部很难估算性价比。与 Athanor 并读更有意思:那篇证明智能体可以在 104 小时里把后训练的活干完,且账单大头是算力;这篇证明后训练的上限很大程度上由底座决定。两条加起来是一句朴素的话——智能体自主科研的成本与天花板,同时取决于智能体有多强、底座有多好,而后者现在有了一份公开配方。
论文为 10 月 15 日提交的预印本,未经同行评审;配方在两个 Nemotron 模型之外的有效性待验。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。