让智能体自己改进模型,已经不是什么新鲜口号,但把整个后训练栈交到它手上会发生什么,一直缺一篇把过程摊开的论文。10 月 15 日提交 arXiv 的《AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning》(编号 2610.22194)补上了这一块:21 位作者,来自伊利诺伊大学厄巴纳-香槟分校、清华大学、面壁智能、香港中文大学与北京邮电大学,全文 27 页、16 幅图。

他们先复现了一个尴尬的默认结局:把完整训练栈交给单个智能体,它自己会收敛到监督微调,然后把大部分精力花在改训练数据上——这恰恰是人类数据工程师的主战场,可现有系统只肯给智能体一种控制权,要么在固定数据池里选行,要么调一个生成器。而人类工程师的动作是六族的:调类别比例、剪枝、修复、替换过长回复、给缺失能力写新样本、给数据排序。论文的问题因此变成:一个自动化系统能不能覆盖全部动作范围,而不是只会其中一招?

一个智能体干活,先被自己的日志埋掉上下文占用(占 258,400 token 窗口的比例)第 2 轮起压缩十次,峰值占用 94.7整轮累计上下文约 9.9MB;推理占 16.3,训练输出占 13.4,反复读运行记录占 11.8执行者还有两成三的命令是在反复问「跑到哪了」单智能体成绩单33 轮只完成 32 轮,历时 11.5 小时第 9 轮见顶:IFEval 67.76见顶之后此后 23 轮零提升六族数据动作只够到调比例论文 arXiv 2610.22194,10 月 15 日提交,21 位作者,来自伊利诺伊大学厄巴纳-香槟分校、清华大学、面壁智能等五家机构
图|上部是上下文膨胀的轨迹,下部两张卡是单智能体的天花板。读图要点:瓶颈不是不会干,是记性先不够用。

单智能体的天花板,先被自己的日志顶到

基线运行的数字很说明问题。单个智能体跑了 33 轮、实际完成 32 轮、历时 11.5 小时,上下文会话被撑到 258,400 token 窗口的 94.7%,全程发生 10 次压缩;它的最佳成绩停在第 9 轮(IFEval 67.76、IFBench 39.96),此后 23 轮零提升。日志的构成也扎心:智能体推理占 16.3、训练输出占 13.4、反复读取运行记录占 11.8,还有两成三的命令是在反复问「跑到哪了」。六族数据动作里,它只够到了调比例这一族。

把一个人的活拆成四种角色元智能体分开工位汇总多角度提案模型预算固定执行者只管跑命令日志不进主上下文压缩次数减半分析组独立角度找问题修复与复审占动作同轮 +6.5 分合成员补池子没有的能力IFEval +3.4IFBench +2.9为什么这些数字敢单独信每一轮都从 Qwen3-1.7B-Base 重新初始化重训,模型、训练器、预算在对比内固定,组件拆开加、效果拆开算;同一套循环搬到代码域,单智能体原地踏步时分析组带来 +3.7 的 MBPP+合成也救不了所有事:odd_even_syllables 这类约束被三个轮次针对过,每轮都是零分——数据供给教不会模型学不会的规则
图|上排四卡是分工,中部是可归因的实验设计,底部是合成的边界。读图要点:增量来自动作覆盖面的完整度,不是某个角色更强。

四个角色,四笔可结的账

AutoSFT 的解法是把一个人拆成四种角色:元智能体把执行与分析分开、从独立角度收集提案;执行者只管跑命令、日志不进主上下文;分析组专找问题;合成员负责补数据池覆盖不到的能力。每一组件的效果都因为一个实验纪律而可归因——每轮都从 Qwen3-1.7B-Base 重新初始化重训,模型、训练器、预算在对比内固定。

账目如下:执行者把压缩次数从 10 次砍到 5 次,元智能体的 shell 命令占比从 58% 降到 29%;分析组在相同轮数下把最佳 IFEval 从 60.60 抬到 67.10(+6.50),即便多给基线 20 轮仍领先 4.75,且修复与复审两类动作占到其动作总数的 55%;合成员把 IFEval 从 78.15 推到 81.58(+3.4)、IFBench 从 49.02 推到 51.95(+2.9)。最直观的案例是 repeat_prompt 能力:前八轮徘徊在四成,第 9 轮合成数据进场后升到 75.6。

合成也不是万能的。odd_even_syllables 这类约束被三个不同轮次针对性进攻,每轮都是零分——数据供给教不会模型学不会的规则,这句话值得刻在每个「合成数据万能论」拥护者案头。搬到代码域,单智能体原地踏步的 MBPP+ 上,分析组带来 +3.7,加合成员后第 6 轮就摸到 65.8。

放进台谱里看

站点 1980 写过 Sakana 的 AI Scientist-v3:构想、实验、写作、评审的科研流水线,胜在阶段化分工与可复现记录;AutoSFT 窄一个维度——只攻数据研究层,且把「多智能体为什么有效」拆成了可归因的组件账,这是它更工程友好的地方。1971 的 SpecAgent 让弱模型起草、强模型审段,治的是每步都调大模型的浪费;本篇的执行者把执行输出移出主上下文,治的是同一种上下文病在另一个环节的变体。再往成本线接,1976 那篇按层收费里提过,数据研究本身就是 token 消耗大头,这篇等于给出了消耗都花在哪的明细。

几盆该浇的冷水

基座只有 Qwen3-1.7B,1.7B 上成立的「多角度提案有效」,换到前沿规模是否还是这个排序,论文没有回答。三个基准——IFEval、IFBench、MBPP+——都是指令遵循与代码,没碰开放式生成;初始池固定为一个指令遵循数据集加 742,842 对代码数据,「数据研究」的外推空间有限。11.5 小时跑 33 轮的节奏也提醒我们:这套循环本身不便宜,省下的人力成本是否覆盖机器与 token 成本,论文没算。

论文自己的结论恰好可以当成给所有「智能体自动化 XX」项目的设计准则:能不能自动化的关键,往往不在于单个角色有多强,而在于动作空间覆盖得全不全。