让智能体自己改进模型,已经不是什么新鲜口号,但把整个后训练栈交到它手上会发生什么,一直缺一篇把过程摊开的论文。10 月 15 日提交 arXiv 的《AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning》(编号 2610.22194)补上了这一块:21 位作者,来自伊利诺伊大学厄巴纳-香槟分校、清华大学、面壁智能、香港中文大学与北京邮电大学,全文 27 页、16 幅图。
他们先复现了一个尴尬的默认结局:把完整训练栈交给单个智能体,它自己会收敛到监督微调,然后把大部分精力花在改训练数据上——这恰恰是人类数据工程师的主战场,可现有系统只肯给智能体一种控制权,要么在固定数据池里选行,要么调一个生成器。而人类工程师的动作是六族的:调类别比例、剪枝、修复、替换过长回复、给缺失能力写新样本、给数据排序。论文的问题因此变成:一个自动化系统能不能覆盖全部动作范围,而不是只会其中一招?
单智能体的天花板,先被自己的日志顶到
基线运行的数字很说明问题。单个智能体跑了 33 轮、实际完成 32 轮、历时 11.5 小时,上下文会话被撑到 258,400 token 窗口的 94.7%,全程发生 10 次压缩;它的最佳成绩停在第 9 轮(IFEval 67.76、IFBench 39.96),此后 23 轮零提升。日志的构成也扎心:智能体推理占 16.3、训练输出占 13.4、反复读取运行记录占 11.8,还有两成三的命令是在反复问「跑到哪了」。六族数据动作里,它只够到了调比例这一族。
四个角色,四笔可结的账
AutoSFT 的解法是把一个人拆成四种角色:元智能体把执行与分析分开、从独立角度收集提案;执行者只管跑命令、日志不进主上下文;分析组专找问题;合成员负责补数据池覆盖不到的能力。每一组件的效果都因为一个实验纪律而可归因——每轮都从 Qwen3-1.7B-Base 重新初始化重训,模型、训练器、预算在对比内固定。
账目如下:执行者把压缩次数从 10 次砍到 5 次,元智能体的 shell 命令占比从 58% 降到 29%;分析组在相同轮数下把最佳 IFEval 从 60.60 抬到 67.10(+6.50),即便多给基线 20 轮仍领先 4.75,且修复与复审两类动作占到其动作总数的 55%;合成员把 IFEval 从 78.15 推到 81.58(+3.4)、IFBench 从 49.02 推到 51.95(+2.9)。最直观的案例是 repeat_prompt 能力:前八轮徘徊在四成,第 9 轮合成数据进场后升到 75.6。
合成也不是万能的。odd_even_syllables 这类约束被三个不同轮次针对性进攻,每轮都是零分——数据供给教不会模型学不会的规则,这句话值得刻在每个「合成数据万能论」拥护者案头。搬到代码域,单智能体原地踏步的 MBPP+ 上,分析组带来 +3.7,加合成员后第 6 轮就摸到 65.8。
放进台谱里看
站点 1980 写过 Sakana 的 AI Scientist-v3:构想、实验、写作、评审的科研流水线,胜在阶段化分工与可复现记录;AutoSFT 窄一个维度——只攻数据研究层,且把「多智能体为什么有效」拆成了可归因的组件账,这是它更工程友好的地方。1971 的 SpecAgent 让弱模型起草、强模型审段,治的是每步都调大模型的浪费;本篇的执行者把执行输出移出主上下文,治的是同一种上下文病在另一个环节的变体。再往成本线接,1976 那篇按层收费里提过,数据研究本身就是 token 消耗大头,这篇等于给出了消耗都花在哪的明细。
几盆该浇的冷水
基座只有 Qwen3-1.7B,1.7B 上成立的「多角度提案有效」,换到前沿规模是否还是这个排序,论文没有回答。三个基准——IFEval、IFBench、MBPP+——都是指令遵循与代码,没碰开放式生成;初始池固定为一个指令遵循数据集加 742,842 对代码数据,「数据研究」的外推空间有限。11.5 小时跑 33 轮的节奏也提醒我们:这套循环本身不便宜,省下的人力成本是否覆盖机器与 token 成本,论文没算。
论文自己的结论恰好可以当成给所有「智能体自动化 XX」项目的设计准则:能不能自动化的关键,往往不在于单个角色有多强,而在于动作空间覆盖得全不全。