递归自我改进的老问题:谁来给「更好」打分

让模型自己改自己,卡住的位置一直不在「怎么改」,而在「怎么知道改对了」。开放型研究任务里,人类专家既贵又慢,逐条判断输出质量不现实;可要是让模型当自己的评委,它的盲区就会跟着评分信号一起被吸收——错了当成进步,训练完还放大。Sakana AI 与 UC Berkeley 在 arXiv 2610.12176(10 月 8 日提交,10 月 12 日随官方博客一同公布)里提出的 MASS(Multi-Agent Self-Supervision),换了个进攻方向:不改评分器,改「结构」。

思路一句话能说完:不让一个智能体写完作业自己打分,而是让同一个模型分身成一支虚拟子智能体团队去解题,团队之间可以互相交叉检查、分工、验证中间步骤;再用这套编排去搜更优的工作流,最后用模型自己的比较判断选出最好的那些,把获胜轨迹蒸馏回权重。论文的原话是「一个共享模型通过子智能体团队解题、搜索更优多智能体工作流、再用自身判断择优,并在最优团队的执行记录上训练」。

MASS:一个模型当执行者、优化器、评委,然后把胜利译回权重循环里没有人工标注、没有更强的教师模型、没有外部奖励① 虚拟子智能体团队同一权重多角色分工② 工作流搜索演化更优编排·权重冻结③ 自己当评委模型自身比较判断④ 选最优按自身判断取舍⑤ LoRA 微调:把胜利译成监督信号只喂任务解题轨迹,工作流文本被剥掉规模(论文口径):119 条轨迹 · 17.2M 监督 token · 每轮约 19 小时 SFT跑在 qwen-code 0.20.0 运行时里的 Qwen3.6-27B(FP8)· 六张 H100
图|MASS 的循环:同一个 27B 模型组队解题、搜索更优工作流、自己当评委选最优,再把获胜轨迹蒸馏回权重——全程无外部监督。

三顶帽子与一个循环

拆开看,循环里有三个角色:执行者(跑任务)、工作流优化器(搜编排)、评委(做比较)。三者共用同一套权重——基座是通义千问的 Qwen3.6-27B(FP8 版),跑在 qwen-code 0.20.0 这个智能体运行时里。搜索阶段权重冻结,找到更优工作流后,再用 LoRA 在最优团队的对话轨迹上微调,且喂进去时把工作流文本剥掉,只留任务解题内容。

这里有个反直觉的发现,论文称之为「角色泛化」:只在任务解题数据上训练,优化器和评委的能力也跟着涨了——并没有单独给这两个角色上课。另一个结论更工程化:拖慢改进速度的瓶颈往往在优化器容量,而不是评委容量。翻译成选型语言就是,想把这类循环跑快,先加码负责「改编排」的那部分,比加码「评分」更值。

规模感也值得记一下:两轮循环、119 条轨迹、1720 万监督 token,每轮约 19 小时 SFT(六张 H100,不含搜索与评测)。这不是一个需要超大集群的实验,中型团队复刻的门槛在数据管道而不是算力。

成绩单:研究题涨,编码题跌

第二轮后「每输出 token 得分」相对基线的倍数(论文自报)MLR-Bench1.60 倍DSBench1.35 倍AstaBench1.28 倍ScienceAgentBench1.20 倍SWE-bench Verified0.94 倍(微降)Terminal-Bench 2.00.96 倍(微降)外部评委(GPT-5.5 / Claude Opus 4.8)胜率:53.9% → 69.9%自评与外部评委一致率:73% → 93%;多智能体学生少用约三成监督 token论文原话:迁移并不均衡(transfer remains uneven)
图|研究型任务上每 token 质量提升两到六成,编码型任务反而略降;「研究题涨、编码题跌」比单一倍数更接近这篇论文的真实形状。

四个研究型基准上,「每输出 token 得分」达到基线的 1.20 到 1.60 倍(MLR-Bench 1.60、DSBench 1.35、AstaBench 1.28、ScienceAgentBench 1.20);但换成编码型任务就翻车——SWE-bench Verified 0.94 倍、Terminal-Bench 2.0 0.96 倍,论文自己承认「迁移并不均衡」。请外部评委 GPT-5.5 与 Claude Opus 4.8 打分,对基座的胜率从首轮 53.9% 升到第二轮 69.9%;模型自评与外部评委的一致率则从 73% 抬到 93%。

另一个对做训练的人有直接价值的数字:多智能体学生比单智能体学生高 4.3 个百分点,监督 token 还少用约三成(2880 万对 4200 万);但收集这些轨迹多花了 2.39 倍的生成 token。省的是训练成本,费的是采样成本——这笔账在不同任务上划不划得来,得自己算。

它自己点名的风险,比倍数更值得读

这篇论文最值得圈的不是 1.6 倍,是它把同源循环的软肋写在了明处:当模型同时是自己的评委,共享盲区可能让一个错误结果被当成改进,被接受、被吸收、被下一轮放大——论文称其为「递归自我改进的阿喀琉斯之踵」,并把思维链可监控性与智能爆炸列为开放的控制问题。配套的保留意见还有:代码虽在 GitHub(SakanaAI/mass),但 MASS 专属代码没有指派开源许可证,权重也不随包发布,基准适配器只做了一部分;论文也没保证后面的循环还能继续涨。

放进站内脉络看位置更清楚。1604 写的 MIT×Sakana SIFT 走的是「外部化评委」路线,用语言模型评委在完整基准开跑前先排座次,压的是评测成本;1035 的 Dream-RSI 干脆不更新权重,只用回放模拟器攒经验。MASS 的增量在于把这两条线拧起来:多智能体轨迹被证明比单智能体轨迹更适合当自改进的训练数据,且角色泛化说明「解题」本身就在养「优化」和「评估」。对正在琢磨「用自家智能体的轨迹微调自家模型」的团队,它的教训也很直白:研究型任务上这套循环已经跑出正收益,编码型任务上目前还是零——先小规模试,别一把梭。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。