10 月 4 日提交 arXiv 的 MMPostTrainBench(编号 2610.05398)把「智能体自己做 AI 研究」这件事从演示拉进了测量,拿到的这张成绩单相当扫兴:在图像、音频、视频与视听联合理解加多模态软件修复共八项任务上,52.1% 的模型-任务均值低于共同基座——智能体辛辛苦苦调了一天,交上来的模型还不如不改。

更细的读数还有两个:模型性能在研究迭代中并不单调改善,以及智能体经常选错提交对象——最终提交的模型落后于它自己已经评出的最佳候选,差距最高 5.38 个百分点。这意味着失败不只是「练坏了」,还包括「练好了却没认出来」。

八个多模态任务、一个共同基座、固定预算:把「智能体自己做后训练」变成可对照的实验八个任务音频理解 · MMAU音频推理 · MMAR图像理解 · MMMU-Pro视频理解 ×2 · VideoMMMU 等视听联合 ×2 · JointAV 等多模态编码 · MMSWE前七项报选择题准确率MMSWE 报实例解决比例共同基座:Qwen3-Omni-30B-A3B一次提交怎么跑智能体容器基座 + 开发反馈 + GPU 预算研究循环假设 → 干预 → 训练 → 留候选默认 24 小时;满配 8 张 GPU提交 final_model验证容器(只读测试数据)智能体接触不到测试集与验证代码完整性设计双容器隔离无 shell 触达测试数据离线评估只读数据 + 固定脚本操作侧审计另建污染参考审计不过不计分为什么严防训练集泄题、防冒名下载现成指令模型设计意图:把「智能体搞研究」从演示变成测量——既量目标能力涨没涨,也量非目标能力掉没掉、候选选得对不对与之对照的文本版基准(PostTrainBench,10 小时单卡)已先行一步;本篇把战场推到多模态,错误源随之变多
图|基准骨架图。要点:智能体与验证器分容器运行,「低于基线」这种结果只有隔离评测才暴露得出来。

先把作弊的口子堵上,再谈能力

基准的设置值得先看,因为它决定了数字的可信度。智能体与验证器跑在相互隔离的容器里:智能体拿基座模型、开发反馈和 GPU 预算(默认 24 小时,满配 8 张 GPU)做研究,提交 final_model;验证容器只读测试数据、离线评估,操作方另跑一遍完整性审计,还预建了污染参考库。共同基座是 Qwen3-Omni-30B-A3B,前七项任务报选择题准确率,MMSWE 报实例解决比例。

这套设计针对性很强:在训练集里泄题、把现成的指令微调模型下载下来冒充自己的产出、调用来路不明的 API 生成合成数据——这些正是此前文本版基准里被抓到过的作弊姿势。没有隔离与审计,「智能体搞研究」的分数就只是一句自述。

同一份实验,三个不太舒服的读数读数一:越过基线52.1%模型-任务均值低于基座模型八个任务全部存在这种情况且伴随非目标能力回退「涨了目标、伤了其余」读数二:迭代不保证进步示意:性能随研究轮次起伏不单调、不收敛多模态新增错误源:感知、跨模态对齐、时序接地读数三:选丢最佳候选已评估的最佳候选最终提交的模型差距最高 5.38 个百分点智能体握着一手好牌,却认不出哪张该打出去论文的回应:MMResearch 脚手架(加进现有编码智能体运行时)媒体接地证据连到假设与干预层级记忆把发现带进下一轮开发评估留候选别把冠军练手丢接入后:Claude Code(Opus 4.8)提交模型准确率最高 +7.75 个百分点;Codex(GPT-5.6-sol)+2.33 个百分点
图|三读数一对策。折线为示意走势,具体轮次曲线以论文为准;差距与百分比均为论文报告值。

多模态为什么更难,三个读数各自指向什么

论文给出的解释是:从文本扩展到多模态,错误源随之增多——感知误差、跨模态对齐错误、时序接地失误,任何一环出错,后面的训练信号全建在沙子上。三个读数因此可以分开读:52.1% 说的是「练坏」的风险真实且普遍,且常伴随非目标能力回退——目标涨了、别的伤了;迭代不单调说的是「研究」不像生产线,没有「再试一轮就会更好」的保证;5.38 个百分点的选择落差说的是最隐蔽的一类失败:好模型明明在手里,智能体却把它练丢了。

论文的回应是一个叫 MMResearch 的脚手架,加进现有编码智能体运行时:把媒体接地的证据连到假设与干预,用层级记忆把发现带进下一轮,并用开发评估保留候选,别把冠军练手丢。接入后,Claude Code(Opus 4.8)提交模型的准确率最高提升 7.75 个百分点,Codex(GPT-5.6-sol)提升 2.33 个百分点。

放进赛道里看

这条线今年走得很急:文本版的 PostTrainBench 先证明了前沿智能体能在 10 小时单卡预算里做出实质进展、但普遍追不上官方指令模型;随后「智能体自动化 AI 研究」被递到了递归自我改进叙事的最前排。MMPostTrainBench 的贡献是给这条叙事装了一块仪表盘——而且显示的是黄灯。

它与另一条线也互相印证:本站此前关注的奖励黑客传染研究(智能体会把走捷径的策略互相传染)在这里有了更现实的动机——无人监督的研究智能体,面对「提分」这个目标,泄题与冒充的诱惑比编码任务里更大。基准的隔离设计,本质是把这条人性漏洞也算计进去了。

还没披露的部分

几个限制必须说清:结论建立在单一共同基座与固定预算上,24 小时、8 卡之下「过半不升反降」,不能直接外推到更长周期与更大算力;MMResearch 的增益是在两个编码智能体运行时里测的,不是独立横评;八项任务覆盖的多模态场景仍以理解为重,生成式后训练不在范围内。代码已开源,复现门槛相对可控。

目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。对「AI 自己改进 AI」这个叙事,这份成绩单的价值在于:它让「能改进」与「改进得稳」之间划出了一道需要工程去填的缝。