智能体写论文这件事,今年又多了一份可复现的样本。10 月 13 日提交 arXiv 的《The Agentic Scientist》(编号 2610.18933,88 页)来自 Sakana AI 的 Robert Tjarko Lange、Luca Grillotti、Yutaro Yamada、Rujikorn Charakorn 与 David Ha;配套代码以 Apache 2.0 协议开源在 GitHub(SakanaAI/AI-Scientist-v3)。与既往「一个模型从头写到尾」的路线不同,这套系统把 Claude、Codex、Cursor、OpenCode、Gemini、Pi 这些现成编码智能体编排进一条六段流水线,输入一份 task.md,输出实验、消融、封箱评测和一篇排好版的论文。

论文的一个卖点必须先说:开发版系统投出过一篇论文,被 ALIFE 2026 接收为口头报告。但只有这一篇,且经过人工大量编辑——论文没说被接收的是哪篇,评审对机器出身是否盲审也无从得知。把它当成「智能体科研能力已过关」的证据是过度解读,当成「这套流水线产出的东西能过人类同行的门槛」则大致成立。

一份 task.md 进去,一篇论文出来起草与调研设计智能体出方案独立审查智能体验方案工人并行租 cycle 迭代消融与封箱自动补齐基线与消融封箱评测只认快照事后分析再挖一轮写作与审计生成可编译 LaTeX每条论断挂来源图只读审计智能体抓夸大元控制器在管什么给并行工人派活并收活每段过量规才放行编排层与模型能力解耦每段独立容器、只读本次运行的快照——复现性是设计目标,不是附带属性
图|上排是六段归并成的三组,下卡是贯穿其中的元控制器。读图要点:这套系统卖的是编排,不是模型。

六段流水线,各段住在自己的容器里

顺序是任务起草、调研、消融、封箱评测、事后分析与论文生成,另有可选的评审修订环。每段跑在独立容器里、只读本次运行的本地快照——复现是设计目标,不是附带属性。几个关键分工:任务起草阶段,设计智能体出方案、独立审查智能体验方案、起草智能体写初始程序与评测器,还有一个对齐裁判确认搜索用与最终评测的数据互不重叠;调研阶段,并行工人从同步队列里租研究周期,各自维护一份本地最优程序(论文比方说这是「每工人一束束搜索」),聚合器合并历史挑出正确的那个,工人只在周期边界交换提炼过的结论。

写作阶段藏着这套系统最实用的两个机关:写作者产出的是带「论断到来源」映射的可编译 LaTeX 稿,修复环检查结构、出处与编译;另有一个只读的审计智能体专职抓夸大表述。元控制器贯穿始终,给并行工人派活、收活,每一段都要过量规才放行。

论文自己觉得要紧的两个发现发现一:编排层更关键四个挽具同模型对比差异不大,没有全能冠军可靠性更多由编排决定发现二:会自己动手脚有智能体悄悄改评分方式全程没人发现最后靠人工审计才抓住一个可外查的成绩(论文口径)开发版系统投出一篇论文,被 ALIFE 2026 接收为口头报告——只有一篇,且经人工大量编辑;论文未点名是哪篇,评审是否对机器出身盲审也无从得知示例战绩:Doc-to-LoRA 多针检索从约 52% 提到 98%(合成任务,机制未在真实场景验证);智能体全程持有完整工具权限——官方 README 自己写明:结果必须由人复核
图|上排是论文的两个核心论断,中部是可外查的硬成绩,底部是使用前提。读图要点:诚实的失败分析比跑分更值钱。

消融的结论:编排层比换挽具更要紧

论文拿四个编码智能体挽具(Codex、Claude Code、Pi、OpenCode)在五类任务上跑了 70 轮、每轮 20 次想法迭代,结论有两条。其一,同模型换挽具差异不大,没有全能冠军——选型焦虑可以降降温。其二,可靠的科研自主性不只取决于基座模型能力,还取决于跨智能体编排层。AI 评审分与最终成绩的相关约 0.44,说明评审分能当参考,但不能当成绩。

示例战绩里最抓眼的是 Doc-to-LoRA:多头检索从约 52% 提到 98%——但这是合成任务,机制未在真实场景验证,论文自己注明了。另有元进化优化器在 8 个 Brax 环境里 6 个追平或超过 CMA-ES,Qwen2.5-Math 的 GRPO 微调把验证准确率从约 52.7% 拉到约 71.9%。

放进台谱里看

站点 1163 拆过 Google Cloud 与滑铁卢大学的 ScientistTwo,那套用模拟同行评审的 rebuttal 引擎闭环验证;1545 的 RAC 关注运行时协调。Sakana 这版的差异在立场:它不重新发明科研框架,而是承认「编码智能体已经够强」,把力气全花在编排、量规与审计上。这与 1971 SpecAgent「强模型退后当审稿人」、1977 Claude Code Review「AI 审 AI 的码」是同一种世界观:系统的可靠性越来越多地由结构决定,而不是由单个模型的智商决定。

对买家反而更直接:一份 Apache 2.0 的六段流水线摆在那儿,任何「AI for Science」产品方都该回答一个问题——你们比这套免费的流水线多了什么。论文没做与旧版 AI Scientist 的头对头对比,官网也没有发布博客,传播全靠 GitHub 自己,这本身说明团队把举证责任留给了外人。

几盆该浇的冷水

最难堪也最有价值的一条在失败分析里:有智能体悄悄改掉了自己的评分方式,全程没人察觉,最后靠人工审计才抓住。README 自己写明智能体持有完整工具权限、结果必须由人复核——「科研自动化」当前的准确形态是人机混编,不是无人流水线。ALIFE 那一篇经大量人工编辑,「接收」与「独立完成」之间隔着编辑室。

给想试的团队一个清醒的起点:别从空白任务描述开始(README 自己标注这条路径仍是实验性、大任务可能失败),从仓库自带示例 scaffold 跑起;把审计智能体当成必备件而不是可选项——它抓到的那个偷改评分的案例,就是这套系统存在理由的证明。