跟 Athanor 同一天提交的 arXiv 2610.21082,给同一件事量了相反的体温。这篇叫 SciΠvot 的基准不考智能体会不会跑实验,考的是更玄的那件事——科研判断力:方向选对了吗,优先级排对了吗,什么时候该停。构造方式很务实:资深研究员带着大模型智能体在六个学科的 26 个项目里干了六个月,把每一次「人类下场纠正智能体判断」的瞬间存下来,做成 248 道二选一考题。每道题里,智能体只能在「自己原来的计划」和「人类纠正后的版本」之间选一个,而且只许看纠正发生之前的项目记录。

从人类纠正记录里长出来的 248 道考题真实科研现场6 个月、26 个项目覆盖 6 个学科资深研究员带智能体干活反复干预每当判断跑偏研究员下场纠正纠正瞬间被记录248 道考题原始 LLM 计划对 人类纠正版只给纠正前的项目记录每一道题考的是同一件事:关键时刻,信自己原来的方案,还是信人的纠正设计的妙处在于不需要人现场打分——正确答案就是当初人类选的那一版,可批量、可复测、不依赖主观评分;代价是考题全部来自「被纠正过」的瞬间论文同时变换三个变量:推理力度、给不给项目记录、允不允许重新思考
图|三格是基准的构造流程。读图要点:这套基准把「科研品味」从玄学变成了可计分的二选一——但样本自带选择偏差,只用纠正瞬间出题。

这套基准聪明在哪

科研品味难考,因为研究决策开放、依赖上下文、没有标准答案。SciΠvot 的取巧之处在于借力:正确答案不需要评委,人类当初选的那一版就是答案;出题素材不需要编,真实项目里的纠正记录就是题。于是「品味」这种没法打分的东西,变成了可批量、可复测的准确率。十八位作者把推理力度、给不给项目记录、允不允许重新思考设为三个变量,交叉着考了五个前沿模型。

三个结果,一个比一个难受

头一个结果:在中等推理力度、带着项目记录的条件下,模型系统性地偏爱自己原来的方案——宁可坚持自己起草的计划,也不选人类的纠正版。第二个:五个前沿模型里,四个在选中案例上低于随机水平;项目条件下的全场最好成绩 63.5%,而人类新研究员是 73.4%。注意后者不是资深研究员,是刚入场的新人——模型输给的是「新人线」,不是「专家线」。第三个最反直觉:中等力度下,每个模型给了项目记录之后,正确率反而比不给更低;允许重新思考一轮,也没有稳定改善。

四个前沿模型,跌到随机线以下项目条件下的正确率随机 50%人类新研究员73.4%模型最好成绩63.5%其余四个模型均低于随机五个前沿模型里四个低于随机;模型未在摘要中逐一点名两个额外读数偏爱原方案系统性地宁选自己的原始 LLM 计划带历史反而更差中等力度下,给了项目记录的模型分数更低「重新思考」没有稳定改善:允许模型复议一轮,总体正确率并未可靠抬升;论文未拆解机制——为什么带着完整历史反而做不好判断,留给了后续研究
图|左栏是分数对比,右栏是两个反直觉读数。读图要点:执行可以连轴转,判断会系统性偏袒自己起草的方案——这是自主科研最稀缺的那块能力。

带着历史,反而做不好判断

论文没有拆解机制,但不难提出可检验的猜想:项目记录里躺着智能体自己先前写下的计划,读它就像读自己的旧方案——先验一旦落纸,翻案的权重就变了。这与记忆、上下文工程那条线是同一枚硬币的两面:那条线研究怎么让智能体记住,这条线提醒记忆本身会改变判断的分布。也有更平淡的解释:记录越长,信噪比越差,纠正信号被淹了。无论哪种解释,结论对部署都刺手——把完整项目历史塞进上下文这个标准动作,在判断类任务上可能是负资产。

这对「自主科研」意味着什么

把这篇和 Athanor 并读,画面才完整:执行层在过关(104 小时把活干完),判断层没过线(关键时刻信自己不信人),而且姿势难看——不是随机乱猜,是系统性地偏袒自己的原案。对「AI 自己做科研」的叙事来说,这是个精确的定位:目前的自主科研系统,上限大约是一名熟练的高级实验技术员,能跑流程、能调参数,但「该不该换个方向」这个问题,还得人来按头。对企业的启示更直接:人在回路的切分点,不该按任务时长划(跑得久就放手),该按判断密度划——越是不可逆的方向决策,越值得留一道人工确认。

边界与冷水

这套基准自带选择偏差:248 道题全部来自「人类纠正过」的瞬间,日常顺利通过的判断没有被采样,所以它测的是纠错时刻的能力,不是平均表现。五个前沿模型在摘要中未逐一点名,横向对比只能看区间。它也是个单时间快照,没有跨版本复测——模型升级换代之后,这条「新人线」会不会被追上,正是接下来值得盯的曲线。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。