跟 Athanor 同一天提交的 arXiv 2610.21082,给同一件事量了相反的体温。这篇叫 SciΠvot 的基准不考智能体会不会跑实验,考的是更玄的那件事——科研判断力:方向选对了吗,优先级排对了吗,什么时候该停。构造方式很务实:资深研究员带着大模型智能体在六个学科的 26 个项目里干了六个月,把每一次「人类下场纠正智能体判断」的瞬间存下来,做成 248 道二选一考题。每道题里,智能体只能在「自己原来的计划」和「人类纠正后的版本」之间选一个,而且只许看纠正发生之前的项目记录。
这套基准聪明在哪
科研品味难考,因为研究决策开放、依赖上下文、没有标准答案。SciΠvot 的取巧之处在于借力:正确答案不需要评委,人类当初选的那一版就是答案;出题素材不需要编,真实项目里的纠正记录就是题。于是「品味」这种没法打分的东西,变成了可批量、可复测的准确率。十八位作者把推理力度、给不给项目记录、允不允许重新思考设为三个变量,交叉着考了五个前沿模型。
三个结果,一个比一个难受
头一个结果:在中等推理力度、带着项目记录的条件下,模型系统性地偏爱自己原来的方案——宁可坚持自己起草的计划,也不选人类的纠正版。第二个:五个前沿模型里,四个在选中案例上低于随机水平;项目条件下的全场最好成绩 63.5%,而人类新研究员是 73.4%。注意后者不是资深研究员,是刚入场的新人——模型输给的是「新人线」,不是「专家线」。第三个最反直觉:中等力度下,每个模型给了项目记录之后,正确率反而比不给更低;允许重新思考一轮,也没有稳定改善。
带着历史,反而做不好判断
论文没有拆解机制,但不难提出可检验的猜想:项目记录里躺着智能体自己先前写下的计划,读它就像读自己的旧方案——先验一旦落纸,翻案的权重就变了。这与记忆、上下文工程那条线是同一枚硬币的两面:那条线研究怎么让智能体记住,这条线提醒记忆本身会改变判断的分布。也有更平淡的解释:记录越长,信噪比越差,纠正信号被淹了。无论哪种解释,结论对部署都刺手——把完整项目历史塞进上下文这个标准动作,在判断类任务上可能是负资产。
这对「自主科研」意味着什么
把这篇和 Athanor 并读,画面才完整:执行层在过关(104 小时把活干完),判断层没过线(关键时刻信自己不信人),而且姿势难看——不是随机乱猜,是系统性地偏袒自己的原案。对「AI 自己做科研」的叙事来说,这是个精确的定位:目前的自主科研系统,上限大约是一名熟练的高级实验技术员,能跑流程、能调参数,但「该不该换个方向」这个问题,还得人来按头。对企业的启示更直接:人在回路的切分点,不该按任务时长划(跑得久就放手),该按判断密度划——越是不可逆的方向决策,越值得留一道人工确认。
边界与冷水
这套基准自带选择偏差:248 道题全部来自「人类纠正过」的瞬间,日常顺利通过的判断没有被采样,所以它测的是纠错时刻的能力,不是平均表现。五个前沿模型在摘要中未逐一点名,横向对比只能看区间。它也是个单时间快照,没有跨版本复测——模型升级换代之后,这条「新人线」会不会被追上,正是接下来值得盯的曲线。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。