10 月 9 日提交 arXiv 的 ACED-Bench（编号 2610.14381）把评测对象从「AI 科学家答得对不对」推进了一层：它考的是调查过程本身。论文的判断很直接——大模型当科研助手已经一年多了，但我们仍然没有可靠办法回答：它是在「调查一个系统」，还是仅仅在「回答一个问题」。选什么实验、怎么读有限证据、什么时候敢下结论——这三件事此前都不在基准的射程里。
双世界：读起来像科研，评起来像程序
基准的核心设计是拆开两个世界。可读的科学表面交给模型：自然语言的场景与任务文本由 LLM 生成，智能体通过观测与干预接口自己决定收集什么证据。隐藏的形式化因果世界守住客观性：因果图、数据生成过程、干预语义、校验规则和标准答案全部由隐藏的概率图模型定义。
这个拆分解决的是科研类基准的老毛病——完全开放生成的任务没法程序化评估，人工标注又贵又窄。ACED-Bench 的做法让环境读起来像真的科学研究，真值却精确到可以规模化出题。
两个题库，三种失败
ACED-CORE 是主榜，180 个任务：60 个集合式因果血缘问题，120 个受约束的因果决策任务。ACED-QUAL 是 150 道是非题，先考「会不会用接口从证据得结论」。论文评了 7 个当代模型和 2 个上代模型，跑了三种主动智能体设计。
真正的增量在证据账簿（evidence ledger）分析：把智能体的调查过程拆开记账，失败被定位到三类——干预选错（实验设计就和想问的问题不对应，后面的证据全白收集）、证据丢失（收集过的相关发现没留在账簿里，多跳推理时被后来的信息淹没）、该停不停（证据已经够了还在做实验，或者迟迟不敢定论）。三类失败对应四样处方：实验设计支持、证据保持支持、定论承诺支持、停止准则。
放进赛道里看
今年「AI 共同科学家」是热门叙事：多智能体自我改进、科研脚手架、自动假设生成密集出现，热度与论文数量同步上涨。但绝大多数工作评的是终点——结论对不对、分高不高。ACED-Bench 把调查过程变成可打分对象，等于给这条叙事补了块过程仪表盘。它和本站报道过的「多智能体自我监督」一类工作也互为背景：那些方法解决「怎么把科研轨迹变成训练信号」，这块基准回答「轨迹里哪一步值得学」。
需要保留的怀疑
边界同样清楚：场景文本由 LLM 生成，「表面自然性」没有独立的人工评估；隐藏的概率图模型终究是对真实科研的简化——变量可枚举、干预可定义，而真科研的麻烦恰恰是不可枚举；三种主动智能体设计覆盖的策略空间有限，换成更复杂的规划式智能体，三类失败的比例可能重排。基准刚发布，复现与扩展都待观察。
目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。但对做科研智能体产品的团队，「证据账簿」这个词值得先记下来——它可能是下一个版本的必备组件，就像记忆系统之于上一代。