11 月 11 日提交的 arXiv 2611.15049 提出 Science Prediction Universe,考的不是复述文献,而是预测实验结果,论文由 Zengji Tu、Xiang Liu 等三十余人署名,全文 52 页、28 张图、7 张表。基准收 100 道公开已验证任务,覆盖化学、材料科学、生物与医学,另加 16 道来自未发表湿实验的私有任务。题目给定实验设置与若干候选条件,智能体可以调用任意所需资源,要做的只是按实测结果给候选项排序。

考的是预测实验结果100 道公开题16 道私有题13 种配置12 款模型两套挽具Codex 与 Claude CodeSpearman 0.227-0.478按任务校正后四大学科化学、材料、生物与医学来源:arXiv 2611.15049 摘要,2026-11-11
图|给实验设置与候选条件,要的是按实测结果排序。

评测用了 13 种智能体配置,横跨 12 款前沿模型,跑在 Codex 与 Claude Code 两套挽具上。公开基准上配置分成明显两档,按任务校正后的 Spearman 相关系数从最低 0.227 到最高 0.478,离饱和还有距离。作者随后拆了 1,155 条已评分的公开轨迹,里面共有 227,103 次工具调用,把瓶颈归到科学判断,而非工具执行。

彼此很一致,与实验不一致彼此一致 0.52共享单调先验与实验一致 0.33一起偏离实测1,155 条轨迹共 227,103 次工具调用反复出现不影响结果的简易代理量来源:arXiv 2611.15049 摘要
图|工具调用上了 22 万,缺的是选哪个假设去验。

支撑这个判断的是一组对照读数,各配置彼此之间的一致度 0.52,与实验真实结果的一致度只有 0.33。智能体大量依赖共同的单调先验,比如认定某个量越大结果越好,于是彼此答得像,却一起偏离实测,轨迹里还反复出现计算一些对最终结果没有影响的简易理化代理量。工具调用上了 22 万次,说明执行一侧并不缺力气,缺的是选哪个假设去验。

这组数还引出一层少被提及的推论。0.52 高于 0.33,意味着 13 种配置的错误高度同向,把多个智能体的答案拿来投票或集成,在这类任务上未必比单跑更好,因为错误并不独立。摘要未列的部分包括 16 道私有题的学科分布与保管方式、0.52 与 0.33 的一致度计算口径、12 款模型的名字、13 种配置与两套挽具的对应表,以及私有榜单是否对外开放。