11 月 12 日提交的 arXiv 2611.17052 把 AI 同行评审摆到可核对的位置,论文由 Íñigo Zubeldia 等五人署名,已录用于 NeurIPS 2026。做法绕开给论文打总分,转向往真实预印本里注入客观、可定位的错误,分一般问题、数学、数值与引用四类,各设三级严重度,再看审稿系统按类型与级别的检出率,并在未改动的干净副本上记误报率。
两个语料各取 15 篇近期 arXiv 预印本,一个来自天体物理、一个来自机器学习,合计注入 357 个错误。参评的 12 套系统里,6 套是单模型审稿人,2 套是 Claude Code 配置,3 套为公开审稿工具,剩下 1 套是作者搭的多智能体审稿人 Skepthical。它把引用支撑交给检索到的被引论文,把数学交给计算机代数系统,把数值论断交给实际执行的代码,三类核查分给不同部件再并回评审意见。
影响最大的变量是模型本身。摘要写得很直接,同一套提示词下,三个前沿大模型在两个语料上的总检出率相差约 50 个百分点,工具与脚手架的增益都排在这道差距之后,且只在补上模型自己拿不到的能力时才出现。天体物理语料上,Claude Code 在数学与数值检出上优于单次 Claude 调用,强制引用检索让 Skepthical 拿到最高的引用错误检出率;到机器学习语料,这项领先消失,与最好的单模型审稿人在统计上分不开,作者给的解释是模型对本领域文献更熟。
同一套脚手架换个语料就从加分变成持平,这个结果给“给智能体多接工具就能更强”的预期划了边界,增量来源更像是领域知识缺口而非工具数量。多数系统误报率低于 10%,但会随提示词、模型与脚手架变化,数学类标记是误报的主要来源。工具增益与模型选型差了将近一个量级,选型没定就先堆检索部件,投入的次序值得重排。
摘要没列的东西要逐项说清。12 套系统与三个前沿模型的具体型号没有写出,357 个错误在四类三级之间的分布未交代,干净副本数量与误报率的分母也未给。评测流水线、注入错误与裁决日志已随基准放出,单次审稿的成本与耗时没有披露,跨第三个学科的效果暂无数据。