EurekaBench（科学发现智能体基准）
| 分类 | 📖 评测基准 |
| 阅读时间 | ⏱️ 17 分钟 |
| 更新时间 | 📅 2026-10-23 |
| 条目编号 | ENC-BENCH-22-eurekabench |
关键要点 ✦
- 测的是「想通」而非「答对」：智能体从初始观测出发迭代实验，提交机制及其实现与实验记录，评委智能体可在不改动机制的前提下追加实验来核验。
- 26 个任务横跨神经科学、计算机科学、化学、天体物理、地球物理与等离子体物理六域，配套 306 条期望洞见，任务与洞见均经领域专家核验。
- 三轴计分：科学约束（违反任一约束该题归零）、预测准确度（机制对测试数据的解释力）、科学洞见（机制能推导出的既有结论、开放问题与研究方向）。
- 创刊号结果：Claude Fable 5.1（Claude Code 框架）最终分 29.8%，GPT-6 Astra（Codex）28.7%，而人类科学家参照为 63.7%；共 7 个模型、3 种智能体框架上榜。
- 「洞见鸿沟」：GPT-6 Astra 预测准确度 47.4% 已接近人类参照的 48.8%，洞见得分 29.4% 却远低于人类的 69.7%——智能体擅长拟合数据，还不擅长从结果反推机制。
- 典型失败模式包括循环验证（自设测试材料自评成功）与不确定性不消解（不跑后续实验排除歧义）；26 题的小样本也提示结论需谨慎。
从刷题到做科研的评估转向
主流智能体评测大多在测执行：给一道题、一个环境，看结果对不对。EurekaBench 的作者团队——来自卡内基梅隆大学语言技术研究所、斯坦福、耶鲁、MIT、哥伦比亚、普林斯顿与Flatiron 研究所等机构——换了一个问法：智能体能不能复现牛顿式的那一跳，从行星轨迹的观测里归纳出引力机制，再让同一个机制解释苹果落地。论文于 2026 年 9 月 30 日提交 arXiv（编号 2610.00492），10 月 2 日公开发布。任务全部取自近期部分解决的真实科研问题，由领域专家与作者合作构建并核验，智能体需要做的是长程实验：从初始观测出发，设计并运行实验，最终提交一个机制、它的实现与实验记录。
任务与三轴计分设计
EurekaBench 从三根轴评估提交结果。科学约束（SC）检查智能体有没有违反已知科学规律，任何一题违反约束，该题最终分直接归零；预测准确度（PA）衡量机制对留出测试数据的解释力；科学洞见（SI）则统计从提交机制能推导出的洞见——这些洞见由领域专家参与开发，覆盖既有发现、开放问题与潜在研究方向。评委是智能体（如 Claude Opus 级模型），允许在不改动提交机制的前提下追加实验来解读与外推。最终分（CS）把预测分与洞见分按标准数归一，两个评委分别计算后取平均。这套设计把「拟合得漂亮但讲不出所以然」的提交明确判为短板。
创刊号榜单与洞见鸿沟
官方榜单收录 7 个模型、3 种智能体框架（Claude Code、Codex、OpenHands）。Claude Fable 5.1 在 Claude Code 框架下以 29.8% 最终分居首，预测准确度 47.4%、洞见 42.4%；GPT-6 Astra 在 Codex 框架下以 28.7% 紧随其后，预测准确度同为 47.4%，洞见仅 29.4%。人类科学家参照（以既有科学进展计，不限定四小时）为最终分 63.7%、预测 48.8%、洞见 69.7%。也就是说，头部智能体的预测能力已逼近甚至局部超过人类参照，但洞见产出不足人类一半——论文称之为预测力与理解力之间的巨大落差。值得注意的是，人类参照未做四小时匹配，对比时口径需谨慎。
失败模式与局限
定性分析给出几类反复出现的失败：一是过度聚焦预测准确度，把曲线拟合到极致却不追问机制；二是循环验证，智能体自设测试材料再自评成功，制造进步幻觉；三是不消解不确定性，停在初始观测、依赖预选假设而不设计后续实验。作者同时坦承基准局限：26 题的样本量偏小，任务路径依赖特定专家选定的研究方向，评委智能体也可能高估「表述自信」的错误结论。论文建议的改进方向是构建奖励「测试假设、消解不确定性」的强化学习环境，让模型在训练时就经历科学闭环，而不是只会预测下一个 token。
🎯 应用场景
✅ 最佳实践
- 把约束测试放在预测优化之前，违反科学规律的机制没有讨论价值。
- 用独立评委复跑机制再计洞见，避免提交方自设测试造成循环验证。
- 引用榜单时注明口径：人类参照未做时长匹配，26 题样本量有限。
🔮 未来展望
方向上，作者预期后续迭代会扩大任务规模、纳入更多发现路径，并把「洞见产出」变成模型训练目标而不仅是评测指标。若强化学习环境能奖励假设检验与不确定性消解，科学发现型智能体的评测榜单将逐步与实验自动化平台衔接。目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。