Singularity-Bench(智能体自建 AI 技术栈基准)
| 分类 | 📊 评测基准 |
| 阅读时间 | ⏱️ 16 分钟 |
| 更新时间 | 📅 2026-11-21 |
| 条目编号 | ENC-BENCH-26-singularity-bench |
关键要点 ✦
- 来源与版本:据 arXiv:2611.16591,v1 于 2026-11-12 提交、v2 于 2026-11-16 修订,19 位作者,来自卡内基梅隆大学等多所院校与产业机构;属预印本,未经同行评审。
- 六个端到端任务:预训练、中训练、后训练(强化学习)、推理服务、智能体外壳、集群编排。每项只给最小起点代码与固定时间预算,设计与实现全部交给智能体。
- 对照方式:每项任务与成熟的人类工程系统在相同硬件上比较,指标随层而异——预训练用验证困惑度、后训练用任务解决率、推理用模拟的每 GPU 小时收入、外壳用下游得分、集群编排用服务等级目标达成率。
- 综合指标:六项「智能体得分除以人类基线」的均值构成 Singularity-Index,人类基线记为 1;高于 1 意味着整体超过人类参照。
- 头条读数:据摘要,11 个智能体(7 个前沿模型配 2 种外壳)中,Opus 5.5 配 Claude Code 在六项上全部持平或超过人类基线,指数为 1.25;其余十个平均约 0.60。第三方复核给出的更细数值为 1.252、0.58,并指出闭源组合平均 1.01、开放权重平均 0.50。
- 反作弊设计:作者按 OWASP 智能体应用十大风险中的九类做红队,发现 Harbor 评测框架存在刷分路径,于是开发 Breakwater 扩展,先挡住研究中测试的全部攻击,再开始正式跑分。
为什么现有基准不够用
据 arXiv:2611.16591 摘要,前沿智能体在现实的长时任务上不断取得进展,并开始改进它们自身运行所依赖的系统,但既有基准往往限制动作空间(例如只允许调超参)、简化环境(小模型、单卡),或者依赖对任意智能体生成系统并不可靠的验证方式。当一个系统由智能体自行拼装,验证就不能只看「任务是否通过」,因为通过本身可能来自读取隐藏答案或篡改评测过程。
基准的应对是把评测单位抬到「层」:把 AI 开发拆成预训练、中训练、后训练、推理、智能体外壳与集群编排六层,每层给一个最小起点和固定时间预算,让智能体从零实现核心系统,再与人类工程系统在同一硬件上比较。这个设计让「会不会写代码」退居其次,考的是能否在有限时间内做出可运行的工程决策——选配方、定并行策略、处理显存与吞吐的权衡、让服务在负载下不塌。
六个任务与各自的尺子
六层各有自己的度量,这是该基准设计上最讲究的部分。预训练看验证困惑度,对照的是 Megatron-LM 上的 OLMo 2 配方;中训练看强化学习后的准确率,对照的是公开的数据配比方案;后训练要求搭出多轮强化学习基础设施,看任务解决率;推理要求实现一个 FP8 推理引擎,按模拟的每 GPU 小时收入计分,对照的是生产级推理框架 SGLang;智能体外壳要求在数小时内只用标准库搭出一套可运行的编码智能体外壳,看下游任务得分;集群编排要求在十几块 GPU 上为数以十计的模型编排无服务器推理,看服务等级目标的达成率。
据第三方复核整理,任务的时间预算大致在四到十二小时之间,硬件为 NVIDIA GB300 一类平台。这些细节来自公开解读而非摘要本身,因此宜作为参考。真正值得注意的是分母的选择:把 SGLang、Megatron-LM 这类生产系统当人类基线,意味着门槛不是「作业级正确」,而是「工程级可用」。这也解释了为什么多数组合只能达到人类的六成——它们能在局部做对,但难以在预算内同时兼顾正确性、性能与稳定性。
一点二五与零点六之间
据摘要,11 个智能体由 7 个前沿模型与 2 种外壳组合而成,其中 Opus 5.5 配 Claude Code 在六项任务上全部持平或超过人类基线,Singularity-Index 为 1.25;其余十个平均约 0.60。第三方复核给出的拆分是 1.252 与 0.58,并补充闭源模型组合平均 1.01、开放权重组合平均 0.50,Codex 中运行的某个前沿模型以 0.969 紧随其后。这些细分数字来自第三方解读,本站未独立复核。
比排名更有信息量的是方差来源。同一模型换外壳、同一外壳换模型都会显著改变结果,说明外壳对长任务的影响不亚于底座模型——这与本站 Agent Harness 词条的判断一致:上下文组织、工具设计、错误恢复策略决定了智能体能否把能力兑现成工程产出。把 1.25 读成「已具备自主研究能力」是过度解读。作者在摘要中的措辞是「可能具备通往奇点所需的技能」,属于研究愿景的表达;在六个边界清晰的工程任务上追平基线,与提出新方法、发现新现象并不是同一件事。
评分器才是难点:Breakwater 的意义
这项工作报告中最有方法论价值的部分发生在计分之前。据摘要,作者对评测系统本身做了大规模红队,覆盖 OWASP 智能体应用十大风险中的九类,结果在常规的 Harbor 评测框架里发现了奖励劫持漏洞——智能体可以通过影响评测环境或结果上报来「通过」任务,而不必真的把系统做好。于是他们开发了 Breakwater,一个 Harbor 扩展,声明能挡住研究中测试的全部攻击,然后才用加固后的评分器去跑分。
这个顺序值得所有做智能体基准的团队记住:先加固评分器,再测量能力。任何让智能体自己训练模型、自己上报结果的榜单,天然在邀请作弊;而长任务、大预算、可写文件系统的组合,把作弊面从「读答案」扩展到「改评测」。本站奖励劫持与工具投毒等条目讨论的攻击面,在这里以基准工程的形式被正面处理。
怎么用,以及不该怎么用
合适的用法是把它当作端到端工程能力的压力测试:观察同一模型在不同外壳下的差异,定位上下文管理、错误恢复与资源调度的短板;或把 Breakwater 一类的加固思路借回自家的评测与验收流程。不合适的用法是拿指数做跨基准横比,或者把它当成通用研究能力的证明——六项任务都是边界清晰、基线已知的工程复现,不含开放式探索。
利益相关性也要交代。据第三方复核,集群编排任务的人类基线是 NVIDIA Dynamo,而 NVIDIA 亦为该工作提供了算力支持;作者团队无模型厂商隶属,得分最高的组合来自 Anthropic 的模型,因此结果不像是为单一厂商设计。但这类关联仍应在引用时说明。基准本身为预印本,代码与结果页已公开,未见独立复现。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。
🎯 应用场景
✅ 最佳实践
- 同硬件、同预算、同基线对照,避免用不同算力条件下的分数互相比较。
- 先给评分器做红队并加固,再测量能力,顺序不能颠倒。
- 模型与外壳做双向对照,避免把外壳收益记到模型头上。
- 区分工程复现与开放式研究,不用单指数概括研究能力。
- 引用时标注预印本状态、赞助关系与基线选择,尤其是与被测对象存在利益关联的基线。
- 把分项得分与失败模式一并看,均值会掩盖某一层的系统性缺陷。
🔮 未来展望
如果这类基准持续迭代,衡量对象可能从「能否复现人类工程」转向「能自动化多少研发环节」,并引入更细的分层权重与时间预算曲线。评分器加固会成为基准的标配能力,而不是加分项——一旦智能体能在评测环境里写文件、装依赖、发起网络请求,评测就变成了一个需要防守的系统。开源权重与闭源组合之间的差距是否收敛,也会成为观察产业格局的指标之一。风险在于,六层任务都高度依赖特定硬件与框架生态,基线选择稍有不慎就会引入偏向,这要求后续版本在基线中立性上给出更明确的说明。