能力评测 2026-10-14 23 分钟阅读 进阶

Atria Dawn Preview 智能体基准横评

官方表里 5 项最高分,放进全库对照只剩 3 项 — 一份 744B 开源智能体模型的分数解剖与「同表对手」效应

摘要

上海人工智能实验室于 2026 年 9 月中旬开源了 744B 参数 MoE 智能体模型 Atria Dawn Preview,MIT 协议覆盖权重与代码,官方模型卡一次性公布 16 项基准成绩,其中 5 项为同表最高分。本文逐项核对这 16 项自报分数,并将其与第三方榜单聚合库中的「全库最佳已验证值」对照,发现真正仍领先的只有 3 项;在编码与多轮工具对话两项上,差距分别达到 30.3 分与 54.8 分。我们同时拆解其 Verifiable Experience Pipeline 训练方法与论文中的人机分工数据,并给出这份成绩单的正确读法。

背景:一次反常的发布顺序

前沿模型的标准发布流程通常是先发论文或先开发布会,权重后至。Atria Dawn Preview 反过来走。按公开记录排出的时间线是:GitHub 上的 atria-asi/Atria-Dawn-Preview 仓库建于 9 月 12 日,技术论文《Atria Dawn: The Dawn of Agentic Superintelligence》于 9 月 14 日提交 arXiv,权重则在 9 月 15 日推送至 Hugging Face 与 ModelScope,前后三天完成。

这个顺序本身就是一种声明:这是一次权重优先的分发,而不是一次服务发布。模型卡上没有挂托管服务商,官方提供的是区域 API 控制台与本地部署两条路。对使用者而言,这意味着你需要自己承担推理成本——这既是自主权的来源,也是门槛的来源。

规格与可得性:744B、MIT、756GB 起步

项目 参数 备注
参数规模 744B MoE,每 token 约激活 40B 基座为 GLM-5.2(由 Z.ai 提供)
上下文窗口 256K(官方模型卡标注) 另有媒体口径称 1,048,576 token,与官方卡不一致,已在下文辨析
输入模态 纯文本,不支持图像 Codex 接入说明中明确返回「非多模态模型」错误
开源协议 MIT,覆盖代码与权重 商用、修改、再分发均无限制
BF16 权重 353 个文件,合计约 1506.7GB safetensors 格式
FP8 权重 177 个文件,约 755.6GB 量化后存储需求减半
API 兼容 Chat Completions / Messages / Responses 可直接对接 Codex 与 Claude Code 形态的客户端
发布时间线 9/12 建库 → 9/14 论文 → 9/15 权重 Preview 标识,未公布稳定版与定价计划
⚠️ 上下文长度的口径冲突

官方 ModelScope 模型卡对 BF16 与 FP8 两个权重均标注上下文为 256K;但部分英文媒体报道称其为 1,048,576 token 窗口。两者相差四倍,且均未给出进一步说明。在官方未澄清前,稳妥的做法是以模型卡的 256K 为准,并把 1M 视为待证实的媒体口径。这类冲突在大模型发布初期相当常见,引用时务必注明来源层级。

官方 16 项基准逐项核对

官方模型卡把 Atria Dawn Preview 与 DeepSeek V4 Pro 0813、KIMI K3、Qwen 3.8 Max、GLM 5.3、GPT-5.6 Sol、Claude Opus 5 放在同一张表里,覆盖发现、创造、工具使用、交付与网络安全五类能力。下表摘取其中关键行(分数均为官方自报):

能力类别 基准 Atria Dawn Preview 同表最佳对手 是否同表最高
发现能力 DeepSearchQA 96.0 KIMI K3 95.9 是
发现能力 BrowseComp 92.5 GPT-5.6 Sol 92.2 是
发现能力 WideSearch 81.9 GLM 5.3 82.7 否
发现能力 DeepResearch Bench II 51.1 Claude Opus 5 54.1 否
创造能力 MLE-bench Lite 86.2 GPT-5.6 Sol 88.9 否
创造能力 SWE-bench Pro 59.6 Claude Opus 5 74.7 否(落后 15.1)
创造能力 Terminal-Bench 2.1 78.3 Qwen 3.8 Max 89.3 否(落后 11.0)
工具使用 BFCL v4 77.0 GLM 5.3 74.1 是
工具使用 AutomationBench 53.8 Qwen 3.8 Max 49.7 是
工具使用 SkillsBench 66.4 Qwen 3.8 Max 66.7 否(落后 0.3)
工具使用 τ³-Bench Banking 41.2 Qwen 3.8 Max 55.2 否(落后 14.0)
交付能力 Workspace-Bench 65.0 Claude Opus 5 65.8 否(落后 0.8)
交付能力 GDPval 1583 Claude Opus 5 1768 否
交付能力 JobBench 50.3 Claude Opus 5 68.0 否(落后 17.7)
网络安全 CyberGym 86.5 GLM 5.3 84.5 是

读这张表能得出一个相当清晰的形状:拿下的 5 项全部集中在深度搜索、函数调用、办公自动化与网络安全;失手的地方同样整齐——终端里的长程工程任务、多轮严格的工具对话、以及结构化文书交付。有几项输在最后一哩,SkillsBench 差 0.3 分、Workspace-Bench 差 0.8 分;也有输得明确的,τ³-Bench Banking 差了 14 分。

放进全库:为什么 5 项最高分只剩 3 项

以上是官方表内部的比较。但「同表最高」只说明它比表里的 6 个对手强,不等于它在整个模型库里领先。第三方榜单聚合库 BenchLM 的做法是给每个分数标注来源状态(已验证 / 暂定),并把它与目录内所有已验证结果中的最佳值相比。切换参照系之后,结论发生了明显变化。

基准 Atria Dawn Preview 全库最佳已验证值 差距 是否仍为最佳
BrowseComp 92.5 Atria Dawn Preview 92.5 0 是
DeepSearchQA 96.0 Atria Dawn Preview 96.0 0 是
MLE-Bench Lite 86.2 Atria Dawn Preview 86.2 0 是
AutomationBench 53.8 DeepSeek V4.1 Flash 54.8 -1.0 否
BFCL v4 77.0 BTL-3 88.5 -11.5 否
CyberGym 86.5 MiMo-V2.6-Flash 95.1 -8.6 否
SWE-bench Pro 59.6 Claude Opus 5.5 89.9 -30.3 否
Terminal-Bench 2.1 78.3 SWE-2 92.8 -14.5 否
τ³-Bench(工具-智能体-用户) 41.2 Mercury 2.5 96.0 -54.8 否
JobBench 50.3 Muse Wonder Full 75.3 -25.0 否
SkillsBench 66.4 Qwen3.8 Max 70.2 -3.8 否
WideResearch 81.9 Hy4 preview 83.9 -2.0 否
🔍 同表对手效应

官方表里的 5 项最高分,在全库对照下只有 3 项仍然成立——BrowseComp、DeepSearchQA 与 MLE-Bench Lite。AutomationBench 与 BFCL v4 的领先被同表之外的对手反超,CyberGym 落后 8.6 分。这不是数据错误,而是参照系选择造成的差异:任何一张自制的对比表,都天然地只呈现被选中的那几个对手。读到「某基准最高分」时,先问一句「跟谁比」。

需要说明的是,BenchLM 自身也是一家第三方聚合站,其「已验证」指的是分数附带可核对的原始来源记录,而非它自己复跑过。它的价值在于把参照系从厂商自选的一组对手,换成了目录内所有可溯源的结果。数据验证日期标注为 2026 年 10 月 13 日,该站追踪 27 个智能体基准、收录 86 款模型。

Verifiable Experience Pipeline 是什么

模型卡与论文把训练方法称为 Verifiable Experience Pipeline(可验证经验流水线)。核心主张是把智能体交互重构为马尔可夫决策过程的状态转移,并把每条轨迹绑定到一个可执行环境与外部校验的结果,而不是依赖模型自评。

这个设计与它的能力形状高度一致:在搜索、函数调用、自动化这类「结果可以被程序判定对错」的领域,可验证奖励最容易规模化,分数也最亮眼;而在结构化文书交付、多轮谈判式工具对话这类评判标准模糊的领域,可验证信号难以构造,分数也恰好落在后面。换句话说,训练方法决定了能力分布,成绩单是方法的投影。

论文里的人机分工数据

技术论文中有一段较少被引用、但对我们判断智能体真实作用更有用的数据:研究团队分析了开发期间 56 名参与者产生的 769 条任务记录,结果显示——

这三个数字放在一起勾勒出的不是「智能体替代人」,而是「智能体提供方案候选、人类保留裁决」的协作形态。AI 贡献了大部分提案,但绝大多数拍板仍由人完成;同时有相当比例的任务在没有 AI 时根本不会被尝试。对 evaluators 来说,这提示基准分数之外还应当测量「任务被发起的门槛是否被降低」这一维度。

读榜方法论:三道检查

  1. 先问参照系。「最高分」是相对哪一组对手?把分数放进全库已验证值中重新比较,结论可能翻转——本文的 5 项变 3 项就是实例。
  2. 再问来源层级。厂商模型卡、第三方聚合站、独立复现,三者可信度依次上升。Atria Dawn Preview 的 16 项分数目前全部为官方自报,尚无独立第三方复测。
  3. 最后看能力形状而非总分。聚合站给出的智能体综合分(BenchLM 标注该模型为 92.5,数据验证日 2026-10-13)由少数几个核心基准加权得出,会掩盖分项差异。选型时应回到分项表,对照自己的任务类型。

局限与冷静判断

综合来看,Atria Dawn Preview 是一份能力形状非常鲜明的开源智能体模型:深度搜索、工具调用与网络安全处于头部阵营,长程工程编码与严格多轮工具对话则明显是闭源前沿的主场。它的真正价值或许不在于刷新了哪一行分数,而在于用 MIT 协议把 744B 级别的智能体权重完整地交到使用者手上——这让「能不能自己跑一套长程研究智能体」从采购问题变成了算力问题。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。

核心发现

参考来源

  1. ModelScope — Atria Dawn Preview 官方模型卡:16 项基准评估表、权重规格与上下文长度(上海人工智能实验室)
  2. Hugging Face — atria-asi/Atria-Dawn-Preview 仓库与 MIT 授权说明
  3. arXiv — 《Atria Dawn: The Dawn of Agentic Superintelligence》技术论文(2026.09.14 提交)
  4. BenchLM — Atria Dawn Preview Benchmarks & Context(2026.10 数据验证,含全库最佳已验证值对照)
  5. BenchLM — LLM Agent Benchmarks (October 2026):27 Agentic Evals Ranked(数据验证日 2026.10.13)
  6. Pandaily — Shanghai AI Lab Releases Atria Dawn Preview, a 744B MoE Agentic Model
  7. TechMoon 科技月球 — Atria Dawn Preview 開源 Agent 模型,5 項基準拿下最高分(2026.09)
  8. andrew.ooo — Atria Dawn vs DeepSeek V4 Pro vs GLM-5.3 vs Kimi K3 规格与定价对照(2026.09.16 验证)