11 月 9 日提交的 arXiv 2611.12856 提出 WorkflowArena,由 Navers Lab、Einsia.AI 与清华大学的 13 位作者署名。基准含 145 道长程任务,分布在软件工程、企业运营、形式数学、法律实务、内容设计与 3D 制作等 8 个领域、17 种任务形态,形式数学 24 题、法律实务 22 题。每题给出初始工作区、公开目标与资源预算,判题器隐藏,模型看不到测试与标准答案。

145 道题,评分只看整合后的交付物软件工程 17企业运营 18科学研究 16形式数学 24金融会计 16法律实务 22内容设计 143D 制作 188 领域 · 17 种任务形态初始工作区与公开目标隐藏判题器看不到测试与标准答案来源:arXiv 2611.12856,2026-11-09
图|每道题都要求把分开做对的部件合起来才算数。

交付物由互相依赖的部件组成,分开做对却没对齐不算完成。合同组合要跨协议查出冲突,多主体合并报表要让公司间调整传导下去,3D 场景要让独立搭出的部件在空间接口上对齐。主智能体与子智能体共用 14400 秒容器墙钟,规划、调度与返工都计在内,每次委派经记录接口,轨迹里能看到何时起了工作流、每组多大。用多少子智能体不直接加分,串行单智能体路径若在时间与质量上取胜同样成立。

论文跑了 9 个模型的 25 种配置,harness 用 Claude Code 与 Codex。等权平均下 Claude Opus 5.5 配 Claude Code 的最高档解决率 36.95%、连续分 79.94,高档连续分 80.21 但解决率回落到 34.11%,没有一套配置在 8 个领域都领先。委派习惯也分叉,高档的 Claude 更少起工作流但每组工人更多,GPT 在 Codex 里起得更勤、每组更小。

谁写工作流,被拆成了独立变量Opus 5.5 写工作流较弱执行器连续分平均 +6.41GPT-6 Astra 写工作流帮助更小,还拖累 2 个执行器14400 秒共享预算规划与执行一起计时最高解决率 36.95%9 模型 25 种配置来源:WorkflowArena 项目仓库与论文表 1、表 6
图|编排耗时计入同一预算,加人不再免费。

更值得单看的是固定执行器、只换工作流作者的对照。在较难子集上,Claude Opus 5.5 写出的工作流让较弱执行器连续分平均提高 6.41 分,能力更强却不一定更会编排的 GPT-6 Astra 写的帮助更小,还拖累了两套执行器。站内 2208 号把多智能体功劳拆成单步效应与交互效应,2091 号让编排记住过去的协作,这条把谁组织工作从谁执行工作里分出来当独立变量。

项目页与 GitHub 仓库已放出,数值为作者自报。各配置的词元消耗与单次任务成本没有列出,容器规格、判题器实现细节与第三方复现结果也未在摘要中给出;25 种配置之间的算力差异如何折算成同一预算,仓库表格之外没有展开。