背景:Computer Use 的分水岭与一把没人能用的尺子
早期的计算机使用智能体工作方式很朴素:截一张屏幕图,模型决定点哪里,点一下,再截一张,再看,再点。每一小步都要一次模型调用,遇到弹窗、加载延迟、多窗口切换就容易被打断。2026 年这个范式发生了位移——前沿系统不再只走截图点击一条路,而是按任务在屏幕、终端、无障碍树、服务接口之间挑着走。
麻烦在于,走这条路的头部实现基本都是闭源的。GPT-6 Astra 的 Computer Use 系统,其 harness、提示词、轨迹与设备 SDK 均不公开,外界能看到演示,却无法系统性地研究任何一个设计决策。这带来的直接后果是:社区争论「脚手架到底值多少分」时,双方都没有可复现的公共基线。
OpenGCUA 的定位就是补这把尺子。它不训练新模型,而是把一整套 GCUA 实现连同八个模型的评测轨迹一起放出来,让「换一套脚手架能差多少分」这个问题首次有了可查的公共数据。
OpenGCUA 首版不发布任何训练好的 GCUA 检查点,团队表示 GCUA 模型在路线图上但尚未推出。已放出的模型权重只来自配套的 MAI-Gym(MAI-Gym-9B)。换句话说,本文讨论的所有提分,都是在同一批既有前沿模型权重不变的前提下,由外围工程改动带来的。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。
它是什么:两份报告、两条时间线、两种许可
OpenGCUA 全称为 Open Generalist Computer-Use Agent,技术报告编号 arXiv 2610.22200v1,提交时间为 2026 年 10 月 15 日 16 时 51 分(UTC),学科标注为计算机视觉与模式识别。作者团队署名来自阿里巴巴集团与 Alibaba Token Hub。配套报告 MAI-Gym 编号 arXiv 2610.20939,提交于 10 月 14 日,副标题为面向 GUI 智能体评测与强化学习训练的开放一体化平台。
许可分层需要单独说清楚,这是不少转述里含糊的地方:GitHub 上的实现代码采用 Apache-2.0,Hugging Face 上的 MAI-Gym-9B 权重同为 Apache-2.0;但两份技术报告正文采用的是 CC BY-NC-SA 4.0,即禁止商用演绎。想拿去做商业产品的团队,需要把代码、权重与报告文本三条线分开判断。
GCUA 的定义:把三件决定权交给模型
报告给 GCUA 下的定义是:由模型自主决定如何在可视化界面与程序化界面上观察、行动与组织工作的系统。这三件事在上一代 GUI 智能体里都写死在脚手架中,是固定规则;在新范式里被移交给模型。
| 每一步要决定的事 | 上一代 GUI 智能体 | OpenGCUA |
|---|---|---|
| 看什么 | 每完成一个动作就截一张图 | 需要时才调用截图工具 |
| 怎么动手 | 一次一次点击或按键 | 写一段程序,混合无障碍树、应用接口、终端命令与界面操作 |
| 怎么组织 | 由脚手架固定顺序 | 模型自己维护待办清单,每次动手前先说明意图 |
一个具体例子能说明差别。任务是照一张表格生成一批合同。老办法是模型一步步点按钮,再逐个检查文件是否生成。新做法是直接写一段 Python:先查文件是否存在,有就继续,没有就走分支,一次把二十份草稿建出来再回来汇报。中间结果直接决定下一步,不需要每一步都回模型问一次。
机制一:代码执行不是多给一个 shell
报告把代码执行列为智能体设计的关键特性:界面操作被写成代码,与读无障碍树、调应用接口、跑终端命令混在同一个程序里,程序可以有循环、分支和中间变量。这个描述的直观价值是省步数,但它与「给模型一个 shell」并不是一回事,消融把这两件事分开了。
| 对照设置 | 得分变化 | 步数变化 | 说明 |
|---|---|---|---|
| 相对纯批处理 GUI 执行 | +15.5 至 +33.6 分 | 减少 55.3% 至 63.1% | 批处理把动作序列提前写死,程序可以循环、分支与重试 |
| 相对已有 GUI 加 CLI 混合 | 平均 +6.1 分 | 减少 14.8% | 接口完全相同、同样能跑脚本,仍有增益 |
| Qwen3.8-Max | 57.2 至 64.0 分 | 减少 13.8% | 在已有接口条件下由控制权带来的增益 |
| GLM-5.3-Flash | 55.8 至 64.9 分 | 报告未单列 | 八模型中涨幅最大的一款 |
第二行是关键。GUI 加 CLI 的混合方案已经拥有同样的接口、同样能执行脚本,换成代码执行之后仍然平均多出 6.1 分、步数再降 14.8%。这提示真正的变量不是「能不能跑命令」,而是「能不能让中间结果决定下一步」。批处理的动作序列在发起前就写死了,程序则是边跑边算。对做工程落地的团队来说,这条比总分更有指导意义:给智能体接口是必要条件,把执行控制权也交出去才是充分条件。
机制二:harness-to-model 决策迁移
第二个设计是把选定的观测决策与任务状态决策从固定脚手架规则迁移到模型侧。以前什么时候截图、什么时候检查状态由脚手架按规则触发;现在脚手架只提供工具,由模型决定用不用。
这个改动的直接收益体现在前缀缓存上。按需截图让 Qwen3.8-Max 的 KV 缓存命中率从 75.6% 升到 86.1%,DeepSeek-V4.1-Flash 从 61.9% 升到 76.3%,且分数没有下降。待办清单接口另外带来 +1.6 与 +1.8 分。
反直觉读数:省 token 的上下文手段未必省钱
报告里有一个失败的消融值得单独拎出来,因为它推翻了一条被普遍当作常识的工程经验。微压缩(micro-compaction),也就是把旧的工具输出替换成占位符以缩短上下文,是长任务里最常见的省 token 手段。在 OpenGCUA 的读数里,它把前缀缓存命中率从 75.6% 拉低到 68.6%,反而更贵。
| 手段 | 对 KV 缓存命中率的影响(Qwen3.8-Max) | 方向 |
|---|---|---|
| 按需截图 | 75.6% 到 86.1%,提升 10.5 个百分点 | 正向 |
| 微压缩(旧工具输出换占位符) | 75.6% 到 68.6%,下降 7.0 个百分点 | 负向 |
按需截图提升 10.5 个百分点,微压缩拉低 7.0 个百分点,两者绝对幅度相近而方向相反。这意味着在按前缀缓存计费的推理服务上,上下文长度与推理成本之间并不是单调关系:缩短上下文会破坏可复用的前缀,而被破坏的缓存代价可能超过缩短本身省下的 token。本文据此给出一个可操作的判断——在做上下文治理之前,先量一次缓存命中率的变化,而不是先看上下文短了多少。需要说明的是,报告只给出 Qwen3.8-Max 与 DeepSeek-V4.1-Flash 两款模型的缓存读数,上述推算基于这两组数据,未覆盖全部八个模型。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。
价格轴:40 倍成本换 15.2 分意味着什么
报告单独给出了一条价格轴,这是整套读数里对工程选型最有用的一组数字。
| 模型 | OSWorld-v2 得分 | 每任务成本 | 平均每分成本(本文换算) |
|---|---|---|---|
| Qwen3.8-Flash | 60.5 | 约 0.38 美元 | 约 0.0063 美元 |
| GPT-6 Astra | 75.7 | 约 15.26 美元 | 约 0.2016 美元 |
| 两者差额 | 15.2 分 | 约 14.88 美元 | 边际每分约 0.979 美元 |
把两款模型放在同一张表上换算:GPT-6 Astra 平均每分成本约为 15.26 除以 75.7,即约 0.2016 美元;而它相对 Qwen3.8-Flash 多出的 15.2 分,边际成本约为 14.88 除以 15.2,即约 0.979 美元每分。两者相除约为 4.86。也就是说,用领先模型去追最后这十几分,单价是它自身平均分成本的近五倍,更是 Qwen3.8-Flash 平均分成本的约 155 倍。这不代表追分不值,而是提示:在批量、高频、容错空间大的任务上,把模型换成便宜档可能是更划算的杠杆;只有在少数高分不可妥协的任务上,才值得付这笔边际单价。需要说明,成本口径源自报告 §3.3.6 的公开读数,本文只做了除法换算,未引入其他假设。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。
还有一条真机读数与价格轴互相印证但口径不同:在四台真实 Mac 上跑真实 macOS 任务时,Qwen3.8-Max 消耗的推理 token 是 GPT-6 Astra 的 19.4 倍。这个数字与离线跑分不能互相推导——离线榜单衡量做对没做对,真机 token 衡量做完这件事花了多少心思。两者放在一起看,说明同一批模型在不同口径下的效率排序并不稳定,做成本预算时不能只取一个榜单的读数。
MAI-Gym:两万个并行环境与从模拟到真机的迁移
MAI-Gym 是另一半,解决的是 GUI 智能体在线强化学习的两个老瓶颈:环境启动慢、可验证任务少。它的做法是把评测、数据采集与在线强化学习放在同一条流水线上,最多可同时开两万个环境实例,并自动合成可重置的模拟应用,配套确定性执行验证器,还能拼出跨应用的连贯场景。
| 项目 | 数值 | 说明 |
|---|---|---|
| 并行环境实例 | 最多 20,000 | 覆盖移动端、桌面与 Web |
| 基准数量 | 10 个 | 评测与训练共用同一平台 |
| 已放出模拟应用 | 49 个 | 可重置,任务配可执行验证器 |
| 已验证任务 | 2,000 个 | 含跨应用连贯场景 |
| MAI-Gym-9B 于 MobileWorld | 78.4% | 报告称在 10B 以下开源 GUI 智能体中表现靠前 |
| MAI-Gym-9B 于 OSWorld-Verified | 76.2% | 与 MobileWorld 同属官方自报读数 |
| Claude Opus 4.8 于 MobileWorld | 69.2% | 报告列出的对照项 |
| GPT-5.5 于 MobileWorld | 62.4% | 报告列出的对照项 |
| 模拟到真机迁移 | 28.8% 到 48.1% | 在模拟购票应用里训练,迁移到真机真应用 |
最后一行是 MAI-Gym 里价值最高的一条。在假环境里做强化学习,把模型搬到真手机上的真应用,成功率从 28.8% 提升到 48.1%。这条结论比榜单分数更耐用,因为它回答的是「模拟环境里练出来的东西能不能用」,而这正是 GUI 强化学习路线能否成立的前提。
边界:没有模型、没有第三方复现、许可分层
四层冷水需要泼清楚。其一,OpenGCUA 首版不发布 GCUA 模型权重,它是一层壳,套在别人家的模型外面,路线图上的模型尚未出现。其二,全部数字由团队自报,尚无第三方复现。其三,MAI-Gym 的框架代码在 10 月中旬的 GitHub 页面上仍标注为 coming soon,先放出来的是权重与技术报告。其四,许可分层:代码与权重为 Apache-2.0,报告正文为 CC BY-NC-SA 4.0,商用需要分开判断。
还有一个方法学上的缺口:报告给出了每个模型的提升幅度,但基线分数主要画在图里。这意味着读者能看清谁涨了多少,却不容易还原谁最终排第几。做选型时不能只看涨幅表。
工程清单:想跑起来要准备什么
按仓库公开信息,离线复现的门槛低于真机。想跑 OSWorld-v2 的离线子集,只需要代码仓库与对应模型 API。真机部分要求更高:操作系统需 macOS 14 以上,芯片需 Apple Silicon,跨设备 SDK 覆盖 macOS、Android、浏览器与 Linux,内核以 Rust 实现并外挂 Python 绑定;macOS 原生应用目前是预览版,菜单栏常驻并带浮动任务面板,支持语音下指令。
| 环节 | 准备项 | 备注 |
|---|---|---|
| 离线跑分 | 代码仓库 + 模型 API 密钥 | 门槛较低,可先跑 OSWorld-v2 离线集 |
| 代码接入 | Python 包 qwen-intelligence-sdk,导入名 qwen_intelligence | 仓库提供 macOS 示例 |
| 真机执行 | macOS 14 以上 + Apple Silicon | 真机框架为初版 |
| 跨设备 | 跨设备 SDK(Rust 内核 + Python 绑定) | 覆盖 macOS、Android、浏览器、Linux |
| 训练侧 | MAI-Gym 框架代码 | 10 月中旬标注 coming soon,需关注仓库状态 |
对只想验证思路的团队,报告里两处设计是可以直接搬走的:把动作写成程序而不是批量点击序列,把观测时机交给模型而不是写死规则。这两条不需要用它的代码也能在自己的智能体里做对照实验。
冷静判断:它改变了什么,没改变什么
它真正推进的是把一层此前没人量过的东西量出来了。过去一年行业比模型、比参数、比跑分,而现在有了公开数据说明:同一批模型权重不变,换一套脚手架,平均可以多出 19.6 分、少走 53% 的步数。这 19.6 分既不属于模型公司,也不属于榜单,属于把工程细节做对的那批人。
八个模型的得分极差从 39.1 分收敛到 18.0 分,收敛幅度约为 53.96%。同时涨幅与模型强弱呈反向关系:GLM-5.3-Flash 涨 35.2 分,DeepSeek-V4.1-Flash 涨 29.8 分,而本来就在高位的 GPT-6 Astra 只涨 8.7 分,前两者涨幅约为后者的 4.0 倍。这两组数字合起来指向同一个判断:OpenGCUA 补的主要是弱模型外围脚手架的欠账,而不是模型本身的推理能力。对使用国产模型的团队这是明确的好消息——套上这套工程,与领先梯队的差距可以缩小一大截;但对已经处在领先档位的模型,可榨取的空间本来就小。上述收敛幅度与倍数均为本文基于公开读数的算术换算。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。
它没改变的也有几条。其一,模型权重没变,知识密集型与推理密集型任务的收益有限。其二,代码执行与 GUI 混用带来新的权限与安全问题,报告未给出完整的沙箱与权限方案,落地时必须自己补。其三,步数减少不等于成本下降,真机 token 口径与离线榜单口径可能给出相反的排序。其四,全部读数自报、无第三方复现,且报告为预印本。其五,MAI-Gym 的框架代码尚未完全放出,训练侧的可复现性目前低于评测侧。
把 OpenGCUA 与同期出现的其他地基类工作放在一起看,会发现一个共同的转向:记忆、脚手架、计算机使用、权限与访问,这四层正在被逐层拆开并单独开源。竞争重心从模型权重外移到模型外围,这件事在 2026 年下半年变得相当明确了。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。