技术解构 2026-10-22 24 分钟阅读 进阶

OpenGCUA 架构解构:把 Computer Use 的脚手架拆开,八个模型平均涨 19.6 分

阿里通义 MAI 把 GPT-6 Astra 那套闭源 Computer Use 骨架拆成两层开源件:代码执行让界面操作变成可以循环分支的程序,决策迁移把「什么时候看屏幕」从脚手架交给模型。本文拆解两处设计的消融账、增益与模型强弱反相关的含义,以及每分成本、KV 缓存与真机 token 三笔原文没有直说的账

摘要

2026 年 10 月,阿里巴巴通义 MAI 团队连续开源了两件东西:OpenGCUA(arXiv 2610.22200,10 月 15 日提交)与 MAI-Gym(arXiv 2610.20939,10 月 14 日提交)。前者是一个开放的通用计算机使用智能体(GCUA)实现,后者是把评测与在线强化学习合并到同一条流水线上的训练场。OpenGCUA 首版不发布任何模型权重,它贡献的是一把此前缺失的尺子:实现、提示词、八个前沿模型在 OSWorld-v2 上的完整评测轨迹,以及真机执行框架与跨设备 SDK 的初版。核心读数是在 OSWorld-v2 离线子集上把八个模型的平均部分得分从 45.3 抬到 64.9(+19.6 分),每任务步数平均减少 53.0%。更值得注意的是分布:涨得最多的是 GLM-5.3-Flash(+35.2)与 DeepSeek-V4.1-Flash(+29.8),涨得最少的是 GPT-6 Astra(+8.7),模型间极差从 39.1 分收敛到 18.0 分。本文拆解两处设计各自的贡献、价格轴上那道 40 倍成本换 15.2 分的账、KV 缓存与上下文压缩方向相反的两组读数,并给出四条本文推算的增量结论。

背景:Computer Use 的分水岭与一把没人能用的尺子

早期的计算机使用智能体工作方式很朴素:截一张屏幕图,模型决定点哪里,点一下,再截一张,再看,再点。每一小步都要一次模型调用,遇到弹窗、加载延迟、多窗口切换就容易被打断。2026 年这个范式发生了位移——前沿系统不再只走截图点击一条路,而是按任务在屏幕、终端、无障碍树、服务接口之间挑着走。

麻烦在于,走这条路的头部实现基本都是闭源的。GPT-6 Astra 的 Computer Use 系统,其 harness、提示词、轨迹与设备 SDK 均不公开,外界能看到演示,却无法系统性地研究任何一个设计决策。这带来的直接后果是:社区争论「脚手架到底值多少分」时,双方都没有可复现的公共基线。

OpenGCUA 的定位就是补这把尺子。它不训练新模型,而是把一整套 GCUA 实现连同八个模型的评测轨迹一起放出来,让「换一套脚手架能差多少分」这个问题首次有了可查的公共数据。

🧭 定位澄清:它是脚手架与测量工具,不是一个新模型

OpenGCUA 首版不发布任何训练好的 GCUA 检查点,团队表示 GCUA 模型在路线图上但尚未推出。已放出的模型权重只来自配套的 MAI-Gym(MAI-Gym-9B)。换句话说,本文讨论的所有提分,都是在同一批既有前沿模型权重不变的前提下,由外围工程改动带来的。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。

它是什么:两份报告、两条时间线、两种许可

OpenGCUA 全称为 Open Generalist Computer-Use Agent,技术报告编号 arXiv 2610.22200v1,提交时间为 2026 年 10 月 15 日 16 时 51 分(UTC),学科标注为计算机视觉与模式识别。作者团队署名来自阿里巴巴集团与 Alibaba Token Hub。配套报告 MAI-Gym 编号 arXiv 2610.20939,提交于 10 月 14 日,副标题为面向 GUI 智能体评测与强化学习训练的开放一体化平台。

许可分层需要单独说清楚,这是不少转述里含糊的地方:GitHub 上的实现代码采用 Apache-2.0,Hugging Face 上的 MAI-Gym-9B 权重同为 Apache-2.0;但两份技术报告正文采用的是 CC BY-NC-SA 4.0,即禁止商用演绎。想拿去做商业产品的团队,需要把代码、权重与报告文本三条线分开判断。

GCUA 的定义:把三件决定权交给模型

报告给 GCUA 下的定义是:由模型自主决定如何在可视化界面与程序化界面上观察、行动与组织工作的系统。这三件事在上一代 GUI 智能体里都写死在脚手架中,是固定规则;在新范式里被移交给模型。

每一步要决定的事上一代 GUI 智能体OpenGCUA
看什么每完成一个动作就截一张图需要时才调用截图工具
怎么动手一次一次点击或按键写一段程序,混合无障碍树、应用接口、终端命令与界面操作
怎么组织由脚手架固定顺序模型自己维护待办清单,每次动手前先说明意图

一个具体例子能说明差别。任务是照一张表格生成一批合同。老办法是模型一步步点按钮,再逐个检查文件是否生成。新做法是直接写一段 Python:先查文件是否存在,有就继续,没有就走分支,一次把二十份草稿建出来再回来汇报。中间结果直接决定下一步,不需要每一步都回模型问一次。

机制一:代码执行不是多给一个 shell

报告把代码执行列为智能体设计的关键特性:界面操作被写成代码,与读无障碍树、调应用接口、跑终端命令混在同一个程序里,程序可以有循环、分支和中间变量。这个描述的直观价值是省步数,但它与「给模型一个 shell」并不是一回事,消融把这两件事分开了。

对照设置得分变化步数变化说明
相对纯批处理 GUI 执行+15.5 至 +33.6 分减少 55.3% 至 63.1%批处理把动作序列提前写死,程序可以循环、分支与重试
相对已有 GUI 加 CLI 混合平均 +6.1 分减少 14.8%接口完全相同、同样能跑脚本,仍有增益
Qwen3.8-Max57.2 至 64.0 分减少 13.8%在已有接口条件下由控制权带来的增益
GLM-5.3-Flash55.8 至 64.9 分报告未单列八模型中涨幅最大的一款

第二行是关键。GUI 加 CLI 的混合方案已经拥有同样的接口、同样能执行脚本,换成代码执行之后仍然平均多出 6.1 分、步数再降 14.8%。这提示真正的变量不是「能不能跑命令」,而是「能不能让中间结果决定下一步」。批处理的动作序列在发起前就写死了,程序则是边跑边算。对做工程落地的团队来说,这条比总分更有指导意义:给智能体接口是必要条件,把执行控制权也交出去才是充分条件。

机制二:harness-to-model 决策迁移

第二个设计是把选定的观测决策与任务状态决策从固定脚手架规则迁移到模型侧。以前什么时候截图、什么时候检查状态由脚手架按规则触发;现在脚手架只提供工具,由模型决定用不用。

这个改动的直接收益体现在前缀缓存上。按需截图让 Qwen3.8-Max 的 KV 缓存命中率从 75.6% 升到 86.1%,DeepSeek-V4.1-Flash 从 61.9% 升到 76.3%,且分数没有下降。待办清单接口另外带来 +1.6 与 +1.8 分。

反直觉读数:省 token 的上下文手段未必省钱

报告里有一个失败的消融值得单独拎出来,因为它推翻了一条被普遍当作常识的工程经验。微压缩(micro-compaction),也就是把旧的工具输出替换成占位符以缩短上下文,是长任务里最常见的省 token 手段。在 OpenGCUA 的读数里,它把前缀缓存命中率从 75.6% 拉低到 68.6%,反而更贵。

手段对 KV 缓存命中率的影响(Qwen3.8-Max)方向
按需截图75.6% 到 86.1%,提升 10.5 个百分点正向
微压缩(旧工具输出换占位符)75.6% 到 68.6%,下降 7.0 个百分点负向
📐 本文推算:两种手段幅度相近、方向相反,说明「省 token」不等于「省钱」

按需截图提升 10.5 个百分点,微压缩拉低 7.0 个百分点,两者绝对幅度相近而方向相反。这意味着在按前缀缓存计费的推理服务上,上下文长度与推理成本之间并不是单调关系:缩短上下文会破坏可复用的前缀,而被破坏的缓存代价可能超过缩短本身省下的 token。本文据此给出一个可操作的判断——在做上下文治理之前,先量一次缓存命中率的变化,而不是先看上下文短了多少。需要说明的是,报告只给出 Qwen3.8-Max 与 DeepSeek-V4.1-Flash 两款模型的缓存读数,上述推算基于这两组数据,未覆盖全部八个模型。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。

价格轴:40 倍成本换 15.2 分意味着什么

报告单独给出了一条价格轴,这是整套读数里对工程选型最有用的一组数字。

模型OSWorld-v2 得分每任务成本平均每分成本(本文换算)
Qwen3.8-Flash60.5约 0.38 美元约 0.0063 美元
GPT-6 Astra75.7约 15.26 美元约 0.2016 美元
两者差额15.2 分约 14.88 美元边际每分约 0.979 美元
📐 本文推算:边际每分成本是领先模型平均单价的约 4.9 倍

把两款模型放在同一张表上换算:GPT-6 Astra 平均每分成本约为 15.26 除以 75.7,即约 0.2016 美元;而它相对 Qwen3.8-Flash 多出的 15.2 分,边际成本约为 14.88 除以 15.2,即约 0.979 美元每分。两者相除约为 4.86。也就是说,用领先模型去追最后这十几分,单价是它自身平均分成本的近五倍,更是 Qwen3.8-Flash 平均分成本的约 155 倍。这不代表追分不值,而是提示:在批量、高频、容错空间大的任务上,把模型换成便宜档可能是更划算的杠杆;只有在少数高分不可妥协的任务上,才值得付这笔边际单价。需要说明,成本口径源自报告 §3.3.6 的公开读数,本文只做了除法换算,未引入其他假设。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。

还有一条真机读数与价格轴互相印证但口径不同:在四台真实 Mac 上跑真实 macOS 任务时,Qwen3.8-Max 消耗的推理 token 是 GPT-6 Astra 的 19.4 倍。这个数字与离线跑分不能互相推导——离线榜单衡量做对没做对,真机 token 衡量做完这件事花了多少心思。两者放在一起看,说明同一批模型在不同口径下的效率排序并不稳定,做成本预算时不能只取一个榜单的读数。

MAI-Gym:两万个并行环境与从模拟到真机的迁移

MAI-Gym 是另一半,解决的是 GUI 智能体在线强化学习的两个老瓶颈:环境启动慢、可验证任务少。它的做法是把评测、数据采集与在线强化学习放在同一条流水线上,最多可同时开两万个环境实例,并自动合成可重置的模拟应用,配套确定性执行验证器,还能拼出跨应用的连贯场景。

项目数值说明
并行环境实例最多 20,000覆盖移动端、桌面与 Web
基准数量10 个评测与训练共用同一平台
已放出模拟应用49 个可重置,任务配可执行验证器
已验证任务2,000 个含跨应用连贯场景
MAI-Gym-9B 于 MobileWorld78.4%报告称在 10B 以下开源 GUI 智能体中表现靠前
MAI-Gym-9B 于 OSWorld-Verified76.2%与 MobileWorld 同属官方自报读数
Claude Opus 4.8 于 MobileWorld69.2%报告列出的对照项
GPT-5.5 于 MobileWorld62.4%报告列出的对照项
模拟到真机迁移28.8% 到 48.1%在模拟购票应用里训练,迁移到真机真应用

最后一行是 MAI-Gym 里价值最高的一条。在假环境里做强化学习,把模型搬到真手机上的真应用,成功率从 28.8% 提升到 48.1%。这条结论比榜单分数更耐用,因为它回答的是「模拟环境里练出来的东西能不能用」,而这正是 GUI 强化学习路线能否成立的前提。

边界:没有模型、没有第三方复现、许可分层

四层冷水需要泼清楚。其一,OpenGCUA 首版不发布 GCUA 模型权重,它是一层壳,套在别人家的模型外面,路线图上的模型尚未出现。其二,全部数字由团队自报,尚无第三方复现。其三,MAI-Gym 的框架代码在 10 月中旬的 GitHub 页面上仍标注为 coming soon,先放出来的是权重与技术报告。其四,许可分层:代码与权重为 Apache-2.0,报告正文为 CC BY-NC-SA 4.0,商用需要分开判断。

还有一个方法学上的缺口:报告给出了每个模型的提升幅度,但基线分数主要画在图里。这意味着读者能看清谁涨了多少,却不容易还原谁最终排第几。做选型时不能只看涨幅表。

工程清单:想跑起来要准备什么

按仓库公开信息,离线复现的门槛低于真机。想跑 OSWorld-v2 的离线子集,只需要代码仓库与对应模型 API。真机部分要求更高:操作系统需 macOS 14 以上,芯片需 Apple Silicon,跨设备 SDK 覆盖 macOS、Android、浏览器与 Linux,内核以 Rust 实现并外挂 Python 绑定;macOS 原生应用目前是预览版,菜单栏常驻并带浮动任务面板,支持语音下指令。

环节准备项备注
离线跑分代码仓库 + 模型 API 密钥门槛较低,可先跑 OSWorld-v2 离线集
代码接入Python 包 qwen-intelligence-sdk,导入名 qwen_intelligence仓库提供 macOS 示例
真机执行macOS 14 以上 + Apple Silicon真机框架为初版
跨设备跨设备 SDK(Rust 内核 + Python 绑定)覆盖 macOS、Android、浏览器、Linux
训练侧MAI-Gym 框架代码10 月中旬标注 coming soon,需关注仓库状态

对只想验证思路的团队,报告里两处设计是可以直接搬走的:把动作写成程序而不是批量点击序列,把观测时机交给模型而不是写死规则。这两条不需要用它的代码也能在自己的智能体里做对照实验。

冷静判断:它改变了什么,没改变什么

它真正推进的是把一层此前没人量过的东西量出来了。过去一年行业比模型、比参数、比跑分,而现在有了公开数据说明:同一批模型权重不变,换一套脚手架,平均可以多出 19.6 分、少走 53% 的步数。这 19.6 分既不属于模型公司,也不属于榜单,属于把工程细节做对的那批人。

📐 本文推算:极差收敛约 54%,说明补的是脚手架欠账而不是模型能力

八个模型的得分极差从 39.1 分收敛到 18.0 分,收敛幅度约为 53.96%。同时涨幅与模型强弱呈反向关系:GLM-5.3-Flash 涨 35.2 分,DeepSeek-V4.1-Flash 涨 29.8 分,而本来就在高位的 GPT-6 Astra 只涨 8.7 分,前两者涨幅约为后者的 4.0 倍。这两组数字合起来指向同一个判断:OpenGCUA 补的主要是弱模型外围脚手架的欠账,而不是模型本身的推理能力。对使用国产模型的团队这是明确的好消息——套上这套工程,与领先梯队的差距可以缩小一大截;但对已经处在领先档位的模型,可榨取的空间本来就小。上述收敛幅度与倍数均为本文基于公开读数的算术换算。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。

它没改变的也有几条。其一,模型权重没变,知识密集型与推理密集型任务的收益有限。其二,代码执行与 GUI 混用带来新的权限与安全问题,报告未给出完整的沙箱与权限方案,落地时必须自己补。其三,步数减少不等于成本下降,真机 token 口径与离线榜单口径可能给出相反的排序。其四,全部读数自报、无第三方复现,且报告为预印本。其五,MAI-Gym 的框架代码尚未完全放出,训练侧的可复现性目前低于评测侧。

把 OpenGCUA 与同期出现的其他地基类工作放在一起看,会发现一个共同的转向:记忆、脚手架、计算机使用、权限与访问,这四层正在被逐层拆开并单独开源。竞争重心从模型权重外移到模型外围,这件事在 2026 年下半年变得相当明确了。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。

核心发现

参考来源

  1. arXiv 2610.22200v1 —《OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use》(2026 年 10 月 15 日 16:51:35 UTC 提交,cs.CV;作者署名来自阿里巴巴集团与 Alibaba Token Hub;含 GCUA 定义、代码执行与 harness-to-model 决策迁移两项设计、OSWorld-v2 八模型提分与步数削减读数)
  2. The Agent Report —《OpenGCUA: Alibaba Shows the Harness Beats the Model on Computer Use》(10 月发布;含 45.3 到 64.9 的基线对照、步数 -53.0% 与输出 token -27.2%、分模型涨幅 GLM-5.3-Flash +35.2 / DeepSeek-V4.1-Flash +29.8 / GPT-6 Astra +8.7、极差 39.1 到 18.0、代码执行消融 +15.5 至 +33.6 与相对 GUI 加 CLI 的 +6.1、KV 缓存与微压缩读数、Qwen3.8-Flash 0.38 美元与 GPT-6 Astra 15.26 美元价格轴、MAI-Gym 的 MobileWorld 对照项)
  3. AICoder —《Alibaba Tongyi-MAI Releases OpenGCUA and MAI-Gym: Full Open Stack for Generalist Computer Use Boosts OSWorld-v2 by 19.6 Points and Cuts Steps by 53%》(10 月 17 日;含两篇 arXiv 编号、八模型平均提分、19.4 倍真机 token 效率差、MAI-Gym 两万并行与 MAI-Gym-9B 的 78.4% 与 76.2%、模拟到真机 28.8% 到 48.1%)
  4. GitHub — Tongyi-MAI/OpenGCUA 与 Tongyi-MAI/MAI-Gym 仓库公开信息(实现代码 Apache-2.0、Python 包 qwen-intelligence-sdk 与导入名 qwen_intelligence、macOS 示例、真机要求 macOS 14 以上与 Apple Silicon、跨设备 SDK 以 Rust 实现并外挂 Python 绑定、MAI-Gym 框架代码 coming soon 状态)
  5. 微信公众号技术拆解 —《阿里把 Computer Use 的脚手架开源了,8 个模型平均涨 19.6 分》(含每一步决策权对照表、49 个模拟应用与 2000 个已验证任务、报告许可 CC BY-NC-SA 4.0 与权重 Apache-2.0 的分层说明、GPT-6 Astra 步数 102 降到 34)
  6. 微信公众号综述 —《Agent 会干活了,但它还缺四层地基》(用于把 OpenGCUA 与同期记忆、脚手架、权限与访问三类开源工作放在同一坐标下对照)