一个会操作电脑的智能体想变强,最直觉的做法是换个更大的模型。但 10 月 8 日提交的一篇预印本把镜头拉到了别处:卡住这个方向的可能不是模型,而是根本没有足够多可以练的环境。作者用一条自动化流水线把这个瓶颈做了个实验。
论文叫 SoftwareGym: Scaling Computer-Use Agent Training with Diverse Synthesized Software Environments,作者六人来自上海交通大学与浙江大学,10 月 8 日提交,编号 arXiv 2610.12611,正文 26 页。
两条老路和它们的代价
论文先把做计算机使用智能体训练的两条常规路径摆开,然后指出各自的死结。
一条是搬真实软件。问题是每款原生应用都要单独做安装、集成与状态维护,成本高、可覆盖的应用类型有限,而且反复在固定软件池上训练容易诱发对具体应用的过拟合。另一条是在浏览器里造模拟环境,部署便宜、可批量生成,但交互深度和流程复杂度都不够——真实软件里那种多步、有状态、跨功能的操作,浏览器页面模拟不出来。
SoftwareGym 走的是第三条:把环境本身变成可自动生产的东西。流水线分三段。
设计阶段把最少的人工输入扩展成详细的功能规格、多套界面蓝图和对应交互方案,作者用布局原型距离和树编辑距离来控制结构多样性,避免生成的应用长得都一个样。实现阶段把设计包做成真正能跑的应用,并做源码级功能验证。评估阶段跑基于检查点的 GUI 测试,失败就引导着反复修实现。只有源码级与 GUI 两道验证都过的应用,才进训练池。
产出与结果
这条流水线合成了182 个可运行应用,覆盖 12 个软件类别,平均 GUI 任务通过率 91.5%,另建了一个 120 任务的 SoftwareGym-Bench 评测集。用这些环境收集轨迹训练模型,效果是:在完全不使用 OSWorld 应用、任务与轨迹的前提下,域外 OSWorld Pass@3 从 41.39% 提升到 56.97%,涨了 15.58 个百分点。
论文另称这个 9B 模型在 SoftwareGym-Bench 上拿到 40.0% 的 Pass@3,并超过了若干参数更大的计算机使用专用体。域外能涨这么多,是这个实验最有说服力的一处——它说明合成环境里学到的不是某一类软件的记忆,而是可迁移的交互模式。
三处该泼的冷水
先看那个最容易被误读的数字。91.5% 是环境自己的通过率,不是智能体的能力分。它来自合成流水线对自己的 GUI 测试能否跑通,用途是证明合出来的软件确实能用、不会给智能体喂一堆坏环境。它不代表生成的应用在交互深度、异常路径、真实数据脏度上接近生产软件。
第二处是技术栈。合成应用基于 Avalonia 这类跨平台界面框架,它能保证可移植和可自动构建,但也意味着对各平台原生控件的覆盖有限。真实世界的计算机使用任务里,一部分是「跟非标准界面的怪异控件较劲」,这部分能力合成环境很难给到。
第三处是流水线自身依赖了具体几款前沿闭源模型来做合成与评估。这既抬高了复现门槛,也让结论的独立性打了个折扣——用闭源模型生成环境、再用它家族的模型训练、再拿它的评测器打分,整条链上有几处是同源的。论文没有把这层依赖量化讨论。
放到更大的图景里看
值得把这篇和本站此前记过的两件事放在一起。其中一件是 2026 年 9 月那份关于计算机使用现状的综述,它的结论是计算机使用正从独立产品塌成常用产品的内置功能,Operator、Mariner、Atlas 相继退役并入 ChatGPT、Chrome、Codex;成本口径约每 agent 小时 6 到 8 美元,生产现实里它只在「机器能核验结果」的地方省事。
第二件是 OSWorld-Science 那类新基准,它的做法是不看答案对不对,改成看生成物——应用状态与产物是否符合要求。
三件事指向同一个判断:计算机使用这条线的瓶颈已经从模型能力挪到了两侧——训练侧缺可规模化的环境,验收侧缺可信的判定标准。SoftwareGym 处理的是左侧,OSWorld-Science 处理的是右侧,中间那 41% 到 57% 之间的空白,恰好是今天模型的实际水平。
对做应用团队的实操含义:如果你在训或选计算机使用智能体,把一部分预算从「试更大的模型」挪到「造更多贴近自己业务界面的环境」,大概率回报更高。尤其对那些界面高度定制的行业——通用基准分数高,不代表在你的界面上能用。合成环境流水线这条路现在门槛已经不高了,这篇论文把 182 个应用和训练代码都放了出来。
目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。