OSWorld（计算机操作基准）

在 OSWorld 之前，评测计算机操作能力的两条路都有明显短板：一类基准缺少可交互环境，只能做静态问答；另一类被限定在特定应用或特定网站内，无法反映真实工作流的复杂度。OSWorld 的思路是直接提供可扩缩的真实计算机环境——支持任务初始化、交互式执行与基于执行的评测，并横跨 Ubuntu、Windows、macOS 三大操作系统。

它允许研究者在不搭建应用专用模拟器的前提下定义开放式任务，这既是方法论贡献，也是它能被业界长期引用的原因。

据 NeurIPS 2024 论文，OSWorld 构建了 369 项计算机任务，涉及真实网页与桌面应用（LibreOffice 套件、Chrome、VS Code、GIMP、Thunderbird、VLC 等）、操作系统层面的文件读写，以及跨越多个应用的工作流。每项任务都附带详细的初始状态配置与自定义的执行式评测脚本，任务从可复现的虚拟机快照起步，评测在动作完成后直接检查系统真实状态——没有字符串匹配启发式，也不使用大模型充当裁判。

后续维护中，官方将任务集复核为 OSWorld-Verified 子集（约 361 项），并公开了分应用的成功与总数明细，便于横向比较。

论文中常被引用的两个数字是：人类可完成 72.36% 的任务，而当时参与评测的模型仅约 12.24%，差距约 60 个百分点。只看截图输入时，顶尖模型的成功率约在 5.26%–5.80%；多应用工作流是难度较高的类别，成功率上限约 6.57%，而系统与命令行类任务因为文本界面更易接地，表现相对较好。

论文的误差分析指出，超过 四分之三 的失败源于鼠标点击位置不准——Agent 的推理方向往往正确，却点错了像素。这不是推理失败，而是视觉-运动接地失败，也解释了为何后续提升主要来自更好的接地模型与强化学习微调。辅助功能树与 Set-of-Marks 标注能提升成绩，但收益依赖具体模型，部分情况下反而因引入无关结构造成干扰。

论文发布后的进展很快：据公开记录，Agent S（基于 GPT-4o 与分层记忆）达到 20.58%，基于强化学习的 ARPO 推升至 29.9%，Agent S3（Simular AI，2025 年）在 100 步设置下报告 62.6%，逐步逼近人类基线。

中国大陆厂商亦在该榜单留下记录：据新华网与杭州市政府门户网站 2026 年 8 月的报道，浙江实在智能的「实在Agent」在 OSWorld 主榜以 90.2% 的任务成功率登顶，为该基准自 2024 年设立以来的高点。

2026 年官方推出 OSWorld 2.0，转向长时程真实工作流：任务集为 108 项，强调状态跟踪、跨来源推理、视觉空间精度、动态环境适应与结果自校验。据第三方榜单跟踪站 BenchLM 在 2026 年 9 月 10 日的数据，OSWorld 2.0 榜首模型约为 72.6%，可见难度提升后分数曲线重新拉开——这与 OSWorld 2.0 采用更严苛的长链路评判直接相关。

OSWorld 的价值在于把 Computer-Use Agent 从演示视频变成了可比较的量化指标，并推动了「执行式评测」成为 Agent 基准的主流做法。它的分应用明细也让工程团队能定位到具体瓶颈是表格处理、图像编辑还是跨应用协同。

局限同样需要如实指出：任务分布偏向 GUI 像素级操作，一个完全跑在命令行或直接产出文本文件的 Agent 在这个基准上的成绩未必反映其真实生产价值；任务筛选存在可验证性偏置，能被脚本判定的任务更容易入选，而真实工作中大量语义模糊、判定困难的任务可能被低估；此外 369 项样本对真实工作流的长尾覆盖有限。因此解读分数时，应把它视为特定能力切片的参考，而非智能体整体能力的单一结论。

随着长时程任务与自校验要求被写入 OSWorld 2.0，计算机操作评测的重心正从「能否点对」转向「能否在数百步后仍保持目标一致并自查结果」。未来的关键方向可能包括：跨操作系统一致的任务定义、对实时变化界面的流式交互评测、面向安全边界的合规测评，以及让评测环境与真实企业软件栈更贴近。就当前而言，仍未有单一基准能完整代表智能体能否干活。