📖 产品简介
agent-desktop 是 Vercel Labs 于 2026 年 10 月开源的 Computer Use 工具（Apache-2.0，Rust CLI + C 库 libagent_desktop_ffi）。
与主流「截图 + 视觉模型猜坐标」路线不同，它直接读取操作系统无障碍树（macOS Accessibility API / Windows UI Automation / Linux AT-SPI），返回结构化 JSON 快照，每个可交互元素带一个 ref，智能体通过 ref 完成点击、输入、选择、滚动与窗口管理，再重新快照验证结果；ref 失效时返回 STALE_REF / AMBIGUOUS_TARGET，强制智能体重新观察而非点错行。v1.0.0 于 10 月 27 日发布并带来 Linux 支持，10 月 30 日发布 v1.0.2；通过 npm install -g agent-desktop 安装，仓库约 2.2k star。官方定位是「Computer use for AI agents」，也可作为 agent skill 挂到任意编码智能体上。
定位
读无障碍树而非截图，给任意编码智能体「电脑操作」能力
适合人群
想让编码智能体操作桌面 GUI 的开发者
构建跨平台桌面自动化智能体的团队
反感视觉模型像素漂移、追求确定性操作的场景
Vercel / fx 生态用户
支持平台
macOS、Windows、Linux、CLI / C 库
开源
是 · GitHub
✨ 核心功能
- 无障碍树快照：读 macOS / Windows / Linux 原生 UI 结构，不依赖像素匹配与视觉模型
- 确定性元素 ref：同一按钮跨调用保持同一 ref，STALE_REF / AMBIGUOUS_TARGET 促重新快照
- Rust CLI + C-ABI 动态库，可被 Python / Swift / Go / Node / Ruby 进程内调用
- 后台无头运行：多个智能体可并行操作各自光标，不抢用户焦点
- npm install -g agent-desktop；Apache-2.0 开源，附会话 JSONL 轨迹与单文件 HTML 导出
⚖️ 优缺点分析
👍 优点
- 结构化无障碍树比截图更省 token、更确定，点击不会因像素漂移而失手
- 跨平台覆盖 macOS / Windows / Linux，且提供 C 库便于嵌入自研智能体
- Apache-2.0 免费开源，安装仅需一条 npm 命令
- 可与任意编码智能体（Claude Code、Codex、OpenCode 等）组合，不绑定厂商
👎 缺点
- 需要授予辅助功能 / 屏幕录制等系统权限，无权限环境无法使用
- 快照与剪贴板读取可能包含桌面隐私内容，是官方点明的主要风险面
- 悬停、拖拽、坐标类操作能力仍弱于成熟 GUI 自动化方案
- 10 月底刚开源，生态集成与长期维护尚待观察
📊 评分详情
功能完整
8.5
易用程度
7.5
安全可靠
7.5
性价比
9.5
💬 用户评价
把截图猜坐标换成读无障碍树，Computer Use 才第一次像个可靠的开发原语，而且是免费开源的。
📝 更新日志
-
2026-10-30v1.0.2agent-desktop v1.0.2（10/30）：在 10/27 的 v1.0.0 基础上继续修补跨平台问题。v1.0.0 的主要变化是加入 Linux（AT-SPI）支持，使三大桌面平台均可由智能体经无障碍树操作；仓库同期约 2.2k star。
-
2026-10-27v1.0.0（Linux 支持）Vercel Labs 发布 agent-desktop v1.0.0（10/27）：Apache-2.0 授权的 Rust CLI + C 库，读取操作系统无障碍树为智能体提供 Computer Use 能力；本次补齐 Linux 支持，形成 macOS / Windows / Linux 全覆盖；npm install -g agent-desktop 安装。