大多数 AI 智能体停在「给段代码让你自己跑」。Auten 想补上最后一块：让 Agent 真的去点你屏幕上的按钮——在没有 API 的桌面软件、手机 App 里也能干活。它和老式 RPA 不同：不靠坐标或选择器，而是读系统的无障碍树（accessibility tree），把界面元素变成带编号的按钮和输入框，Agent 按标签找、按编号点。本教程带你装好、接进 Claude Code，并学会把任务录成可重放技能。
Step 1：先理解它怎么「看」屏幕
Auten 不含模型、也不用你的 AI Key。你的 Agent 还是用原来那套模型做决策，Auten 只在本地负责「看」和「动」：
它和裸鼠标键盘桥的区别：
· 读 UI 而非像素：用无障碍树，给 Agent 一份带编号的真实元素清单
→ list_elements 拿到元素列表，click_at(3) 点第 3 个
· 无障碍信息缺失时，才用 OCR + 真实截图兜底
· 学会一次任务后，可存成 skill 重放，之后零 token 消耗
· 密码等密钥走本地路径填入，Agent 永远看不到明文它真的在动你的真机：Auten 能点、能打字、能读屏。给它「打开网银导出流水」这种指令时，它确实会去操作。务必在可信环境、对结果做人工确认，别让它「盲飞」。
Step 2：一行安装本地 Runner
Runner 是跑在你机器上的小块程序（手和眼），不需要管理员权限。按系统选一条：
# macOS / Linux（无需 sudo 即可装）
curl -fsSL https://auten.ai/install | bash
# Windows（PowerShell）
irm https://auten.ai/install.ps1 | iex
# 首次运行会让你连一个免费 Key（每月 30 分钟额度，无需绑卡）Step 3：接进 Claude Code（其他客户端同理）
装好 Runner 后，把 Auten 注册成 MCP Server。Claude Code 可以它自己连，也可以手动加：
# 方式一：让 Auten 自己连（Claude Code 下）
auten connect
# 方式二：手动加（推荐，明确可控）
claude mcp add -s user auten -- auten mcp-bridge
# 用 npx 而非本地安装时：
claude mcp add auten -- npx -y @autenai/mcp
# 验证：
claude mcp list # 应看到 auten，transport 为 stdioCursor / Codex / VS Code / Gemini 等客户端用同一 stdio 命令，只是写进各自的配置文件：
{
"mcpServers": {
"auten": {
"command": "npx",
"args": ["-y", "@autenai/mcp"]
}
}
}
# 已装本地 Runner 时，command 改为 "auten"、args 为 ["mcp-bridge"]找不到 auten 命令？用完整路径（通常在 ~/.local/bin/auten）。装完若客户端仍报找不到，重启客户端让它重新读取 MCP 配置。
Step 4：用大白话下指令，让它自己导航
不需要写坐标、不需要选择器。给目标，Agent 自己读无障碍树去完成。这是它最惊艳的地方：
# 在 Claude Code / Cursor 会话里直接说：
"打开系统设置，把夜览设为日落到日出自动开启"
"打开 Figma，把 Hero 画板导出成 PNG 到我的桌面"
"遍历邮箱里未读发票，填进记账软件"
# 手机（Android，beta，需 USB 连接）：
"在我手机上打开 Instagram，用这段文案回复最新一条私信"Step 5：把任务录成技能，零 token 重放
重复性的活，跑一次就录下来。下次直接重放，秒级完成、不再消耗模型 token；界面变了它还能自愈（只修坏掉的那一步）。
# 任务跑完后，让它存成技能：
"刚才那次导出报表做得好，存成一个叫 export-report 的技能"
# 之后只说：
"运行 export-report"
# → Auten 确定性重放，几秒完成，不调模型自愈不是万能：自愈只修「布局小变动」导致的单步失败。如果流程本身改了（换了软件、换了账号体系），还是要重新录一次。别把关键业务完全押在旧技能上不复查。
Step 6：密钥本地化 + 盲执行红线
最后一道安全闸。Auten 的设计已经把密钥留在本地，但你仍要守住使用纪律。
# 1) 密码/密钥用本地路径填入，Agent 看不到明文
# 用 fill_login 这类能力，值存在你机器上，只把"已填入"反馈给模型
# 2) 高风险动作后人工确认结果，不要一次性授权一长串操作
# 建议：每完成一个关键步骤就检查一次屏幕，而非放它连跑
# 3) 限定作用范围：只在可信机器、可信账号下启用
# 手机操作走 USB 且为 beta，先在测试机验证再上真机常见问题
| 现象 | 处理 |
|---|---|
| claude mcp list 看不到 auten | Runner 没装好或路径不对。用 which auten 找路径，把配置里的 command 换成完整路径后重启客户端。 |
| Agent 点了错误的按钮 | 多为无障碍树信息缺失。让它先 list_elements 自检元素清单，或换更具体的自然语言目标；OCR 兜底场景准确率低于无障碍树。 |
| 录好的技能某次突然失败 | 界面布局变了触发自愈；若自愈失败，手动重录该技能。不要假设旧技能永远有效。 |
| 手机端连不上 | 手机为 beta，需 USB 连接且开启对应调试。先在测试机验证流程，再用于真机。 |