背景:机器人编程的失败信号太贵
软件智能体这两年能快速进步,有一个容易被忽略的前提:执行反馈几乎免费。编译器报错、测试挂掉、lint 不过,这些信号在一两秒内返回,而且精确指向出问题的那一行。于是「写代码—跑—看错误—再改」这条回路可以廉价地跑上几百轮,Claude Code、Codex CLI 这类工具的智能体化也建立在这个前提上。
机器人领域没有这个前提。一次抓取失败,可能出在视觉识别认错了物体、抓取点算偏了、运动规划给出了一条走不通的轨迹、夹爪力度不对,也可能纯粹是现场光照变了。这些环节串在一条链上,最终呈现出来的却是同一个画面:机械臂伸过去,杯子掉了。反馈昂贵、缓慢、且高度模糊——机器人站着不动的每一分钟都在烧电、烧磨损、烧实验窗口。
传统机器人学习的应对办法是回到权重:强化学习或模仿学习,需要 GPU 集群、仿真重放、reward 工程,训练出的策略又很难跨任务、跨本体迁移。ASPIRE 给出的答案反了过来——既然反馈昂贵,那就把每一次失败榨干,让失败变成一条可以读、可以查、可以写进知识库的文本。
按项目 README 的原话,ASPIRE 是一种新的持续学习:「训练」是技能精炼而不是梯度下降,「训练好的模型」是一个感知运动技能仓库而不是一堆浮点权重,「分布式训练」是一组各练一项技能的智能体而不是分片的 minibatch。理解这一点之后,后面所有的设计取舍——为什么强调轨迹可读、为什么技能必须是文本、为什么模型升级能直接带来分数跳变——就都连起来了。
ASPIRE 是什么:三个组件构成的开放学习回路
论文作者来自 NVIDIA 与密歇根大学、伊利诺伊大学厄巴纳-香槟分校、加州大学伯克利分校、卡内基梅隆大学,项目由 Runyu Lu、Yubo Wu、Ethan Kou、Haotian Lin 等人并列贡献,Yuke Zhu、Linxi「Jim」Fan、Guanzhi Wang 共同担任项目负责人。Fan 与德州大学奥斯汀分校教授 Yuke Zhu 共同领导 NVIDIA 的 GEAR(Generalist Embodied Agent Research)实验室,这也解释了项目为何如此强调「在行动中学习」——Fan 此前的 MineDojo、Voyager、Eureka 都在这条线上。
整个系统由三个组件咬合成一个开放回路:
| 组件 | 做什么 | 关键设计 |
|---|---|---|
| 闭环执行引擎 | 执行机器人控制程序,并把细粒度多模态轨迹暴露出来 | 轨迹包含感知叠加、抓取候选、运动轨迹、碰撞反馈,供智能体自主诊断失败、合成修复并验证结果 |
| 持续扩张的技能库 | 把验证通过的修复蒸馏成模块化、可迁移的机器人知识 | 以文本形式保存,作为后续任务的上下文指导被检索出来 |
| 进化搜索 | 生成多样化的任务序列与控制程序 | 通过迭代调试与并行精化,跳出单条轨迹的自我改良 |
三者的关系是:执行引擎负责产生可信的失败证据,技能库负责把修复沉淀下来,进化搜索负责保证不困在局部最优的那一条轨迹里。缺任何一环,回路都会退化——只有引擎和技能库,容易在单一解法上反复打磨;只有引擎和搜索,经验不会跨任务累积。
闭环执行引擎:把失败做成可读的多模态轨迹
ASPIRE 采用代码即策略(code-as-policy)范式:智能体写的不是神经网络,而是一段调用感知、规划与控制原语的程序。这个选择不是为了优雅,而是为了可诊断——程序可以被读、被 diff、被回滚,这是文本形态相对权重的根本优势。
关键在于执行引擎要暴露到什么粒度。按官方描述,轨迹里包含四类信息:感知叠加(模型「看到」的是什么)、抓取候选(它打算抓哪里)、运动轨迹(它规划了什么路径)、碰撞反馈(物理上哪里没走通)。这四类信息恰好对应机器人操作链条上最容易出错的四个环节,因此一次失败不再是「没抓起来」这样一个黑箱结论,而是可以被定位到某一环。
举个官方任务展示里的例子:从柜子里取书放到低矮搁板下,基线程序的做法是抓住书直接往里塞,卡住;ASPIRE 修复后的行为是先放手、再推。另一例是推盘子,修复版先清掉周围杂物再推,而不是硬推。这些修复不是靠提示词让模型「更小心」,而是智能体读到碰撞反馈后改写了程序。
技能库:验证过的修复如何变成可检索的上下文
技能库是整套设计里最值得单独说的一层。它的输入是「验证通过的修复」,输出是「可被检索出来作为上下文指导的文本」。注意这两个限定:必须是验证通过的(未经检验的猜测不入库),必须是文本(人可以读、可以 review、可以进 Git 做版本管理)。
官方技能库展示页列出的条目规模是 90 多个技能、150 多个任务,覆盖真实机器人、BEHAVIOR-1K、LIBERO 与 Robosuite 四类来源。技能的组织方式按场景成组,例如真实双臂机器人的「CaP 工具用法」、魔方的「扫描—规划—执行转层」、BEHAVIOR-1K 的「抓取模式」「观察—行动—验证循环模式」「导航模式」。从命名可以看出,这些技能沉淀的大多是程序级的经验:怎样验证一次抓取是否成功、怎样组织双臂的交替与位姿、怎样从多个角度重试接近。
官方在 Limitations 里明确写了:技能库目前「优先保存经过验证的可复用修复,但并未完全解决长期记忆管理」,随着库增大,部分条目会变得陈旧、过于具体、冗余,甚至对新任务产生误导。这与软件智能体领域正在讨论的记忆问题高度同构——存得下不等于用得好,检索到的旧经验可能是噪声。ASPIRE 没有回避这一点,但也没有给出解法。
进化搜索:不只在一条轨迹上打补丁
单次轨迹的迭代调试有一个已知的失效模式:智能体会沿着最初那条错误路线的附近打转,改了参数却没改思路。ASPIRE 的应对是引入进化搜索——生成多样的任务序列与控制程序变体,并行精化,再择优留存。
这一层的代价也很直白:官方把它列进 Limitations,称「调试与进化搜索回路在每个任务上消耗大量 LLM 调用与 rollout,要扩大规模需要更便宜的推理或更高采样效率的搜索」。换句话说,ASPIRE 用 token 换机器人时间的策略,在机器人时间极贵时成立,在 token 预算紧张时未必划算。这也解释了为什么官方要专门给出「模型—成本—成功率」前沿图,并指出能力领先的模型并不是定价最高的那个。
代码即策略与 MCP 动作契约
工程实现上,ASPIRE 把仿真与真机两套工作流都打包成了智能体技能,分别放在 .claude/skills 与 .codex/skills 目录下,核心两个技能是 iterative-debugging(迭代调试)与 evosearch(进化搜索)。真机部分另由 AGENTS.md 承载 System 2 操作员规则,与仿真流程隔离——仿真智能体被明确要求不得触碰真实硬件相关的代码与指令。
真机侧的动作层通过 MCP 暴露,工具名形如 mcp__cap__*。官方给出的动作契约包括四类底层动作:cap_move_to_pose(笛卡尔位姿运动)、cap_move_synchronized(双臂同步运动)、cap_move_to_joints(六关节弧度目标)、cap_set_gripper(夹爪开合,0 闭合到 1 张开)。位姿为绝对值,包含以米为单位的位置、坐标系,以及 rpy_deg 或 quaternion_wxyz 二者之一;姿态采用固定轴 XYZ 约定。
契约里还有几条值得注意的硬约束:启用 cuRobo 时指定 mink 逆解与 curobo 轨迹规划器;不得为了让规划通过而关闭碰撞检测;不得用直接关节运动来充当隐式逆解或绕过失败的笛卡尔规划。这类约束的意义在于,把「安全边界」写进工具接口而不是写进提示词——这正好呼应了近期评测研究中「状态约束必须在 harness 层强制,提示词规则几乎改变不了失败率」的结论。
模型缩放实验:15% 到 99% 说明了什么
官方在固定环境、机器人编程接口与评测协议的前提下,横比了 GPT-6 Astra、Claude Opus 5.5、Claude Sonnet 5.5、Claude Fable 5.1 以及 Kimi K3、Qwen3.8 Max 等开源权重模型。在 10 项 LIBERO-Pro 任务上,成功率从 GPT-6 Luna 驱动的 15% 提升到 Claude Opus 5.5 驱动的 99%;项目同时给出成本—成功率前沿曲线,说明强模型并不等于贵模型。
Jim Fan 在 10 月 16 日的公开发布中提到,OpenAI 发布 GPT-6 Astra 当天团队换掉后端模型,一夜之间多个机器人基准被推到接近满分:LIBERO-Pro 的 80 项任务成功率 99%,Robosuite 的 7 项代表性任务与 BEHAVIOR-1K 的 2 项代表性任务全部 100%。他同时表示 Claude Opus 5.5 在该团队的机器人仿真基准上略微优于 Astra,而 Sonnet 5.5 达到了约每任务 12 美元的成本—能力折中点。需要说明的是,这些是团队自报结果,不是 ASPIRE 的公开定价。
| 读数 | 数值 | 口径 |
|---|---|---|
| 80 项 LIBERO-Pro 任务平均成功率 | 99% | Claude Opus 5.5 驱动,官方项目页与 GitHub 说明 |
| 10 项 LIBERO-Pro 子集 | 15%(GPT-6 Luna)→ 99%(Claude Opus 5.5) | 固定环境与评测协议下的模型缩放对照 |
| 代表性 Robosuite / BEHAVIOR-1K 任务 | 100% | 官方称为「代表性任务」,非全量;且结果区注明 Opus 5.5 未参与 BEHAVIOR-1K 评测,与首页表述存在差异 |
| 跨三个基准的 Opus 5.5 表现 | 97%–100% | README 表述为「在每项任务上」 |
| 相对既有方法的提升 | 扰动下操作任务最高 77%;Robosuite 双臂交接 72%;长程家务任务最高 32% | 论文自报,对比对象为 VLA 与编码智能体基线 |
| 零样本迁移到未见长程任务 | 31%(既有方法 4%) | 官方指出对比方法高度依赖测试时推理与重试 |
关于 99% 这个数字,有两点必须讲清。其一,它是仿真基准上的成绩,评测环境与机器人编程接口都是固定的,不等于一台通用机器人在开放物理环境里能完成 99% 的任务。其二,官方项目页内部存在一处口径不一致:首页概述称 Opus 5.5 在代表性 Robosuite 与 BEHAVIOR-1K 任务上达到 100%,而主结果区的注脚写明 Opus 5.5 未参与 BEHAVIOR-1K 评测。本文无法判定哪一处为准,故并列呈现。
真机那本账:魔方三集与 token 降 82%
相比仿真里的 99%,真机数据更能说明这套方法的经济性。官方展示的在线真机学习案例是解魔方:三次尝试中,首次未解出,系统从失败中积累了技能;第二、三次成功解出。按公开转述,单次转面耗时从约 17 分钟降到约 3 分钟,提升约 5 倍;每次转动的 token 消耗从 11.3M 降到 2.0M,降幅约 82%。
| 指标 | 首次尝试 | 后续尝试 | 变化 |
|---|---|---|---|
| 任务结果 | 未解出 | 第二、三次解出 | 失败经验转为技能入库 |
| 单次转面耗时 | 约 17 分钟 | 约 3 分钟 | 约 5 倍提速 |
| 每次转动 token | 11.3M | 2.0M | 下降约 82% |
这里有一条官方主动披露的边界:魔方场景中,转动步序由符号求解器计算,智能体负责的是感知、抓取与转动的执行层。也就是说,它解决的不是「怎么解魔方」,而是「怎么让机器人把解法执行出来」。这个区分很关键——它划出了文本技能的能力范围:擅长纠正程序级错误(抓取点偏了、路径走不通、双臂调度冲突),不擅长解决物理级不确定性(抓取打滑、传感器噪声)。NVIDIA 自己也称 ASPIRE 还不是完全自主的现实世界学习者,这正是对这一边界的确认。
另一条真机证据是跨本体的仿真到真实迁移:长程桌面清理任务在仿真中用 Claude Opus 4.6 发现技能,在真机上用 GPT-5.5 执行。官方表示,配备 ASPIRE 技能后,编程智能体达到首次成功所需的 token 更少,且生成代码在留出测试上的成功率更高。
路线对照:VLA、CaP-Agent0 与此前的智能体先行者
把 ASPIRE 放进 2026 年的坐标系里,能看到三条并行的路线。视觉—语言—动作(VLA)模型把感知到动作端到端压进权重,优点是推理快,代价是每换一类任务或本体就得重新训练。代码即策略的朴素版本(论文中的 CaP-Agent0 基线)让模型为每个测试种子重新生成程序,依靠测试时推理与重试,代价是不累积经验。ASPIRE 介于两者之间:权重不动,程序可写可读,经验以文本技能跨任务、跨本体复用。
| 维度 | VLA 端到端策略 | CaP-Agent0 式编码智能体 | ASPIRE |
|---|---|---|---|
| 知识存放位置 | 模型权重 | 每次重新生成 | 文本技能库 |
| 跨任务复用 | 需再训练或微调 | 无 | 检索已有技能作为上下文 |
| 可审计性 | 低 | 中(有代码但无沉淀) | 高(文本技能可 review、可版本管理) |
| 单次任务成本 | 推理成本低,训练成本高 | 推理成本高,无摊薄 | 前期搜索昂贵,后续摊薄 |
| 主要短板 | 迁移与新增任务代价 | 重复踩坑 | 依赖前沿模型、技能库会陈旧 |
与软件智能体领域的对照同样清晰:编码领域的核心循环是「智能体 + 廉价精确的执行反馈(编译器、测试、lint)」,ASPIRE 把反馈源换成了执行痕迹加真机重测——反馈更贵更慢,但闭环结构完全一致。谁能让物理世界的失败信号变便宜,谁就能吃到具身领域的 harness 红利;ASPIRE 用轨迹分析加技能复用把真机迭代成本砍下来,正是这个逻辑。
官方自己列出的五条限制
ASPIRE 的项目页专设 Limitations 一节,这在开源机器人项目里并不常见,值得逐条摘录:
- 尚不是完全自主的现实世界学习者。真实部署仍需要可靠的成功检测、安全复位、安全监控与标定。
- 依赖冻结的前沿大模型。论文基于 Claude Opus 4.6,团队尚未验证更小或更弱的模型能否维持调试回路。
- 受限于预定义的原语接口。固定的感知、规划与控制原语集合让调试安全可控,但也限制了可表达的行为。
- 长期记忆管理未完成。技能库优先保存验证过的可复用修复,但随着库增大,条目可能陈旧、过于具体、冗余,或在新任务上产生误导。
- 搜索回路算力密集。调试与进化搜索在每个任务上消耗大量 LLM 调用与 rollout,规模化需要更便宜的推理或更高采样效率的搜索。
这五条里有三条指向同一个方向:这套方法的上限由「前沿模型 + 文本经验管理」共同决定,而后者恰恰是尚未解决的部分。
工程落地清单与四条避坑
按官方 README,跑通 LIBERO-Pro 仿真需要准备 CUDA、uv,以及用于获取 SAM3 门控权重的 Hugging Face token;工作流已封装为 Claude Code 与 Codex 的技能,理论上用一条提示就能让编码智能体跑完十项任务的快速入门。真机部分独立,需遵循 AGENTS.md 的操作员规则并单独授权。
结合官方说明与公开评测教训,落地时有四条值得先想清楚:
- 先把仿真栈跑满再谈真机。官方强调真机成本仍是门槛,先在 LIBERO-Pro 这类仿真基准上复现,再投入机器人时间,是更经济的顺序。
- 生成代码必须隔离执行。仓库明确警示:生成的 Python 代码拥有较宽的导入权限,应在不含凭据、不挂载敏感目录的隔离主机上运行。
- 不要把 99% 当作通用能力指标。它绑定固定环境、固定接口、固定评测协议与特定模型;换本体、换场景需要重新测量。
- 技能库要设「保质期」。官方已承认条目会陈旧与冗余,自建时应给技能加上来源任务、验证时间与适用范围的元数据,并定期回归验证。
冷静判断:它改变了什么,没改变什么
ASPIRE 真正的贡献不在于魔方演示,也不在于某个百分数的刷新,而在于把机器人能力当成一种可以调试、版本化、自我改良的软件资产来对待。这一条如果成立,具身智能体的迭代方式会从「收集数据—重训策略」部分转向「积累可复用程序经验」,后者对中小团队的门槛低得多。Apache 2.0 许可加上与 Claude Code、Codex 的原生对接,进一步降低了试验门槛。
但有两个前提目前仍未由官方证实:其一,保存下来的技能在陌生场景与不同硬件上的迁移可靠性如何;其二,物理部署究竟还需要多少人类监督。前者受限于技能库的记忆管理问题,后者受限于成功检测与安全复位这些「不性感但必需」的工程件。对正在做智能体系统的团队来说,这里给出的信号是明确的:你给智能体配的经验层质量,正在决定它第二次做同一件事时有多聪明——这一点在代码世界里已被反复验证,现在开始向物理世界延伸。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。