代码写得很漂亮,机器人却过不了关

通用智能体写代码、用工具、跑复杂数字任务都已经像模像样,但这些能力有多少能带进物理世界?arXiv 2610.10409(10 月 7 日提交,62 页、25 图,署名作者 33 人)给出的 RobotWorld 就是冲这个问题去的:一个「robot use」仿真测试床——把指令和观察变成通过机器人接口执行的物理任务。84 个任务铺满五大域:操作(38 个)、移动操作(20 个)、运动(11 个)、驾驶(11 个)和飞行控制(4 个),从 20 个来源项目聚合而来,覆盖 18 种本体、20 套控制配置。

玩法上,每个任务把机器人暴露成一组工具:智能体读图像和状态、选动作、拿执行回执和新观察,成功与否由智能体永远看不到的隐藏评测状态判定。还设有明确的交互预算——不是让你无限试。

RobotWorld:84 个任务、18 种本体、20 个来源项目操作 38 · 移动操作 20 · 运动 11 · 驾驶 11 · 飞行 4观察:图像+状态决策:可调分析工具行动:环境工具执行回执+新观察明确交互预算;成功与否由智能体永远看不到的隐藏评测状态判定机器人被暴露成一组工具:共享控制词汇打通 18 本体、20 套控制配置任务从 20 个来源项目聚合,五域分布:操作约占 45.2%,移动操作 23.8%
图|RobotWorld 把机器人暴露成工具集:智能体读图像与状态、选动作、拿执行回执;隐藏评测状态判定成败,交互预算有限——是一个「结果计分」的物理试验场。

会写分割代码,和能把杯子放进洗碗机,是两回事

论文的观察相当有信息量:现在的智能体已经能搭出相当复杂的感知-控制工作流——现场写图像分割、做相机标定、空间估计、甚至基于动力学的计算。但这些能力「不稳定地组合」成成功行为。典型的死法有四种:到达了指令要求的姿态,却把任务相关的物体状态弄丢了;动作没效果,不知道纠正;纠正了,但恢复得太晚,评测窗口已经关上;以及把没完成的任务误判为已完成。

换句话说,物理世界卡的往往不是「会不会做某件事」,而是长程闭环里的状态保持、纠错时机和自我判断。这跟本站 1821 写的 Odysseys2(浏览器智能体要交付真实文件才算数)隔着屏幕呼应:一个是数字世界的「交付验收」,一个是物理世界的「状态验收」——评测的尺子都在从「过程分」转向「结果分」。

另一个发现是没有全能选手:Astra 在空间类和受约束接触类目标上成功率更高,Opus 5.5 则在连续平衡类和计时交互类目标上更强。具体任务上谁更好使,取决于你派它去干什么。

操控接口的设计也能看出 benchmark 的用心。据论文与项目页介绍,智能体有两种控制模式:可以直接发动作指令,也可以生成一段代码控制程序,让本地反馈循环在一次工具调用里跑完——后者对「稳住一个姿态」这类需要高频反馈的任务显然更友好。任务还配了一个隔离的分析工作区:物理仿真暂停时,智能体可以用 Python 脚本做图像分割、相机标定、动力学计算,再把结论带回决策。换句话说,这个基准不只想量「会不会」,还在量「会不会借工具」——这恰是当前通用智能体最现实的用法。

还有一点容易被忽略:84 个任务的成败判定不看过程看状态(抽屉到底关没关上、无人机悬停到底稳没稳住要求时长)。这把评测和「动作漂移」解耦,也让失败轨迹本身变得有价值——哪一步开始丢状态、哪个环节纠错晚了,都能从执行回执里读出来。对做具身训练数据合成的团队,这类带结构失败标注的轨迹,比又一份成功演示视频有用得多。

能力很惊艳,组合成行为就掉链子到位了,却丢物体状态到达指令姿态,任务相关状态已丢失不纠正·恢复晚·误判完成动作没效果不回头;改对了但窗口已关Astra 更擅长空间类·受约束接触类目标Opus 5.5 更擅长连续平衡类·计时交互类目标智能体已能现场写图像分割、相机标定、动力学计算——单点惊艳,闭环不及格
图|物理世界卡住的往往不是「会不会做」,而是长程闭环里的状态保持、纠错时机与自我判断;具体任务派给谁,取决于目标类型。

它是个基准,不是答案

必要的冷静:RobotWorld 是仿真测试床,84 个任务、研究级规模,sim-to-real 的差距客观存在;论文对失败模式的分析基于执行轨迹归因,具体模型的成功率数字以原文为准;仿真里的「隐藏评测状态」在真实工厂里往往是另一套难题。它真正给出的是靶子——把「数字能力到物理执行」的落差拆成了可训练、可设计的具体缺口。对具身智能体方向,这比又一个跑分榜有用。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。