代码写得很漂亮,机器人却过不了关
通用智能体写代码、用工具、跑复杂数字任务都已经像模像样,但这些能力有多少能带进物理世界?arXiv 2610.10409(10 月 7 日提交,62 页、25 图,署名作者 33 人)给出的 RobotWorld 就是冲这个问题去的:一个「robot use」仿真测试床——把指令和观察变成通过机器人接口执行的物理任务。84 个任务铺满五大域:操作(38 个)、移动操作(20 个)、运动(11 个)、驾驶(11 个)和飞行控制(4 个),从 20 个来源项目聚合而来,覆盖 18 种本体、20 套控制配置。
玩法上,每个任务把机器人暴露成一组工具:智能体读图像和状态、选动作、拿执行回执和新观察,成功与否由智能体永远看不到的隐藏评测状态判定。还设有明确的交互预算——不是让你无限试。
会写分割代码,和能把杯子放进洗碗机,是两回事
论文的观察相当有信息量:现在的智能体已经能搭出相当复杂的感知-控制工作流——现场写图像分割、做相机标定、空间估计、甚至基于动力学的计算。但这些能力「不稳定地组合」成成功行为。典型的死法有四种:到达了指令要求的姿态,却把任务相关的物体状态弄丢了;动作没效果,不知道纠正;纠正了,但恢复得太晚,评测窗口已经关上;以及把没完成的任务误判为已完成。
换句话说,物理世界卡的往往不是「会不会做某件事」,而是长程闭环里的状态保持、纠错时机和自我判断。这跟本站 1821 写的 Odysseys2(浏览器智能体要交付真实文件才算数)隔着屏幕呼应:一个是数字世界的「交付验收」,一个是物理世界的「状态验收」——评测的尺子都在从「过程分」转向「结果分」。
另一个发现是没有全能选手:Astra 在空间类和受约束接触类目标上成功率更高,Opus 5.5 则在连续平衡类和计时交互类目标上更强。具体任务上谁更好使,取决于你派它去干什么。
操控接口的设计也能看出 benchmark 的用心。据论文与项目页介绍,智能体有两种控制模式:可以直接发动作指令,也可以生成一段代码控制程序,让本地反馈循环在一次工具调用里跑完——后者对「稳住一个姿态」这类需要高频反馈的任务显然更友好。任务还配了一个隔离的分析工作区:物理仿真暂停时,智能体可以用 Python 脚本做图像分割、相机标定、动力学计算,再把结论带回决策。换句话说,这个基准不只想量「会不会」,还在量「会不会借工具」——这恰是当前通用智能体最现实的用法。
还有一点容易被忽略:84 个任务的成败判定不看过程看状态(抽屉到底关没关上、无人机悬停到底稳没稳住要求时长)。这把评测和「动作漂移」解耦,也让失败轨迹本身变得有价值——哪一步开始丢状态、哪个环节纠错晚了,都能从执行回执里读出来。对做具身训练数据合成的团队,这类带结构失败标注的轨迹,比又一份成功演示视频有用得多。
它是个基准,不是答案
必要的冷静:RobotWorld 是仿真测试床,84 个任务、研究级规模,sim-to-real 的差距客观存在;论文对失败模式的分析基于执行轨迹归因,具体模型的成功率数字以原文为准;仿真里的「隐藏评测状态」在真实工厂里往往是另一套难题。它真正给出的是靶子——把「数字能力到物理执行」的落差拆成了可训练、可设计的具体缺口。对具身智能体方向,这比又一个跑分榜有用。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。