评测怎么搭的：一个框架、四个维度、78 个任务
RoboColiseum 于 2026 年 8 月 14 日正式发布，面向全球高校、科研机构、模型企业与研究者长期开放，名字取意于古罗马圆形竞技场。平台目前设有四类能力子榜——指令跟随、空间理解、扰动适应、通用操作，以及 78 个高保真仿真评测任务。自内测上线以来，已有海内外一百多支队伍在平台上开展模型训练与评测。
本轮横评的关键设计是控制变量。四款大模型共用完全相同的 Agent2Act 控制框架与原始任务指令，不额外增加任何任务专属提示。模型根据观测决定行动目标，框架负责动作校验、执行转换与反馈，最终由平台原生评测机制评分。对应测试案例使用相同样本与固定随机种子。这说明比拼的对象不是提示词工程的水平，而是模型本身的具身能力。
| 评测要素 | 设置 |
|---|---|
| 平台发布时间 | 2026 年 8 月 14 日 |
| 能力维度 | 指令跟随、空间理解、扰动适应、通用操作共四类子榜 |
| 任务规模 | 78 个高保真仿真评测任务 |
| 控制框架 | Agent2Act，四款模型共用，统一观测、动作执行与反馈接口 |
| 指令处理 | 采用原始评测指令，不增加任务专属提示 |
| 样本控制 | 相同样本、固定随机种子 |
| 推理档位 | Astra、Sol、Opus 用 high；Argon 用 medium |
| 策略模型 | 保留各自训练与执行设置，未采用同一套控制方案 |
报告明确说明，Astra、Sol 与 Opus 使用 high 推理档位，而 Argon 使用 medium，原因是在本次 API 通道下 Argon 的 high 设置响应过慢，难以支持大规模批量评测。因此凡涉及 Argon 的比较，都同时反映了推理档位的差异。专业策略模型则保留各自的训练与执行设置。这一条是本文认为最容易被转述漏掉、也最影响结论可用性的说明。
主榜：0.29 分与两个不同的榜
四款旗舰大模型的综合得分差距极小，冠亚军只差 0.29 分。但同一份报告里存在两个榜：四款大模型之间的相对排序，以及把策略模型一并放进去的总榜。后者的前两名并不属于大模型。
| 排名 | 模型 | 综合得分 | 类型 |
|---|---|---|---|
| 总榜居首 | Paimon | 77.54 | 专业具身策略模型 |
| 总榜次席 | HiDream-O1-Embodied | 76.92 | 专业具身策略模型 |
| 大模型首位 | Claude Opus 5.5 | 76.28 | 通用多模态大模型 |
| 大模型次位 | GPT-6 Astra | 75.99 | 通用多模态大模型 |
| 大模型第三 | GPT-6.1 Sol | 70.91 | 通用多模态大模型 |
| 大模型第四 | Gemini 4 Argon | 66.86 | 通用多模态大模型（medium 档） |
还有一个成本维度的读数值得单独记：在技术报告统计的四款模型中，Opus 5.5 全轮评测的 token 总消耗最少。也就是说，拿下最高综合分的这款，同时也是这轮里最省 token 的一款。这在常见的「更强就更贵」叙事里是一个反例。需要说明的是，报告只给出了相对关系与定性说明，未公开四款模型各自的绝对 token 数与成本明细。
维度拆解：理解碾压，操作分野
综合分接近，能力分布却完全不同，这是本轮报告最值钱的部分。
| 维度 | 四款旗舰大模型 | 报告所列策略模型 | 结论 |
|---|---|---|---|
| 指令跟随 | Astra 居首，得分 99.35；Astra、Sol、Opus 均超过表内该维度得分最高的策略模型 | 低于前三款大模型 | 理解层已经形成优势 |
| 空间理解 | Opus 领先；三款大模型同样超过表内相应维度最高的策略模型 | 低于前三款大模型 | 理解层已经形成优势 |
| 通用操作 | 38.79 至 46.70 | 63.20 至 66.13 | 操作层策略模型大幅领先 |
| 扰动适应 | Astra 整体居首；Argon 总分高于 Sol | 报告未列同口径对照 | 分化明显，见下文 |
取两组区间的中值，四款大模型通用操作约为 42.75 分，策略模型约为 64.67 分，绝对差约 21.9 分，相对落后幅度约 33.9%。这个数字要比综合榜上 0.29 分的差距更能说明问题：在「听懂并看准」上旗舰模型已经过关，在「做准做稳」上还差着大约三分之一的相对距离。需要说明的是，区间中值换算是本文为便于比较所做的简化，两组区间各自的组内分布报告未完整给出。
扰动：图像质量是共同弱点，最多掉 77 个百分点
报告考察了五类扰动：背景与光照、相机位置、图像质量、指令措辞、机器人初始姿态。测试通过随机丢帧、镜头遮挡与额外图像噪声模拟视觉干扰。结论是图像质量变化是四款模型共同的突出弱点。
| 模型 | 相对自身指令跟随基线的下降 | 图像质量扰动下的得分 | 本文推算的指令跟随基线 |
|---|---|---|---|
| Claude Opus 5.5 | 约 20 个百分点 | 76.47 | 约 96.5 |
| GPT-6 Astra | 约 32 个百分点 | 67.60 | 99.35（报告直接给出） |
| Gemini 4 Argon | 约 26 个百分点 | 59.57 | 约 85.6 |
| GPT-6.1 Sol | 约 77 个百分点 | 18.36 | 95.50（报告直接给出） |
Sol 是最极端的例子：正常条件下指令跟随 95.50 分，加上图像质量干扰后掉到约 18 分，相对跌幅约 80.8%。Opus 在同类扰动下仍取得约 76 分。这意味着在摄像头会有噪点、光线会变化的真实环境里，两款模型给出的可用性可能相差数倍，而这个差别在综合榜上只体现为 5 分多。
还有一个细节能说明「只看总分会误判」：Argon 的扰动适应总分高于 Sol，但拆开五项扰动后，它只在图像质量这一项上超过 Sol，其余四项均落后。开发者如果只看总分，就会漏掉模型在具体环境中的弱点。
本文交叉：反推四款模型的指令跟随基线
公开材料里两组数字来自不同渠道：一组是「相对各自指令跟随基线下降多少个百分点」，另一组是「图像质量扰动下的绝对得分」。这两组数字能否互相印证，是本文额外做的一项核查。
| 模型 | 已知基线 | 基线减下降幅度 | 公开绝对得分 | 是否自洽 |
|---|---|---|---|---|
| GPT-6 Astra | 99.35 | 99.35 减 32 约 67.35 | 67.60 | 基本吻合 |
| GPT-6.1 Sol | 95.50 | 95.50 减 77 约 18.50 | 18.36 | 基本吻合 |
| Claude Opus 5.5 | 未直接给出 | 反推约 96.47 | 76.47 | 反推值落在合理区间 |
| Gemini 4 Argon | 未直接给出 | 反推约 85.57 | 59.57 | 反推值落在合理区间 |
两个已知基线的模型都能对上，说明两组数据出自同一套测量，可以放心交叉使用。据此反推，Opus 的指令跟随基线约为 96.5 分、Argon 约为 85.6 分。这两个数字报告未直接给出，属于本文推算，且依赖「下降幅度按百分点计算」这一假设。若后续官方公布分项基线，应以官方数值为准。目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。
七组消融：同样是 90% 掉到 80%，代价形态不同
报告围绕 Astra 做了七组「拆零件」实验，覆盖执行反馈、深度信息、历史记录、IK 检查、相机投影自检、夹爪几何与动作表示。其中三组给出了量化结果，而把它们放在一起看，能得出一个比总分更有操作性的结论。
| 移除的组件 | 成功率变化 | 代价体现在哪里 | 本文解读的故障类型 |
|---|---|---|---|
| 明确的执行偏差反馈 | 90% 降到 80% | 平均规划决策次数 16.7 增至 35.6（约 +113%） | 想不清楚：不知道刚才那一下做到没有，只能靠反复试探 |
| 深度输入与查询工具 | 90% 降到 80% | 平均下发动作步数 118.8 增至 158.2（约 +33%） | 做不精准：仍能靠 RGB 与相机标定估计位置，但要下发更多动作去凑 |
| 历史记录 | 4 个插积木布局从全部完成降到只完成 2 个 | 平均规划决策 27.5 增至 66.5 次；平均运行时间 64.65 分钟增至 131.81 分钟 | 记不住：已经抓起积木，却在放置阶段反复执行相似动作 |
| 改为直接输出关节增量 | 10 个任务完成 8 个 | 需要更多执行步数 | 表示方式可行但效率更低 |
前两组消融的成功率变化完全相同，都是 10 个百分点，但代价形态差别很大：一个是规划决策次数翻倍还多，一个是动作步数增加三分之一。本文据此给出一条可落地的监控设计——在具身智能体的可观测性里，把「平均规划轮次」与「平均动作步数」作为两个独立指标分别看。前者飙升通常指向反馈缺失或状态理解错误，后者飙升通常指向感知精度不足。把它们混成一个「效率低」的结论，会漏掉真正的根因。需要提醒的是，三组消融的任务样本量都很小（10 个任务、4 个布局），该结论属于方向性提示而非统计结论。
案例：全身控制、跨本体与灵巧手这三道坎
榜单之外，报告用一批案例划出了能力边界。
| 能力 | 表现 | 是否已跨过 |
|---|---|---|
| 全身控制 | Astra 能协调移动底盘、躯干与机械臂，完成垃圾投放、开门通行、从厨房取饮料送到餐桌 | 已可用 |
| 跨本体操作 | 同一个棋子收纳任务在 ARX、AgileX、G1、G2 四种本体上完成拾取与放置 | 已可用，但有条件 |
| 精细操作 | 圆形积木入孔成功；手机充电抓取成功但接口方向错误未能插入 | 部分 |
| 灵巧手 | 能为每只手 20 个手指关节输出角度目标，但叠碗未能形成稳定抓握，补充几何信息后仍未成功；取书同样失败 | 未跨过 |
| 长程多阶段任务 | 毛巾折叠与衣服对折在无深度时反复抓空、加入传感器深度后成功；多阶段叠衣服抓到衣角但未能完成折叠序列 | 未跨过 |
跨本体那一条需要加个限定：报告自己指出，不同本体仍需要各自的运动学模型与工具几何信息，跨本体执行也不意味着所有任务表现相同。把它读成「换机器人不用改任何东西」是过度解读，更准确的说法是控制接口统一之后，适配成本从重写策略降到了补本体参数。
还有一个案例值得单独提：端锅实验中，Astra 在原始指令下夹爪接近姿态不协调而失败，研究团队补充明确的抓取与交互指导后，它转而对准锅柄、采用对齐更好的双手抓取方式并稳住。报告明确说明该案例来自正式打榜之外的补充探索，不计入四款模型共用原始指令的榜单比较。它说明的是另一件事：模型能够执行更明确的操作指导，但自行推断合适的抓法仍有困难。
仿真到真机：89.5% 相关性与它的适用范围
仿真里的分数能不能代表真机表现，是所有仿真评测都要回答的问题。平台公布的验证数据是：在已验证的模型与任务范围内，仿真评测与实机部署表现的相关性达到 89.5%，相同模型在仿真与真机任务中的评测成功率差异小于 10%。
这个数字如果成立，价值很大：它意味着可以在真机测试之前用高保真仿真筛模型、定位短板。但报告自己也给了限定——结论仍限于已验证范围，不能直接推广到所有场景。本文的读法是把 89.5% 当作「在这批已验证任务上，排序大致可信」的证据，而不是「仿真分数可以换算成真机成功率」的换算系数。
怎么参与：5 分钟提交与 30 分钟一轮
平台在降低参与门槛上做了具体设计。借助 Agent Skill，开发者可以通过自然语言对话完成数据下载、模型训练、本地验证与评测提交，从注册到提交最快约 5 分钟，典型评测约 30 分钟完成。开发者无需上传模型核心代码与权重，只需在本地部署推理服务并接入标准接口即可开展评测。平台返回分项成绩、任务步骤结果与模型执行视频，便于追查模型完成了哪些步骤、在哪里失败。
四条读榜提醒
| 提醒 | 具体内容 |
|---|---|
| 档位不可比 | Argon 使用 medium 推理档位，其与另外三款 high 档模型的分差不能直接解释为模型能力差 |
| 总分会掩盖弱点 | Argon 扰动适应总分高于 Sol，但五项扰动中只有一项超过 Sol；选型要看分项 |
| 样本量偏小 | 消融组多为 10 个任务或 4 个布局，方向性强而统计显著性弱，不宜据此做精细取舍 |
| 仿真不等于真机 | 89.5% 的相关性限于已验证范围，相关不等于可换算；真机案例中的失败项（灵巧手、长程折叠）在仿真榜单里未必体现 |
冷静判断：这些分数能用来做什么
能用的是三件事。其一，用维度分项而不是综合分选模型：如果任务是理解密集、操作简单的，旗舰模型已经够用；如果涉及稳定抓取与精细插接，策略模型仍然明显更稳，综合榜上那 0.29 分不能作为决策依据。其二，把七组消融当成自己的架构检查表：执行反馈、深度感知、历史记忆这三项，缺任何一项都会让成功率掉约 10 个百分点，而付出的代价形态不同，可以据此设计监控指标。其三，把扰动测试当成上线前的必测项：图像质量一项就能让一款模型从 95.50 掉到 18.36，这种塌方式衰减在干净实验室环境里是测不出来的。
不能用的是另外两件事。一是不要把它当作「通用大模型能不能取代具身策略模型」的终局答案——这只是一轮、一个平台、78 个任务的横截面，且策略模型各自保留了训练与执行设置，与大模型不在同一控制方案下。二是不要跨报告合并数字：不同平台的任务集、评分尺与控制框架都不相同，RoboColiseum 的分与其它具身基准的分不具可比性。
还有一个本文认为最值得后续跟进的观察：Opus 5.5 同时拿到最高综合分与最低 token 总消耗。如果这个组合在后续轮次里稳定复现，它会改变「更强的智能体必然更贵」这一在编码智能体领域已被多次验证的经验。目前报告只给出相对关系，绝对值未公开，尚不足以支撑结论。