评测智能体有个很少被戳破的隐含假设:世界暂停,等你想完。基准给你一道题,你慢慢推理、慢慢调工具,最后交卷,裁判按终局打分——至于推理花掉的那几十秒里,题目描述的情况有没有变化,大多数 benchmark 一概不管。10 月 14 日提交 arXiv 的 RealtimeBench(编号 2610.20665)把这个假设拆了:推理期间,游戏继续进行。

论文六位作者,归类人工智能,尚未经同行评审。基准本身不复杂:180 项任务、六类游戏环境,关键改动只有一个——考生思考的时候,游戏时钟不停。配对评测的结果有点扎心:游戏暂停时,GPT-6.1-sol 领先于更快的 Jev;时钟不停,名次反转,快的那个反超。同样的模型、同样的题,只改一件事,排行榜就换边——论文的结论写得很直白:原始能力不等于实时有效性, deliberation 延迟是动态环境里的一等障碍。

世界暂停等你,与世界不等你RealtimeBench:180 项任务 · 6 类游戏 · 推理期间游戏继续进行游戏暂停(等你想完)GPT-6.1-sol 领先更快的 Jev 落后活时钟(边打边考)更快的 Jev 反超GPT-6.1-sol 被反超同样的模型、同样的题,只改一件事:推理的时候游戏继不继续——名次就换边
图|上下两组横条是同一对模型在两种考法下的胜负。读图要点:原始能力强不等于实时有效性, deliberation 延迟是动态环境里的一等公民。

TORSI:把学习从回合里搬走

光指出问题不够,论文顺手给了一剂药,叫 TORSI(Two-Timescale Offline Recursive Self-Improvement,双时间尺度离线递归自我改进)。思路是把「想」和「做」拆到两个时间尺度上:回合之间,一个慢老师在暂停的游戏里研究失败、测试修正,把修正蒸馏成可复用的指令,验证分决定哪些指令被采纳;对战之中,一个快学生不调用老师,按指令行事——动作要快,思考要短。

两轮之后,Jev 的平均进度分从 13.51 涨到 24.19(0-100 制),六类游戏全线提高。绝对值仍然不高,但另一组数字更有意思:写出来的指令不挑学生——另外三个模型没有调参,分数也涨了。这说明慢老师蒸馏出来的不是「怎么当 Jev」,而是「怎么打这类游戏」,知识以指令形式存在,可迁移。

把学习从回合里搬走慢老师(尝试之间)在暂停的游戏里研究失败测试修正,蒸馏成可复用指令验证分决定哪些指令被采纳快学生(对战之中)不调用老师,按指令行事动作要快,思考要短表现以进度分衡量两轮之后:Jev 平均进度分 13.51 → 24.19(0-100 制),六类游戏全线提高写出来的指令不挑学生:另外三个模型未调参也涨分——学的是「怎么打」,不是「我是谁」冷水:游戏环境不等于真实业务;24.19 的绝对值仍低;六人团队预印本,未经同行评审
图|左右两张卡是两个时间尺度上的角色,中间横条是两轮后的读数。读图要点:反复推敲被挪到线下,线上只留指令与动作。

放进台谱里看

「把 deliberation 从回合里拿走」这个方向,站点今年追过好几条线。决策模型一支(1027、1551)用小模型替换路由与审查里的生成式推理;SSR 一类的「做选择题」思路也在这个方向试探。RealtimeBench 的增量不在方法新,在考场新:它头一回把「时钟不停」做成了配对变量——暂停考一套、活时钟考一套,两次放一起,延迟的代价直接显形。

它也补上了评测线的一块缺口。1941 给记忆消融祛魅,1948 让考卷跟着诊断进化,1925 问 GUI 智能体「路走稳了吗」——这些都还在「时间无限供给」的前提下做文章。RealtimeBench 提醒的是:在动态环境里,「想得久」本身就是一种失败,哪怕终局做对。对客服、交易、实时协同这类场景,这个维度比通过率更接近体感。

几盆该浇的冷水

游戏环境是受控沙盒,和真实业务的动态性不是一回事——游戏的状态转移至少是确定的,真实世界的「时钟」往往还连着不可见的事件。进度分 0-100 的口径下,13.51 到 24.19 的绝对值说明这套方法离可用还有距离。配对只测了两个模型,换模型结论是否稳要另说。六人团队、预印本、未经同行评审,代码发布情况摘要页未说明。

给做智能体产品的团队一个自检问题:你的核心场景里,「世界暂停」这个假设成立吗?如果不成立,把「首字延迟」和「动作间隔」放进和一等公民通过率并列的仪表盘——RealtimeBench 的配对设计,可以直接搬来做内部评测的雏形。