评测智能体有个很少被戳破的隐含假设:世界暂停,等你想完。基准给你一道题,你慢慢推理、慢慢调工具,最后交卷,裁判按终局打分——至于推理花掉的那几十秒里,题目描述的情况有没有变化,大多数 benchmark 一概不管。10 月 14 日提交 arXiv 的 RealtimeBench(编号 2610.20665)把这个假设拆了:推理期间,游戏继续进行。
论文六位作者,归类人工智能,尚未经同行评审。基准本身不复杂:180 项任务、六类游戏环境,关键改动只有一个——考生思考的时候,游戏时钟不停。配对评测的结果有点扎心:游戏暂停时,GPT-6.1-sol 领先于更快的 Jev;时钟不停,名次反转,快的那个反超。同样的模型、同样的题,只改一件事,排行榜就换边——论文的结论写得很直白:原始能力不等于实时有效性, deliberation 延迟是动态环境里的一等障碍。
TORSI:把学习从回合里搬走
光指出问题不够,论文顺手给了一剂药,叫 TORSI(Two-Timescale Offline Recursive Self-Improvement,双时间尺度离线递归自我改进)。思路是把「想」和「做」拆到两个时间尺度上:回合之间,一个慢老师在暂停的游戏里研究失败、测试修正,把修正蒸馏成可复用的指令,验证分决定哪些指令被采纳;对战之中,一个快学生不调用老师,按指令行事——动作要快,思考要短。
两轮之后,Jev 的平均进度分从 13.51 涨到 24.19(0-100 制),六类游戏全线提高。绝对值仍然不高,但另一组数字更有意思:写出来的指令不挑学生——另外三个模型没有调参,分数也涨了。这说明慢老师蒸馏出来的不是「怎么当 Jev」,而是「怎么打这类游戏」,知识以指令形式存在,可迁移。
放进台谱里看
「把 deliberation 从回合里拿走」这个方向,站点今年追过好几条线。决策模型一支(1027、1551)用小模型替换路由与审查里的生成式推理;SSR 一类的「做选择题」思路也在这个方向试探。RealtimeBench 的增量不在方法新,在考场新:它头一回把「时钟不停」做成了配对变量——暂停考一套、活时钟考一套,两次放一起,延迟的代价直接显形。
它也补上了评测线的一块缺口。1941 给记忆消融祛魅,1948 让考卷跟着诊断进化,1925 问 GUI 智能体「路走稳了吗」——这些都还在「时间无限供给」的前提下做文章。RealtimeBench 提醒的是:在动态环境里,「想得久」本身就是一种失败,哪怕终局做对。对客服、交易、实时协同这类场景,这个维度比通过率更接近体感。
几盆该浇的冷水
游戏环境是受控沙盒,和真实业务的动态性不是一回事——游戏的状态转移至少是确定的,真实世界的「时钟」往往还连着不可见的事件。进度分 0-100 的口径下,13.51 到 24.19 的绝对值说明这套方法离可用还有距离。配对只测了两个模型,换模型结论是否稳要另说。六人团队、预印本、未经同行评审,代码发布情况摘要页未说明。
给做智能体产品的团队一个自检问题:你的核心场景里,「世界暂停」这个假设成立吗?如果不成立,把「首字延迟」和「动作间隔」放进和一等公民通过率并列的仪表盘——RealtimeBench 的配对设计,可以直接搬来做内部评测的雏形。