三条旧路,各自卡在不同的一环
Web 智能体的训练与评测一直缺一样东西:足够多、足够真、还能反复复位的环境。arXiv 2610.37786 先把这件事拆开讲清楚,再给出自己的解法。
旧办法有三条。人工辅助的镜像最像真站,但要逐站手写实现,能覆盖的站点数量上不去,站点一改版就得返工。生成式构造能批量产出,代价是会偏离被指定的那个真实站点,交互与数据之间也未必自洽,评测的可比性因此存疑。录制回放保住了观测,可覆盖范围受限于当初录到了什么,没走过的路径补不出来,也就难支撑新任务。
WebAnything 的取法是从真实 URL 出发,全自动重建有源可依、可复用的网站环境。官方的说法是:初始设置与授权之后,不需要逐站手工实现或修补。
建的人不给自己打分
流程里有两队角色。Explorer-Builder 负责收集浏览器可观测到的结构、资源与交互结果;另有一个独立的 verifier,检查被冻结的候选环境,判断该在本地修复,还是回到源头定向重采集。这个「建的人不给自己打分」的安排,是整套流程能不能批量跑的关键——否则重建出来的环境漂不漂移,要等到下游任务失败才知道。
规模是 244 个网站工件,覆盖 14 个应用领域与 53 个类别,支撑 12984 个已执行并被接受的任务。与人工辅助的 WebHarbor 相比,论文在三项保真度指标上给出 12 胜 2 平 0 负的盲审结果。
可复位这三个字的分量
「可复位」值得单独说。回归评测的前提是每次跑分都从同一个初始状态出发;一个只能读、不能复位的真实站点,看得到却用不了。这也正是录制回放这类办法长期扛不起规模化训练的原因——它保住了观测,却没有保住状态。
微调的账与保真度的账,要分开看
另一组数字来自下游:用 5856 条交互轨迹微调 Qwen3.5-9B 之后,在固定 harness 下,REAL 成功率提升 9.9 个百分点,Odysseys-Easy 的评分表均值与任务均值分别提升 6.25 与 6.32 个百分点,WebArena-Verified 的整体成功率提升 13.33 个百分点。
两处要提醒。其一,保真度的胜负是盲审认定的,它回答的是「这个环境像不像那个真实站点」,不等于下游任务成功率的提升,两本账不能互相折算。其二,微调收益是在固定 harness 下测得的,换一套外壳这几个数字未必还成立——这与本站此前记录过的若干 harness 条件论研究是同一个提醒。
冷水与还没回答的问题
限制要说在前面。12984 个任务全部产生在自建设施内,跨领域泛化能力没有被单独验证。网站工件是否公开、以什么方式公开,论文摘要层面没有交代。真实站点的重建还牵涉授权与合规,重建范围受初始授权的约束,这既决定了它能覆盖哪些站点,也决定了它不适合覆盖哪些站点。代码仓库已经给出,但复现一次完整重建的工程量,摘要里没有量化。这部分目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。
本站此前记录过 SoftwareGym 的工作:那篇论文合成 182 个 GUI 应用,把计算机使用类智能体在域外基准上的成绩从 41.39% 推到 56.97%。两条路子是互补的两个方向——合成环境胜在可控与可批量,复刻环境胜在贴近真实。选哪一条,取决于要测的是「能不能操作界面」还是「能不能操作这个站点」。
对团队的直接含义是:如果正在为 Web 智能体找训练或回归评测的环境,供给瓶颈正在从「人工搭台」转向「自动复刻」。真正该验收的不是环境数量,而是环境能不能被复位、能不能跟着真实站点一起更新——后者才是回归评测能不能长期成立的前提。