三条旧路,各自卡在不同的一环

Web 智能体的训练与评测一直缺一样东西:足够多、足够真、还能反复复位的环境。arXiv 2610.37786 先把这件事拆开讲清楚,再给出自己的解法。

旧办法有三条。人工辅助的镜像最像真站,但要逐站手写实现,能覆盖的站点数量上不去,站点一改版就得返工。生成式构造能批量产出,代价是会偏离被指定的那个真实站点,交互与数据之间也未必自洽,评测的可比性因此存疑。录制回放保住了观测,可覆盖范围受限于当初录到了什么,没走过的路径补不出来,也就难支撑新任务。

WebAnything 的取法是从真实 URL 出发,全自动重建有源可依、可复用的网站环境。官方的说法是:初始设置与授权之后,不需要逐站手工实现或修补。

环境从哪来:三种旧办法各自卡在哪一环新办法是从真实 URL 自动重建,且可复位、可复用人工镜像逐个站点手写实现能覆盖的站点有限改版就要返工成本压不住规模生成式构造批量产出很快会偏离指定站点交互与数据不自洽评测可比性存疑录制回放保住了观测覆盖受限于录到的没走过的路补不出难支撑新任务Explorer-Builder 收集浏览器可观测的结构、资源与交互结果独立 verifier 检查冻结候选,再引导局部修复或定向重采集244 个站点工件 · 14 个应用领域 · 53 个类别支撑 12984 个已执行并被接受的任务来源:arXiv 2610.37786
图|三条旧路分别卡在工程量、保真与覆盖上,新办法把「复刻真实站点」这一步也交给自动流程。

建的人不给自己打分

流程里有两队角色。Explorer-Builder 负责收集浏览器可观测到的结构、资源与交互结果;另有一个独立的 verifier,检查被冻结的候选环境,判断该在本地修复,还是回到源头定向重采集。这个「建的人不给自己打分」的安排,是整套流程能不能批量跑的关键——否则重建出来的环境漂不漂移,要等到下游任务失败才知道。

规模是 244 个网站工件,覆盖 14 个应用领域与 53 个类别,支撑 12984 个已执行并被接受的任务。与人工辅助的 WebHarbor 相比,论文在三项保真度指标上给出 12 胜 2 平 0 负的盲审结果。

可复位这三个字的分量

「可复位」值得单独说。回归评测的前提是每次跑分都从同一个初始状态出发;一个只能读、不能复位的真实站点,看得到却用不了。这也正是录制回放这类办法长期扛不起规模化训练的原因——它保住了观测,却没有保住状态。

微调的账与保真度的账,要分开看

另一组数字来自下游:用 5856 条交互轨迹微调 Qwen3.5-9B 之后,在固定 harness 下,REAL 成功率提升 9.9 个百分点,Odysseys-Easy 的评分表均值与任务均值分别提升 6.25 与 6.32 个百分点,WebArena-Verified 的整体成功率提升 13.33 个百分点。

两处要提醒。其一,保真度的胜负是盲审认定的,它回答的是「这个环境像不像那个真实站点」,不等于下游任务成功率的提升,两本账不能互相折算。其二,微调收益是在固定 harness 下测得的,换一套外壳这几个数字未必还成立——这与本站此前记录过的若干 harness 条件论研究是同一个提醒。

5856 条交互轨迹微调 Qwen3.5-9B 后的变化固定 harness 下测得,单位为百分点WebArena-Verified+13.33REAL+9.9Odysseys Task Avg+6.32Odysseys Rubric+6.25保真度另有一本账:与人工辅助的 WebHarbor 盲审对比三项保真度指标合计 12 胜 2 平 0 负保真度由盲审认定,不等于下游任务的成功率微调收益绑定固定 harness,换一套外壳未必成立
图|增幅与保真度是两本分开的账:前者看模型在自己环境里涨了多少,后者看环境像不像真站。

冷水与还没回答的问题

限制要说在前面。12984 个任务全部产生在自建设施内,跨领域泛化能力没有被单独验证。网站工件是否公开、以什么方式公开,论文摘要层面没有交代。真实站点的重建还牵涉授权与合规,重建范围受初始授权的约束,这既决定了它能覆盖哪些站点,也决定了它不适合覆盖哪些站点。代码仓库已经给出,但复现一次完整重建的工程量,摘要里没有量化。这部分目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。

本站此前记录过 SoftwareGym 的工作:那篇论文合成 182 个 GUI 应用,把计算机使用类智能体在域外基准上的成绩从 41.39% 推到 56.97%。两条路子是互补的两个方向——合成环境胜在可控与可批量,复刻环境胜在贴近真实。选哪一条,取决于要测的是「能不能操作界面」还是「能不能操作这个站点」。

对团队的直接含义是:如果正在为 Web 智能体找训练或回归评测的环境,供给瓶颈正在从「人工搭台」转向「自动复刻」。真正该验收的不是环境数量,而是环境能不能被复位、能不能跟着真实站点一起更新——后者才是回归评测能不能长期成立的前提。