WebHarbor：用153个真实网站环境训练GUI智能体

GUI 智能体（GUI agent）要真正可用，离不开一个稳定、可复现、贴近真实的网页环境。但现实很骨感：直接拿线上网站做评测，内容会变、访问会受限、需要登录的流程几乎覆盖不到；而现有的合成训练环境，往往功能深度和视觉保真度都不够。

针对这个矛盾，来自 aiming-lab 的研究团队提出了 WebHarbor——一套包含 153 个可执行、Docker 化网站环境的测试与训练套件，目标是把真实网站的视觉界面、内容与功能流程“停靠”进一个确定性可控的沙盒里。论文与代码已公开在 GitHub（aiming-lab/WebHarbor）。

为什么需要“仿真网站”而不是“真网站”

线上评测的三重困境

用真实网站评测 GUI 智能体，最直觉也最诱人，但研究团队点出了三个硬伤：内容会变导致结果不可复现；访问限制让部分页面或接口无法触达；登录后流程的覆盖面极为有限。换句话说，你很难用今天的网页去复现昨天的评测结果。

合成环境的短板

另一条路是自建合成环境，但现有工作普遍缺乏功能深度和视觉保真度——页面看起来像那么回事，但点进去流程是断的，或者视觉上和真实产品差距明显。智能体在这样的环境里学到的技能，迁移到真实网页上往往打折扣。

WebHarbor 的定位正好卡在两者之间：既要真实网站级的功能与视觉，又要沙盒级的可控与稳定。

GUI 智能体（GUI agent）指能够像人一样观察图形用户界面（截图或页面结构）、并执行点击、输入、滚动等操作来完成任务的智能体。与依赖结构化 API 的传统自动化不同，GUI 智能体直接操作像素与界面元素，因此其能力高度依赖训练与评测环境的真实性——界面布局、交互反馈、状态流转都会影响策略学习。这也解释了为何环境保真度成为该领域的核心瓶颈：在失真环境中习得的操作序列，迁移到真实网页时容易因元素位置、加载时序或流程分支差异而失效。

视觉保真度指合成环境在页面布局、配色、字体、组件样式和渲染细节上与真实产品的一致程度；功能深度则指环境是否完整实现了真实网站的业务流程，包括表单校验、状态持久化、多页面跳转和权限控制等。两者缺一不可：视觉保真度不足会让智能体学到与真实界面不匹配的视觉定位策略，功能深度不足则会使多步骤任务在中途“断链”，导致智能体无法学习长程依赖与错误恢复。现有合成环境常因构建成本高而在其中一方面妥协，这也是 WebHarbor 强调二者并重的原因。

153 个环境是怎么造出来的

WebHarbor 的构建方式不是纯自动化爬取，而是一套**任务驱动的人机协作（human-agent collaboration）**流程。具体来说：

• 环境会随着新任务的加入而持续扩展功能边界；
• 编码智能体（coding agent）负责实现所需的功能改动；
• 人类贡献者负责审核视觉保真度、功能正确性与任务有效性。

这种三方协作让环境不是一次性冻结的静态快照，而是能随任务演化的“活”环境。最终产出的套件包含 3,518 个任务，其中大量涉及多步骤流程和登录后（post-authentication）工作流——这正是现有工作常常覆盖不到的部分。

不只是评测：WebHarbor 作为 RL 训练场

除了提供可靠的评测基准，WebHarbor 更重要的价值在于：它提供了高保真的合成网页环境，可以用于成本高效的强化学习（RL）训练。

团队做了一个颇具说服力的验证：用 RL 在 WebHarbor 中训练一个 Qwen 4B 级别的 GUI 智能体，结果该智能体能泛化到未见过的任务，并在四个基准上与领先的开源 GUI 网页智能体表现相当（competitively）。对于一个小参数量模型来说，这个结果说明高质量仿真环境的训练价值被严重低估了。

这也给行业一个启示：与其一味堆模型规模，不如先解决训练环境的保真度和可控性问题。一个 4B 模型在好环境里练出来的泛化能力，可能比在噪声环境里练出来的大模型更实用。

强化学习（RL）训练 GUI 智能体通常采用“交互—反馈—更新”的循环：智能体在环境中执行动作序列，环境返回新的界面状态，最终依据任务是否完成给出奖励信号，再通过策略梯度类算法更新模型参数。相比监督微调，RL 能让模型在试错中学习长程规划和错误恢复，但前提是环境必须可重置、可复现且奖励可自动判定。Docker 化的确定性沙盒恰好满足这些条件：每次任务从相同初始状态开始，避免线上网站内容漂移带来的奖励噪声，从而使小参数量模型也能获得稳定的训练信号。

对 GUI 智能体生态意味着什么

WebHarbor 的贡献不止是一套数据集，而是提出了一种环境即基础设施的思路。Docker 化意味着环境可分发给任何人、在任何机器上复现；任务驱动的演化机制意味着这套环境可以持续吸收新任务而不推倒重来；人机协作的审核流程则在自动化效率和人工质量把控之间找到了平衡。

当然，153 个环境相对于真实互联网的规模仍然有限，环境演化也依赖人工审核的持续投入。但作为评测与训练双重用途的基础设施，WebHarbor 为 GUI 智能体研究提供了一个值得关注的新选项。团队已将代码与数据公开，社区可以在此基础上继续扩展。

Docker 化环境指将网站的运行依赖（Web 服务器、数据库、后端服务、静态资源等）打包进容器镜像，使环境可在任意支持 Docker 的机器上以相同配置启动。对 GUI 智能体研究而言，这意味着评测结果可跨实验室复现，训练环境可随代码仓库一并分发，也便于并行启动多个实例进行大规模 rollout。相较虚拟机镜像，容器更轻量、启动更快，但需要额外处理网络隔离与状态持久化，这也是此类环境在工程上需要专门设计的部分。