VeriCUA：用智能体探索重新定义电脑使用智能体的验证

电脑使用智能体（Computer-Using Agent, CUA）正在成为自动化操作桌面、移动端和网页环境的关键技术。然而，要让这些智能体可靠地完成任务，一个核心难题始终存在：如何验证任务是否真正完成？无论是数据清洗、模型评估还是强化学习，都离不开对任务完成状态的准确判断。传统方法要么依赖视觉语言模型（VLM）对轨迹进行打分，要么生成程序来检查应用状态，但这两条路径都受限于对复杂数字环境的局部观察，难以支撑可靠的完成判定。近期提出的 VeriCUA 框架，尝试用一种全新的思路——将验证本身视为智能体探索——来系统性地解决这一问题。

传统验证方法的局限

常见的自动验证方案大致分为两类。一类是让 VLM 充当裁判，根据提供的观察记录判断任务是否完成；另一类是生成代码程序，直接检查应用的可访问状态。这两类方法看似互补，实则共享同一个弱点：它们都只能看到数字环境的一部分。

VLM 裁判受限于输入给它的观察数据，如果关键证据没有出现在截图中，模型就无从判断。生成程序则依赖应用暴露的可访问状态，遇到无法读取的界面元素或跨平台差异时，程序往往失效。更麻烦的是，针对不同平台和访问权限，团队不得不单独定制验证器，工程成本随平台数量线性增长。这种碎片化 approach 不仅效率低下，还容易在困难案例上产生误判——要么漏掉未完成的任务，要么错误地接受虚假的完成声明。

视觉语言模型（VLM）是一类同时处理图像与文本输入的多模态大模型，典型代表包括 GPT-4V、Claude 3 系列等。在智能体验证场景中，VLM 被当作「裁判」使用：把任务描述与若干帧屏幕截图一并输入，让模型输出任务是否完成的判断或打分。其局限根源在于「观察窗口」——模型只能基于被喂入的有限帧做推理，若关键状态变化发生在采样帧之间，或隐藏在需要滚动、切页才能看到的界面中，VLM 便无法获知。此外，VLM 判断带有概率性，对细微状态差异（如开关是否真正打开）容易出现幻觉式确认，这也是静态裁判难以支撑高可靠验证的根本原因。

可访问状态（accessibility state）指操作系统或应用通过无障碍接口暴露给外部程序的界面结构信息，如控件树、元素属性、文本内容和选中状态等。程序化验证器正是读取这类结构化数据来判断任务是否完成，例如检查某个复选框的 checked 属性。它的优势是精确、可断言，但依赖应用正确实现无障碍接口：自绘界面、Canvas 渲染、游戏引擎或跨平台框架常导致元素缺失或属性失真，此时程序检查会直接失效。这解释了为何程序化验证在不同平台和不同应用间表现差异巨大，也构成了需要按平台定制验证器的直接原因。

VeriCUA 的核心思路：验证即探索

VeriCUA 的提出者将验证重新定义为「在共享流程中动态收集证据并做出评估」的过程。与静态判断不同，这个框架让验证器主动探索环境，而不是被动等待观察输入。整个流程可以概括为两个阶段：首先检查可用上下文，构建任务评分标准（rubric）；然后针对尚未解决的要求，选择 GUI 检查或代码检查，并在明确的证据规则下综合两者的发现。

这种设计的关键在于「智能体探索」——验证器不再局限于初始提供的观察，而是可以主动与界面交互，获取额外信息。例如，当某个任务要求确认设置是否生效时，验证器可以导航到相关页面，通过 GUI 检查读取状态，或者生成代码查询底层配置。两种证据来源相互补充，减少了单一视角带来的盲区。

更重要的是，VeriCUA 是一个平台无关的框架，同一套流程同时适用于在线和离线场景，覆盖不同的观察模态。这意味着开发者不必为桌面端、移动端和网页端分别维护验证逻辑，显著降低了工程复杂度。

评分标准（rubric）在智能体评估中指的是一组可逐条核验的完成条件，而非单一的整体打分。构建 rubric 的过程是把模糊的任务描述拆解为若干具体、可独立验证的要求，例如「设置已保存」「通知已关闭」「文件已导出为 CSV」。这种拆解带来两个好处：一是每条要求可以匹配最合适的取证方式（GUI 观察或代码查询），二是验证结果可解释、可定位失败点。rubric 的质量直接决定验证上限——遗漏的要求无法被后续探索补回，因此第一阶段「检查可用上下文并构建评分标准」实际上是整个流程中最关键的一步。

测试时探索（test-time exploration）借鉴了测试时计算（test-time compute）的思想：在推理阶段而非训练阶段投入额外计算，通过多步交互、试错或搜索来提升结果质量。在 VeriCUA 中，这意味着验证器在给出判断前可以主动执行导航、点击、查询等动作，用增加的环境交互换取更充分的证据。与之相对的是「一次性判断」范式，即单次前向推理直接输出结论。测试时探索的代价是延迟和操作风险（探索动作可能改变被测环境状态），因此需要在证据充分性与成本之间做权衡，这也是框架中「证据规则」需要明确约束的原因。

实验表现：困难案例上的突破

根据论文摘要，VeriCUA 在多项实验中展现出与参考标签更高的一致性，优于所比较的基线方法。特别值得关注的是两个场景的表现：在离线评估中，困难案例上的提升最为明显；在在线场景下，框架对虚假完成声明的拒绝能力更强。

这两个结果指向同一个结论：主动探索带来的互补证据确实能弥补局部观察的不足。困难案例往往正是那些关键信息隐藏在初始观察之外的任务，而虚假完成声明则利用了静态验证器的盲区。VeriCUA 通过动态证据收集，在这两类挑战性场景中都取得了更好的判断效果。论文进一步的分析将性能提升归因于互补证据和测试时探索——也就是说，验证器在测试阶段主动探索环境的能力，直接贡献了判断准确性的提升。

对 CUA 生态的意义

VeriCUA 的价值不仅在于一个验证框架本身。对于构建和扩展 CUA 的团队来说，可靠的验证是数据 curation、评估和强化学习的基础设施。如果验证器本身不可靠，后续的模型训练和产品迭代都会建立在错误信号之上。一个平台无关、能够主动探索的验证方案，意味着团队可以用更低的工程成本获得更可信的完成判断，从而加速智能体在真实场景中的落地。

从更宏观的视角看，这项研究也提示了一个趋势：在复杂数字环境中，被动观察往往不够，智能体需要具备主动获取信息的能力——这一点不仅适用于执行任务的智能体，也同样适用于验证任务的智能体。当验证本身成为一种探索行为，整个 CUA 系统的可靠性边界有望得到实质性拓展。

对于关注 AI 智能体落地的开发者和研究者而言，VeriCUA 提供了一个值得跟踪的方向：与其为每个平台定制验证器，不如设计一个能够自适应探索的通用验证流程。这或许会成为下一代 CUA 基础设施的重要组成部分。