[控场AI]
概念Accessibility Tree / ARIA树

无障碍树

浏览器根据DOM和ARIA属性自动构建的语义化树状结构,向辅助技术(如屏幕阅读器)暴露页面关键信息,每个节点包含角色、名称和状态三类属性,去除装饰性节点,是AI智能体理解网页结构的重要信号

核心事实

时间轴 (近 90 天)

10月14日

无障碍树是操作系统为辅助技术(屏幕阅读器、语音控制、自动化工具)维护的结构化UI描述,由各平台原生API暴露:Windows上是UI Automation(UIA),macOS上是AXUIElement,Linux上是AT-SPI,Android上是AccessibilityNodeInfo。

待验证50%
10月14日

每个重要步骤后应重新读取无障碍树或文本进行动作后验证,不要假设点击成功。

待验证50%
10月14日

在计算机使用代理的执行顺序中,应树优先(列出有名称、角色和位置的交互元素),文本其次(树无标签时对窗口做OCR匹配可见文本),截图最后(用于画布、无名称图标或页面校验)。

待验证50%
10月14日

Canvas应用(设计工具画布、游戏、地图、图表控件)的无障碍树通常整个窗口只是一个元素,里面没有任何内容。

待验证50%
10月14日

SA-CUA 是一个双LLM框架,用于为电脑使用Agent建立可信边界,其核心是从无障碍树中推导出保守的确定性规则,在特权LLM的截图上隔离可信内容和不可信内容。

待验证50%
10月14日

部分应用(尤其是自绘UI的游戏、部分桌面软件)无障碍信息稀疏甚至缺失,此时SA-CUA的规则推导会失效,需要退回其他机制。

待验证50%
10月14日

SA-CUA 高度依赖无障碍树的质量和覆盖率,对于无障碍信息不完整的应用或界面,规则推导的有效性需要进一步验证。

待验证50%
10月11日

计算机使用(computer use)能力让模型通过截图或读取界面可访问性树观察屏幕状态,然后输出点击坐标、键盘输入等操作指令

待验证50%
10月10日

Playwright MCP 使用无障碍快照(accessibility snapshot)即网页无障碍树的结构化数据,而非截图或视觉模型来操控浏览器

待验证50%
9月24日

AI智能体感知网页主要有三种方式:直接看渲染后的页面截图(视觉模型)、读取渲染后的DOM、读取无障碍树

待验证50%

还有 3 条时间轴事件

全部知识事实 (14)

已验证

无障碍树是浏览器基于DOM构建的语义化树状结构,剥离视觉样式信息,保留每个元素的角色、名称、状态和属性等语义信息

65%
待验证

每个重要步骤后应重新读取无障碍树或文本进行动作后验证,不要假设点击成功。

50%
待验证

无障碍树是操作系统为辅助技术(屏幕阅读器、语音控制、自动化工具)维护的结构化UI描述,由各平台原生API暴露:Windows上是UI Automation(UIA),macOS上是AXUIElement,Linux上是AT-SPI,Android上是AccessibilityNodeInfo。

50%
待验证

Canvas应用(设计工具画布、游戏、地图、图表控件)的无障碍树通常整个窗口只是一个元素,里面没有任何内容。

50%
待验证

在计算机使用代理的执行顺序中,应树优先(列出有名称、角色和位置的交互元素),文本其次(树无标签时对窗口做OCR匹配可见文本),截图最后(用于画布、无名称图标或页面校验)。

50%
待验证

SA-CUA 高度依赖无障碍树的质量和覆盖率,对于无障碍信息不完整的应用或界面,规则推导的有效性需要进一步验证。

50%
待验证

SA-CUA 是一个双LLM框架,用于为电脑使用Agent建立可信边界,其核心是从无障碍树中推导出保守的确定性规则,在特权LLM的截图上隔离可信内容和不可信内容。

50%
待验证

部分应用(尤其是自绘UI的游戏、部分桌面软件)无障碍信息稀疏甚至缺失,此时SA-CUA的规则推导会失效,需要退回其他机制。

50%
待验证

计算机使用(computer use)能力让模型通过截图或读取界面可访问性树观察屏幕状态,然后输出点击坐标、键盘输入等操作指令

50%
待验证

Playwright MCP 使用无障碍快照(accessibility snapshot)即网页无障碍树的结构化数据,而非截图或视觉模型来操控浏览器

50%
待验证

AI智能体感知网页主要有三种方式:直接看渲染后的页面截图(视觉模型)、读取渲染后的DOM、读取无障碍树

50%
待验证

无障碍树由浏览器根据DOM和ARIA属性自动构建,每个节点包含角色(role)、名称(name)和状态(state)三个关键属性

50%
待验证

基于无障碍树的浏览器交互方案相比截图+视觉识别方案Token消耗大幅降低,且在表单填写、下拉选择等精细操作上可靠性更高

50%
待验证

无障碍树的节点数量通常只有DOM节点的10%-20%,因为纯样式容器、不可见元素和装饰性图片会被过滤

50%

来源文章