Accessibility Tree
浏览器为屏幕阅读器暴露的语义化结构，相较于原始DOM具有更高信噪比，被OpenAI、Anthropic等机构的Agent框架广泛用于网页内容理解
核心事实
时间轴 (近 90 天)
主流浏览器Agent框架如Playwright Agent、Browser Use普遍采用可访问性树与视觉截图相结合的方案处理复杂UI
可访问性树（Accessibility Tree）是浏览器为辅助技术暴露的结构化UI状态信息，包含aria-checked、aria-selected等控件状态属性
文本化读取在技术上依赖系统级的无障碍访问树（Accessibility Tree）
当应用的可访问性标注残缺时（如部分老旧桌面软件或定制化Web框架），读取结构方案仍需回退到视觉识别兜底
读取界面结构的技术路径通常借助操作系统或应用框架暴露的可访问性树（Accessibility Tree）实现，如Windows的UI Automation、macOS的Accessibility API和浏览器的DOM树
无障碍树以树状形式描述界面元素的角色、名称、状态和层级关系，与视觉像素坐标解耦，定位依赖元素语义身份而非视觉位置，因此不会因布局调整而使测试崩溃
与截图相比，可访问性树信息密度更高、token消耗更少、不受视觉渲染影响，但部分动态内容或自定义组件可能映射不完整
基于 DOM/Accessibility Tree 的方案速度更快、成本更低，但在动态页面上容易出现元素定位失效
降低浏览器智能体动作空间的主流策略包括对 DOM 树剪枝、用无障碍树替代完整 HTML、对元素标号后让模型输出编号
OSWorld和WindowsAgentArena等主流GUI智能体基准已开始结合可访问性树进行状态验证
还有 3 条时间轴事件
全部知识事实 (18)
浏览器自动化Agent通过DOM解析、视觉识别或无障碍树（Accessibility Tree）来定位网页元素并模拟人类操作
75%已验证无障碍树是浏览器基于DOM构建的语义化树状结构，剥离视觉样式信息，保留每个元素的角色、名称、状态和属性等语义信息
65%已验证Accessibility 树相比原始 HTML DOM 过滤了大量纯视觉样式信息，保留语义层面的可交互元素，能在降低 token 消耗的同时提升 Agent 感知准确性
65%待验证Codex Computer Use系统同时接收屏幕截图和Accessibility Tree（无障碍控件树）数据来理解界面
85%待验证业界正在探索的Computer Use优化方向包括本地运行轻量级视觉模型、预测性缓存减少截图频率、利用Accessibility Tree跳过截图进行结构化推理
75%待验证屏幕阅读器（如NVDA、JAWS、VoiceOver）依赖浏览器暴露的可访问性树（Accessibility Tree）来理解页面结构
60%待验证主流浏览器Agent框架如Playwright Agent、Browser Use普遍采用可访问性树与视觉截图相结合的方案处理复杂UI
50%待验证可访问性树（Accessibility Tree）是浏览器为辅助技术暴露的结构化UI状态信息，包含aria-checked、aria-selected等控件状态属性
50%待验证文本化读取在技术上依赖系统级的无障碍访问树（Accessibility Tree）
50%待验证当应用的可访问性标注残缺时（如部分老旧桌面软件或定制化Web框架），读取结构方案仍需回退到视觉识别兜底
50%待验证读取界面结构的技术路径通常借助操作系统或应用框架暴露的可访问性树（Accessibility Tree）实现，如Windows的UI Automation、macOS的Accessibility API和浏览器的DOM树
50%待验证无障碍树以树状形式描述界面元素的角色、名称、状态和层级关系，与视觉像素坐标解耦，定位依赖元素语义身份而非视觉位置，因此不会因布局调整而使测试崩溃
50%待验证与截图相比，可访问性树信息密度更高、token消耗更少、不受视觉渲染影响，但部分动态内容或自定义组件可能映射不完整
50%待验证基于 DOM/Accessibility Tree 的方案速度更快、成本更低，但在动态页面上容易出现元素定位失效
50%待验证降低浏览器智能体动作空间的主流策略包括对 DOM 树剪枝、用无障碍树替代完整 HTML、对元素标号后让模型输出编号
50%待验证可访问性树相比原始像素截图对视觉样式变化具有更强的鲁棒性，因为按钮换颜色或位置时语义属性可保持不变
50%待验证可访问性树（Accessibility Tree）是操作系统提供的结构化界面表示，将每个控件抽象为带有角色、名称、状态等属性的树状节点
50%待验证OSWorld和WindowsAgentArena等主流GUI智能体基准已开始结合可访问性树进行状态验证
50%