待验证50% 置信观点精确时间
真正理解创意意图需要同时处理视觉素材和对话语境并将两者关联，涉及多模态大模型（如GPT-4V或Gemini）的能力边界
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/23
首次发现
有效期至：2026/12/22
来源
涉及实体
相关事实
待验证学术界将 GUI Agent 的感知方式分为视觉感知派（借助多模态大模型如 GPT-4V、Claude 3 进行像素级理解）和结构感知派（解析 DOM 树或 Accessibility Tree）两大流派71% 相似待验证Gemini 等多模态大模型将 OCR 能力内化为视觉理解的一部分，直接接收图片像素输入并联合推理，能理解版面布局和语义上下文70% 相似待验证将稀疏可解释性方法拓展到视觉领域面临独特挑战，因为视觉特征具有更强的空间相关性、层次性和组合性68% 相似待验证该方法通过视觉示例而非文本描述来定义目标类别，与OWL-ViT、Grounding DINO等通过视觉-语言对齐实现开放词汇能力的方法不同66% 相似待验证在多模态工具调用配置中，视觉模型必须开启History，否则视觉模型无法获取前面聊天中已经发生的上下文信息65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/943940API
curl https://kongchang.com/api/v1/knowledge/claims/943940MCP
get_claim(id=943940)