待验证50% 置信解决方案精确时间
一些成熟的视觉Agent框架(如SeeAct、WebVoyager)引入Set-of-Mark(SoM)技术,在截图上为可交互元素标注编号标记,将坐标定位问题转化为选择题
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/7
首次发现
有效期至：2026/12/6
来源
涉及实体
相关事实
待验证Set-of-Mark（SoM）是微软研究院提出的视觉提示方法，通过在截图上叠加数字标签或彩色边框标注可交互元素，将视觉定位问题转化为选择问题79% 相似待验证Annotate App的视觉标注模式与计算机视觉领域的Set-of-Mark（SoM）提示技术有相似之处75% 相似待验证图像条件化方案通常借助CLIP视觉编码器（ViT架构）将参考图映射到与文本嵌入共享的语义空间，再通过交叉注意力（Cross-Attention）机制将视觉特征注入UNet的去噪过程69% 相似待验证Lovable支持上传截图、Figma线框图甚至手绘草图作为视觉参考来构建应用67% 相似待验证视觉模型接收每张屏幕截图并输出结构化信息，包括OCR识别文本、页面布局、UI控件的像素坐标框及元素状态67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/874382API
curl https://kongchang.com/api/v1/knowledge/claims/874382MCP
get_claim(id=874382)