论文DeskForge-1M
DeskForge
一种面向计算机操作智能体的可控桌面监督数据生成框架，通过融合屏幕截图、无障碍树和窗口几何信息生成密集标注数据集，用于训练视觉语言模型的UI元素定位能力
时间轴 (近 90 天)
10月5日
DeskForge提出了一套可控的桌面环境数据生成方案，通过组合与探索真实应用程序大规模生成监督数据
待验证50%
10月5日
DeskForge将屏幕截图、无障碍树和窗口几何信息三种信息源融合成密集的元素级标注
待验证50%
10月5日
DeskForge在应用状态、内容、窗口布局、外观和分辨率等多个维度上系统性地变化场景
待验证50%
10月5日
所有四个微调模型在保留的桌面测试条件及全部五个外部GUI grounding基准上都获得提升
待验证50%
10月5日
DeskForge的框架代码、数据集与微调模型均已在项目主页开放
待验证50%