GUI-JEPA
一种基于联合嵌入预测架构（JEPA）的移动GUI智能体策略，通过候选动作评分在潜空间中直接选择动作，无需文本解码，显著提升推理速度并降低参数量。
时间轴 (近 90 天)
GUI-JEPA 提出了一种无需自回归文本解码、直接在潜空间中完成动作选择的移动 GUI 智能体策略。
GUI-JEPA 的核心思路是预先枚举离散候选动作，由模型在单次批量前向传播中对所有候选打分并选择最高分者，全程不生成文本 token。
GUI-JEPA 架构包含在无标签 GUI 截图上预训练的 JEPA 编码器、以动作和区域为条件的潜预测器，以及轻量级评分头。
在 AndroidControl 基准上，GUI-JEPA 的推理速度是用相同输入微调的 Qwen2.5-VL-7B 智能体的 2.8 至 4.0 倍。
GUI-JEPA 仅使用 Qwen2.5-VL-7B 约 6% 的参数量，便达到了后者在 AndroidControl 分布内精度 86% 至 92% 的水平。
实验表明，随机初始化的潜预测器与经过屏幕动态预训练的潜预测器在 GUI-JEPA 中表现相当，即决策用潜预测器无需预训练。
GUI-JEPA 目前仅在 AndroidControl 上验证，动作空间和任务类型相对有限，跨平台泛化能力尚未充分验证。
在精度敏感场景中，7B 级大模型 VLM 相对 GUI-JEPA 仍有存在价值（86% 至 92% 的精度保留率意味着 8% 至 14% 的精度损失）。
全部知识事实 (8)
GUI-JEPA 提出了一种无需自回归文本解码、直接在潜空间中完成动作选择的移动 GUI 智能体策略。
50%待验证GUI-JEPA 的核心思路是预先枚举离散候选动作，由模型在单次批量前向传播中对所有候选打分并选择最高分者，全程不生成文本 token。
50%待验证GUI-JEPA 架构包含在无标签 GUI 截图上预训练的 JEPA 编码器、以动作和区域为条件的潜预测器，以及轻量级评分头。
50%待验证在 AndroidControl 基准上，GUI-JEPA 的推理速度是用相同输入微调的 Qwen2.5-VL-7B 智能体的 2.8 至 4.0 倍。
50%待验证GUI-JEPA 仅使用 Qwen2.5-VL-7B 约 6% 的参数量，便达到了后者在 AndroidControl 分布内精度 86% 至 92% 的水平。
50%待验证实验表明，随机初始化的潜预测器与经过屏幕动态预训练的潜预测器在 GUI-JEPA 中表现相当，即决策用潜预测器无需预训练。
50%待验证GUI-JEPA 目前仅在 AndroidControl 上验证，动作空间和任务类型相对有限，跨平台泛化能力尚未充分验证。
50%待验证在精度敏感场景中，7B 级大模型 VLM 相对 GUI-JEPA 仍有存在价值（86% 至 92% 的精度保留率意味着 8% 至 14% 的精度损失）。
50%