在线密集强化学习+规划接地：让UI导航智能体在真实iOS应用上边用边学

小模型做UI导航，为什么总是「学而不精」？

前沿的视觉语言模型在用户界面（UI）导航任务上表现亮眼，但高昂的推理成本让它们难以成为日常工具。另一边，通过监督微调（SFT）或离线强化学习训练的小模型，往往只是记住了静态的操作轨迹——一旦界面稍有变化或出现意外状态，执行就变得脆弱，更谈不上从错误中恢复。

这个矛盾指向一个被忽视的环节：训练环境与真实环境之间的鸿沟。离线数据无法覆盖真实应用的动态反馈，而在线学习又面临成本与安全性的双重约束。最近的一项研究提出了一种针对性的解法：直接在真实 iOS 应用上，用在线密集强化学习训练 UI 导航智能体。

核心思路不是把模型做大，而是把训练范式做「活」——让智能体在规划与执行的分工中，从真实交互里持续获得密集反馈。

在线强化学习与离线强化学习是强化学习按数据来源划分的两大范式。离线强化学习（offline RL）只使用预先收集的固定数据集训练，智能体无法与环境交互产生新数据，因此容易受限于数据分布的覆盖范围，在遇到分布外状态时表现脆弱。在线强化学习（online RL）则允许智能体在训练过程中持续与环境交互，边收集数据边更新策略，能探索到离线数据未覆盖的状态，但代价是交互成本高、在真实系统中可能带来安全风险。本文所述方法选择在线范式，正是为了用真实交互弥补离线数据的分布盲区。

拆解框架：规划与执行解耦的双组件设计

这项工作的关键设计，是把导航智能体拆成两个专门化的组件，其中明确可辨的是一个「规划」模块。这种解耦思路回应了 UI 导航任务的内在结构：

• 规划侧负责理解界面语义、拆解任务目标、决定下一步该做什么；
• 执行侧负责将规划意图落地为具体的界面操作动作。

将两类能力分开，好处在于：规划可以聚焦于「去哪里」，执行可以聚焦于「怎么点」。当某一环节出错时，解耦结构也为定位问题、局部修正提供了空间，而不是让一个端到端模型在黑箱中承担全部压力。

原文摘要对执行组件的细节着墨有限，但可以确定的是，整套框架服务于同一个目标——在实时运行的应用上完成闭环学习，而非依赖预先录制的轨迹数据。

在线密集强化学习：在真实应用上「边做边学」

「在线」与「密集」是这套方法的两个支点。

在线意味着智能体直接与运行中的 iOS 应用交互，获得的是真实、即时的状态反馈。相比离线数据，这能暴露更多长尾场景，也迫使模型面对真实界面的不确定性。

密集则指向奖励信号的设计。UI 导航任务天然存在奖励稀疏的问题——只有在任务最终完成时才有一个明确的成功信号，中间步骤缺乏指导。密集强化学习试图在过程中提供更细粒度的反馈，帮助智能体理解哪些中间决策是有价值的。

这种组合的直接收益，是缓解小模型「背轨迹」的倾向。模型不再只对齐静态样本，而是在持续交互中调整策略，从而提升对错误的恢复能力。原文指出的失败模式——brittle execution 与无法从错误中恢复——正是这一范式想要解决的问题。

奖励稀疏（sparse reward）与奖励密集（dense reward） 是强化学习奖励设计的两种典型形态。稀疏奖励只在任务终局给出成败信号，例如 UI 导航中仅在最终页面正确时返回 1、其余为 0，智能体很难从大量中间步骤中判断哪一步真正有价值，信用分配（credit assignment）问题突出。密集奖励则在轨迹的多个中间状态提供细粒度反馈，如每完成一个子目标或每接近目标一步就给予部分奖励，从而为策略优化提供更丰富的梯度信号。密集奖励的设计难点在于如何定义既准确又可自动获取的中间信号，避免奖励被「刷分」利用。

这项工作的价值与待解问题

从问题定义看，这项研究切中了 UI 导航智能体落地的真实瓶颈：不是模型不够强，而是训练方式与部署环境脱节。在线密集强化学习提供了一个方向，让较小的模型也能在动态环境中保持适应性。

不过，现有公开信息仍有值得追问之处。规划组件的具体实现、密集奖励如何在不干扰真实应用的前提下获取、在线训练的样本效率与稳定性如何保证——这些细节决定了方法能否从框架走向可复现的工程实践。

对关注 AI 应用与智能体方向的从业者而言，这项工作的启示或许不在某个具体模块，而在训练范式的选择：当离线数据的天花板显现时，把学习过程放回真实环境，可能是小模型追赶前沿能力的一条务实路径。

样本效率（sample efficiency） 指智能体达到某一性能水平所需的交互样本数量，是在线强化学习落地的核心指标之一。真实 iOS 应用上的每次交互都伴随时间与算力开销，若样本效率低下，在线训练的成本可能迅速失控。提升样本效率的常见思路包括：利用规划模块缩小动作空间、复用历史交互经验、引入优先采样或模型辅助预测等。此外，在线训练的稳定性还依赖合理的探索策略与奖励归一化，否则策略容易在真实环境的随机反馈下震荡甚至退化。