ViSkill：用视觉原生技能强化VLM智能体

ViSkill 是一个视觉原生技能学习框架，让 VLM 智能体将成功交互编码为复合视觉技能卡，在推理与奖励塑造中直接调用，并通过闭环反馈让技能库与策略彼此强化。在 Sokoban、FrozenLake 与 PrimitiveSkill 上取得 0.89 的总体成功率，加入冷启动后提升至 0.91。

为什么文本化技能会丢信息

技能增强型智能体的核心思路并不新鲜：把成功的轨迹蒸馏成可复用的策略，从而提升样本效率。问题在于，多数方法仍然是"文本中心"的。它们把空间布局、动作与状态的对应关系全部线性化为语言描述，而这一过程会丢掉关键的几何结构。

对于像 Sokoban 这样的推箱子任务，一个箱子相对于目标点的位置、智能体与箱子的朝向关系，往往比任何文字描述都更精确。把这些信息压成文本，模型不得不在推理时重新"脑补"空间关系，误差和歧义随之而来。

VLM（视觉语言模型） 是 ViSkill 这类框架的基础模型。与传统纯文本 LLM 不同，VLM 在预训练阶段同时接触图像与文本，具备把视觉输入映射到语言空间的能力，因而可以直接"看懂"图像中的空间关系。常见代表包括 GPT-4V、Qwen-VL、LLaVA 等。ViSkill 之所以能绕开文本化瓶颈，关键在于它把技能卡以视觉形式存储，并在推理时作为图像上下文喂给 VLM，让模型自身的视觉编码器去处理几何结构，而不必先由外部流程把空间关系翻译成文字再让模型重新还原。这也意味着框架的上限在一定程度上受限于所选 VLM 的空间感知能力。

ViSkill 的做法：视觉技能卡与闭环

ViSkill 提出的是视觉原生的技能学习框架。它不把技能写成文字，而是编码为复合视觉技能卡，VLM 智能体可以直接访问和调用。

这些被检索出的技能有两个用途：一是引导推理，二是参与奖励塑造。同时，成功的轨迹又会被蒸馏回技能库。这样就形成了一个闭环——技能积累与策略改进互相强化，而不是各走各的路。

这一点正是与以往工作的关键差异。此前一些研究虽然引入了视觉证据，但技能的构建与更新和策略优化是分开进行的，双方的相互促进没有被充分挖掘。ViSkill 把两者绑在同一个反馈回路里。

此外，框架还提供了可选的冷启动机制，用于加速早期阶段的学习，让智能体在技能库尚不丰富时也能较快起步。

奖励塑造（reward shaping） 指在不改变任务最终目标的前提下，对环境的原始奖励信号进行改造，加入额外的引导项，使智能体在稀疏奖励场景下也能获得更密集的学习信号。经典做法如基于势函数的奖励塑形（potential-based reward shaping），可保证最优策略不变。ViSkill 的特殊之处在于，用于塑形的额外奖励来自检索到的视觉技能卡，而非人工设计的启发式函数。这样一来，技能库中积累的成功经验会直接转化为对策略的引导，使技能检索、奖励生成和策略更新处在同一个反馈回路中，形成自我强化的循环。

评测结果：0.89 到 0.91

ViSkill 在三个环境上做了评估：Sokoban、FrozenLake 和 PrimitiveSkill。

整体成功率达到 0.89；如果启用冷启动初始化，这一数字升至 0.91。论文称其表现超过了所有被评测的专有与开源基线，同时比标准 PPO 收敛得更快。

代码已在 GitHub 开源（ZJU-REAL/ViSkill）。

PPO（Proximal Policy Optimization，近端策略优化） 是强化学习中最常用的策略梯度算法之一，通过限制每次策略更新的幅度，在训练稳定性与样本效率之间取得平衡，被广泛用作各类任务的基线。ViSkill 报告其收敛速度快于标准 PPO，意味着在相同交互步数内它能更早达到较高成功率。三个评测环境各有侧重：Sokoban 考验长程规划与空间推演，FrozenLake 侧重在随机环境中规避陷阱的决策，PrimitiveSkill 则关注基础技能的复用。跨这三类任务的评估，旨在说明视觉技能卡不局限于单一任务类型。

值得关注的几个信号

第一，把技能"视觉化"而不是"文本化"，是针对空间推理类任务的一种务实选择。文本不是万能的中间表示，至少在几何结构密集的场景中不是。

第二，闭环设计让技能库不是静态的知识缓存，而是随策略一起演化的活体。这一点对长期学习效率的影响，可能比单次成功率数字更值得关注。

第三，冷启动带来的 +0.02 提升幅度不大，但说明早期引导确实有价值。在技能库稀疏的冷启动阶段，如何设计更有效的先验，仍是一个开放问题。