ViSkill
视觉原生技能学习框架,将成功交互编码为复合视觉技能卡供VLM智能体在推理与奖励塑造中直接调用,通过闭环反馈实现技能库与策略的互相强化
时间轴 (近 90 天)
ViSkill 是一个视觉原生技能学习框架,让 VLM 智能体将成功交互编码为复合视觉技能卡,在推理与奖励塑造中直接调用,并通过闭环反馈让技能库与策略彼此强化。
ViSkill 在 Sokoban、FrozenLake 与 PrimitiveSkill 三个环境上取得 0.89 的总体成功率,启用冷启动后提升至 0.91。
ViSkill 把技能卡以视觉形式存储,并在推理时作为图像上下文喂给 VLM,让模型自身的视觉编码器处理几何结构,而非先由外部流程将空间关系翻译成文字。
ViSkill 框架的上限在一定程度上受限于所选 VLM 的空间感知能力。
ViSkill 用于奖励塑形的额外奖励来自检索到的视觉技能卡,而非人工设计的启发式函数。
ViSkill 报告其表现超过了所有被评测的专有与开源基线,同时比标准 PPO 收敛得更快。
ViSkill 的代码已在 GitHub 开源,仓库为 ZJU-REAL/ViSkill。
ViSkill 提供可选的冷启动机制,用于加速早期阶段的学习,让智能体在技能库尚不丰富时也能较快起步。
全部知识事实 (8)
ViSkill 提供可选的冷启动机制,用于加速早期阶段的学习,让智能体在技能库尚不丰富时也能较快起步。
50%待验证ViSkill 在 Sokoban、FrozenLake 与 PrimitiveSkill 三个环境上取得 0.89 的总体成功率,启用冷启动后提升至 0.91。
50%待验证ViSkill 把技能卡以视觉形式存储,并在推理时作为图像上下文喂给 VLM,让模型自身的视觉编码器处理几何结构,而非先由外部流程将空间关系翻译成文字。
50%待验证ViSkill 框架的上限在一定程度上受限于所选 VLM 的空间感知能力。
50%待验证ViSkill 用于奖励塑形的额外奖励来自检索到的视觉技能卡,而非人工设计的启发式函数。
50%待验证ViSkill 报告其表现超过了所有被评测的专有与开源基线,同时比标准 PPO 收敛得更快。
50%待验证ViSkill 是一个视觉原生技能学习框架,让 VLM 智能体将成功交互编码为复合视觉技能卡,在推理与奖励塑造中直接调用,并通过闭环反馈让技能库与策略彼此强化。
50%待验证ViSkill 的代码已在 GitHub 开源,仓库为 ZJU-REAL/ViSkill。
50%