[控场AI]
概念ViSkill 框架

ViSkill

视觉原生技能学习框架,将成功交互编码为复合视觉技能卡供VLM智能体在推理与奖励塑造中直接调用,通过闭环反馈实现技能库与策略的互相强化

时间轴 (近 90 天)

10月13日

ViSkill 是一个视觉原生技能学习框架,让 VLM 智能体将成功交互编码为复合视觉技能卡,在推理与奖励塑造中直接调用,并通过闭环反馈让技能库与策略彼此强化。

待验证50%
10月13日

ViSkill 在 Sokoban、FrozenLake 与 PrimitiveSkill 三个环境上取得 0.89 的总体成功率,启用冷启动后提升至 0.91。

待验证50%
10月13日

ViSkill 把技能卡以视觉形式存储,并在推理时作为图像上下文喂给 VLM,让模型自身的视觉编码器处理几何结构,而非先由外部流程将空间关系翻译成文字。

待验证50%
10月13日

ViSkill 框架的上限在一定程度上受限于所选 VLM 的空间感知能力。

待验证50%
10月13日

ViSkill 用于奖励塑形的额外奖励来自检索到的视觉技能卡,而非人工设计的启发式函数。

待验证50%
10月13日

ViSkill 报告其表现超过了所有被评测的专有与开源基线,同时比标准 PPO 收敛得更快。

待验证50%
10月13日

ViSkill 的代码已在 GitHub 开源,仓库为 ZJU-REAL/ViSkill。

待验证50%
10月13日

ViSkill 提供可选的冷启动机制,用于加速早期阶段的学习,让智能体在技能库尚不丰富时也能较快起步。

待验证50%

全部知识事实 (8)

来源文章