CondenseVLA
一种多帧视觉-语言-动作(VLA)策略模型,在解码器侧引入可学习的历史压缩模块,通过可学习查询和交叉注意力将历史帧特征压缩为固定数量的 slot token,实现高效多帧推理。
时间轴 (近 90 天)
CondenseVLA 是一种多帧视觉-语言-动作(VLA)策略,其关键组件是解码器侧的可学习历史压缩模块。
CondenseVLA 使用一组可学习的查询和多头交叉注意力,将观测历史蒸馏为固定数量的 slot token。
CondenseVLA 的压缩发生在解码阶段而非编码阶段,VLM 主干无需为每一帧重复计算。
CondenseVLA 的 slot token 数量是预设超参数,不随历史窗口长度变化,因此解码器计算量保持恒定。
CondenseVLA 引入辅助正则化:惩罚 slot 注意力图之间的重叠,并对 slot 嵌入做去相关处理。
CondenseVLA 在 Simpler-WidowX 基准上成功率从 58.7% 提升至 69.8%,绝对提升 11.1 个百分点。
CondenseVLA 在 LIBERO 基准上达到 97.2% 的成功率。
CondenseVLA 在真实世界任务上达到 52.8% 的成功率。
CondenseVLA 在依赖记忆的 RMBench 基准上成功率为 21.6%。
CondenseVLA 项目页面已在 GitHub 公开,地址为 https://github.com/FeiyangHong/CondenseVLA。
还有 3 条时间轴事件
全部知识事实 (13)
CondenseVLA 是一种多帧视觉-语言-动作(VLA)策略,其关键组件是解码器侧的可学习历史压缩模块。
50%待验证CondenseVLA 使用一组可学习的查询和多头交叉注意力,将观测历史蒸馏为固定数量的 slot token。
50%待验证CondenseVLA 的压缩发生在解码阶段而非编码阶段,VLM 主干无需为每一帧重复计算。
50%待验证CondenseVLA 的 slot token 数量是预设超参数,不随历史窗口长度变化,因此解码器计算量保持恒定。
50%待验证CondenseVLA 引入辅助正则化:惩罚 slot 注意力图之间的重叠,并对 slot 嵌入做去相关处理。
50%待验证CondenseVLA 在 Simpler-WidowX 基准上成功率从 58.7% 提升至 69.8%,绝对提升 11.1 个百分点。
50%待验证CondenseVLA 在 LIBERO 基准上达到 97.2% 的成功率。
50%待验证CondenseVLA 在真实世界任务上达到 52.8% 的成功率。
50%待验证CondenseVLA 在依赖记忆的 RMBench 基准上成功率为 21.6%。
50%待验证RMBench 上 21.6% 的成功率表明,依赖长期记忆或多观测推理的任务仍是 CondenseVLA 的短板。
50%待验证在压缩模块中引入层次化或自适应窗口机制可能进一步突破记忆依赖任务的瓶颈。
50%待验证有限窗口加压缩的策略在需要跨越更长时间跨度或更复杂观测组合的任务上仍会触顶。
50%待验证CondenseVLA 项目页面已在 GitHub 公开,地址为 https://github.com/FeiyangHong/CondenseVLA。
50%