[控场AI]
模型CondenseVLA

CondenseVLA

一种多帧视觉-语言-动作(VLA)策略模型,在解码器侧引入可学习的历史压缩模块,通过可学习查询和交叉注意力将历史帧特征压缩为固定数量的 slot token,实现高效多帧推理。

时间轴 (近 90 天)

10月20日

CondenseVLA 是一种多帧视觉-语言-动作(VLA)策略,其关键组件是解码器侧的可学习历史压缩模块。

待验证50%
10月20日

CondenseVLA 使用一组可学习的查询和多头交叉注意力,将观测历史蒸馏为固定数量的 slot token。

待验证50%
10月20日

CondenseVLA 的压缩发生在解码阶段而非编码阶段,VLM 主干无需为每一帧重复计算。

待验证50%
10月20日

CondenseVLA 的 slot token 数量是预设超参数,不随历史窗口长度变化,因此解码器计算量保持恒定。

待验证50%
10月20日

CondenseVLA 引入辅助正则化:惩罚 slot 注意力图之间的重叠,并对 slot 嵌入做去相关处理。

待验证50%
10月20日

CondenseVLA 在 Simpler-WidowX 基准上成功率从 58.7% 提升至 69.8%,绝对提升 11.1 个百分点。

待验证50%
10月20日

CondenseVLA 在 LIBERO 基准上达到 97.2% 的成功率。

待验证50%
10月20日

CondenseVLA 在真实世界任务上达到 52.8% 的成功率。

待验证50%
10月20日

CondenseVLA 在依赖记忆的 RMBench 基准上成功率为 21.6%。

待验证50%
10月20日

CondenseVLA 项目页面已在 GitHub 公开,地址为 https://github.com/FeiyangHong/CondenseVLA。

待验证50%

还有 3 条时间轴事件

全部知识事实 (13)

来源文章