CondenseVLA：可学习历史压缩让多帧VLA更高效

视觉-语言-动作模型（VLA）在机器人操作中逐渐成为主流，但单帧观测往往无法消解短时接触、临时遮挡等模糊线索，必须依赖时间维度上的信息整合。扩大历史窗口是直观解法，却带来计算成本激增和冗余采样问题。CondenseVLA 提出一种可学习的解码侧历史压缩模块，试图在有限计算预算下高效利用多帧视觉上下文。

多帧 VLA 的瓶颈：历史窗口越大越好吗？

机器人操作依赖的短时线索——例如抓取瞬间的接触、物体被遮挡后的重现、中间状态的变化——在单帧图像中常常模棱两可。直觉上，扩大历史窗口能提供更多上下文，但原始素材指出，这种做法计算代价高，且因观测冗余和任务无关的固定采样策略，收益往往有限。

换句话说，问题不在于“看多少帧”，而在于“看哪些帧、如何整合”。CondenseVLA 的出发点正是放弃暴力扩大窗口，转而学习压缩历史。

VLA（视觉-语言-动作模型） 是一类将视觉感知、自然语言指令与机器人动作生成统一建模的策略模型。典型架构以预训练的视觉-语言模型（VLM）为主干，将相机图像和任务文本编码为多模态特征，再由动作解码头输出机械臂的末端位姿或关节控制量。VLA 的核心优势在于利用互联网规模预训练获得的语义先验，使机器人能够泛化到未见过的物体和指令。然而，标准 VLA 通常以单帧或少量帧作为输入，缺乏对时间连续性的显式建模，因此在抓取接触、遮挡恢复等依赖短时动态的场景中容易产生歧义。CondenseVLA 正是在这一背景下，探索如何在不显著增加计算负担的前提下，为 VLA 注入多帧历史信息。

CondenseVLA 的核心设计：解码器侧的可学习压缩

CondenseVLA 是一个多帧 VLA 策略，其关键组件是解码器侧的历史压缩模块。具体流程是：VLM 主干网络先缓存每一帧的特征序列，随后 CondenseVLA 使用一组可学习的查询（learnable queries）和多头交叉注意力，将观测历史蒸馏为固定数量的 slot token。

这种设计的巧妙之处在于，压缩发生在解码阶段而非编码阶段，VLM 主干无需为每一帧重复计算，历史信息以轻量 token 的形式进入动作解码。固定数量的 slot 也意味着计算开销不随历史窗口线性增长，为实时控制留出空间。

辅助正则化：让 slot 分工明确

如果任由模型自由学习，多个 slot 容易关注相似区域，造成信息重复。CondenseVLA 引入简单的辅助正则化：一方面惩罚 slot 注意力图之间的重叠，另一方面对 slot 嵌入做去相关处理，鼓励每个 slot 关注互补的视觉证据。

这种正则化不增加推理负担，却显著提升了压缩效率。原始素材将其描述为“简单”的辅助损失，说明方法并未依赖复杂结构，而是通过训练信号引导 slot 专业化。

可学习查询（learnable queries）与交叉注意力 是 Transformer 中用于信息聚合的常见机制。一组随机初始化、随训练更新的查询向量，通过多头交叉注意力从输入序列（此处为历史帧的特征序列）中自适应地提取信息，输出固定数量的 token。与池化或固定采样不同，查询向量能够根据任务损失信号学习到“该关注哪些帧、哪些区域”，从而实现内容感知的压缩。在 CondenseVLA 中，slot token 的数量是预设的超参数，不随历史窗口长度变化，因此解码器的计算量保持恒定。这种设计将“选择哪些历史帧”的决策从人工规则转移到了模型训练中，是该方法实现高效多帧推理的关键。

注意力图重叠惩罚与嵌入去相关 是两种常见的表征多样性正则化手段。注意力图重叠惩罚通常通过最小化不同 slot 注意力分布之间的余弦相似度或点积来实现，迫使每个 slot 关注历史帧中不同的空间区域或时间片段。嵌入去相关则对 slot 向量的协方差矩阵施加惩罚，降低各 slot 表征之间的线性相关性，防止信息冗余。两者都不改变推理时的网络结构，仅在训练阶段作为辅助损失加入，因此不会增加部署开销。这类正则化在视觉问答、目标检测和视频理解中均有应用先例，CondenseVLA 将其迁移到历史压缩场景，以较小的工程代价换取了 slot 的专业化分工。

实验结果：多任务上的稳定提升

CondenseVLA 在多个评测基准上给出了量化结果：

• Simpler-WidowX：成功率从 58.7% 提升至 69.8%，绝对提升 11.1 个百分点；
• LIBERO：达到 97.2%；
• 真实世界任务：达到 52.8%；
• 依赖记忆的 RMBench：成功率为 21.6%。

这些数字覆盖了仿真与真实场景，表明选择性压缩近期视觉证据对动作解码确有帮助。不过，RMBench 上 21.6% 的成功率也提示，依赖长期记忆或多观测推理的任务仍是短板。原始素材明确承认，更难的多观测任务暴露了有限历史窗口的局限。

有限窗口的天花板与未来方向

CondenseVLA 的价值在于验证了一个方向：与其无限扩大历史窗口，不如让模型学会选择性地压缩近期证据。固定 slot 的设计在效率与性能之间取得了平衡，但 21.6% 的 RMBench 成绩说明，当任务需要跨越更长的时间跨度或更复杂的观测组合时，有限窗口加压缩的策略仍会触顶。

项目页面已公开（https://github.com/FeiyangHong/CondenseVLA），后续若能在压缩模块中引入层次化或自适应窗口机制，或许能进一步突破记忆依赖任务的瓶颈。对于关注 VLA 效率与多帧推理的研究者和工程师，CondenseVLA 提供了一个值得参考的轻量化解法。