JADE
一种视觉-语言-动作(VLA)模型架构,让预训练VLM在扩散去噪循环中动态读取带噪动作潜变量,通过门控交叉注意力引导动作专家,实现联合去噪与动作生成。
时间轴 (近 90 天)
JADE(Joint Action DEnoiser)是一种让VLM与动作专家共同参与动作精炼过程的VLA架构方法。
JADE让VLM在每个去噪步骤读取当前带噪的动作潜变量,并结合多模态输入进行上下文化处理。
JADE通过门控交叉注意力机制,让VLM根据当前噪声动作状态动态调节引导信号的权重。
JADE的训练目标包括监督VLM从带噪动作潜变量中恢复干净动作潜变量。
JADE能够以更少的采样步骤生成动作,从而部分抵消VLM参与带来的额外计算成本。
JADE引入了自适应步长调度策略,在任务性能与推理延迟之间取得平衡。
在RoboDojo基准上,JADE取得了12.67%的平均成功率。
在RoboDojo基准上,JADE在所有基于π₀.₅的评估方法中排名最高。
在RoboTwin 2.0上,JADE同样带来性能提升。
在四项真实世界双臂操作任务中,JADE相比π₀.₅将平均成功率提升了20.8个百分点。
全部知识事实 (10)
JADE(Joint Action DEnoiser)是一种让VLM与动作专家共同参与动作精炼过程的VLA架构方法。
50%待验证JADE让VLM在每个去噪步骤读取当前带噪的动作潜变量,并结合多模态输入进行上下文化处理。
50%待验证JADE通过门控交叉注意力机制,让VLM根据当前噪声动作状态动态调节引导信号的权重。
50%待验证JADE的训练目标包括监督VLM从带噪动作潜变量中恢复干净动作潜变量。
50%待验证JADE能够以更少的采样步骤生成动作,从而部分抵消VLM参与带来的额外计算成本。
50%待验证JADE引入了自适应步长调度策略,在任务性能与推理延迟之间取得平衡。
50%待验证在RoboDojo基准上,JADE取得了12.67%的平均成功率。
50%待验证在RoboDojo基准上,JADE在所有基于π₀.₅的评估方法中排名最高。
50%待验证在RoboTwin 2.0上,JADE同样带来性能提升。
50%待验证在四项真实世界双臂操作任务中,JADE相比π₀.₅将平均成功率提升了20.8个百分点。
50%