模型Dwell框架
Dwell
一种面向VLM智能体的强化学习框架,将VLM自身作为循环潜在转移算子,在潜在空间中预测未来并改进策略,无需独立世界模型
时间轴 (近 90 天)
10月28日
Dwell框架将VLM重新构建为循环潜在转移算子,使模型同时扮演世界模型和策略两个角色。
待验证50%
10月28日
Dwell在五个交互式视觉环境中取得了可训练方法中最强的整体性能。
待验证50%
10月28日
Dwell大幅减少了想象所需的计算量,相比像素级重建方法。
待验证50%
10月28日
Dwell的核心洞察是:VLM不需要重建未来,只需预测对行动有用的未来。
待验证50%
10月28日
Dwell中的潜在想象只关注对决策有用的抽象特征,而不要求潜在状态可解码回图像。
待验证50%
10月28日
Dwell在真实交互和潜在想象之间循环,实现持续学习。
待验证50%