PhysiCalWorld
一种世界模型测试时自适应方法,通过主动探索视频提取物理描述符令牌,作为上下文提示注入世界模型,无需微调或物理标签即可校准场景物理属性。
时间轴 (近 90 天)
PhysiCalWorld通过上下文提示(in-context prompting)让世界模型在测试时快速校准到当前场景的物理特性,无需微调模型参数。
PhysiCalWorld不依赖任何物理标签或解析建模,而是通过一段在测试场景中主动探索的交互视频片段,提取出一个紧凑的物理描述符令牌(physics descriptor token)。
PhysiCalWorld采用端到端训练,仅使用潜在的预测损失(latent prediction loss),无需任何人工标注的物理参数。
在推理阶段,描述符令牌只需提取一次,即可在多次推演(rollout)中重复使用,计算开销几乎可以忽略。
研究团队在四个覆盖多种物理变化的环境中对PhysiCalWorld进行了评估。
实验结果表明,PhysiCalWorld显著提升了推演预测的准确性和视觉规划任务的成功率。
学习到的物理描述符形成了一个具有物理结构的潜在空间(physically structured latent space),使模型能泛化到训练时未出现的物理条件。
PhysiCalWorld的一个潜在局限是,它需要一段探索性交互片段作为输入,这在实际应用中可能需要额外的主动探索策略。
PhysiCalWorld将上下文校准的思路首次系统性地应用于物理动态建模。
全部知识事实 (9)
PhysiCalWorld通过上下文提示(in-context prompting)让世界模型在测试时快速校准到当前场景的物理特性,无需微调模型参数。
50%待验证PhysiCalWorld不依赖任何物理标签或解析建模,而是通过一段在测试场景中主动探索的交互视频片段,提取出一个紧凑的物理描述符令牌(physics descriptor token)。
50%待验证PhysiCalWorld采用端到端训练,仅使用潜在的预测损失(latent prediction loss),无需任何人工标注的物理参数。
50%待验证在推理阶段,描述符令牌只需提取一次,即可在多次推演(rollout)中重复使用,计算开销几乎可以忽略。
50%待验证研究团队在四个覆盖多种物理变化的环境中对PhysiCalWorld进行了评估。
50%待验证实验结果表明,PhysiCalWorld显著提升了推演预测的准确性和视觉规划任务的成功率。
50%待验证学习到的物理描述符形成了一个具有物理结构的潜在空间(physically structured latent space),使模型能泛化到训练时未出现的物理条件。
50%待验证PhysiCalWorld的一个潜在局限是,它需要一段探索性交互片段作为输入,这在实际应用中可能需要额外的主动探索策略。
50%待验证PhysiCalWorld将上下文校准的思路首次系统性地应用于物理动态建模。
50%