PhyMetric
面向文本到视频生成模型的物理合理性诊断型基准,通过场景级二元问答评估生成视频是否遵守物理规律,涵盖重力、碰撞、形变、流体、光照等维度
时间轴 (近 90 天)
PhyMetric 是一个诊断型基准,将文本到视频(T2V)生成的物理合理性评估重构为可验证的场景级问答。
PhyMetric 包含 1,115 个场景,横跨 6 个领域、50 个物理类别。
PhyMetric 配有 8,920 道答案均衡的二元问题,分布在 12 个评测维度上。
PhyMetric 中每个场景配八道二元(是/否)问题,覆盖重力、碰撞、形变、流体、光照等物理维度。
PhyMetric 的评测由一个 VLM 作为裁判,在问题感知的采样帧上作答,再按场景、维度、物理类别、模型四个层级聚合正确率。
PhyMetric 中每个场景附带结构化物理先验,包含支配该场景的物理规律、预期时间序列、可观察特征信号以及常见失败模式四条信息。
当把有针对性的二元问题替换为泛泛的'这段视频物理上合理吗'式提问时,VLM 裁判的准确率跌到随机猜测水平。
场景级二元问答是 PhyMetric 评测协议的关键组件,而非可选装饰;泛化的合理性感知无法承载具体的物理推断。
作者在四个开源 T2V 模型和三个 VLM 裁判上完成了系统实验,验证了 PhyMetric 的区分度。
PhyMetric 项目页面已在 https://mengsiwei.github.io/PhyMetric/ 公开。
全部知识事实 (10)
PhyMetric 是一个诊断型基准,将文本到视频(T2V)生成的物理合理性评估重构为可验证的场景级问答。
50%待验证PhyMetric 包含 1,115 个场景,横跨 6 个领域、50 个物理类别。
50%待验证PhyMetric 配有 8,920 道答案均衡的二元问题,分布在 12 个评测维度上。
50%待验证PhyMetric 中每个场景配八道二元(是/否)问题,覆盖重力、碰撞、形变、流体、光照等物理维度。
50%待验证PhyMetric 的评测由一个 VLM 作为裁判,在问题感知的采样帧上作答,再按场景、维度、物理类别、模型四个层级聚合正确率。
50%待验证PhyMetric 中每个场景附带结构化物理先验,包含支配该场景的物理规律、预期时间序列、可观察特征信号以及常见失败模式四条信息。
50%待验证当把有针对性的二元问题替换为泛泛的'这段视频物理上合理吗'式提问时,VLM 裁判的准确率跌到随机猜测水平。
50%待验证场景级二元问答是 PhyMetric 评测协议的关键组件,而非可选装饰;泛化的合理性感知无法承载具体的物理推断。
50%待验证作者在四个开源 T2V 模型和三个 VLM 裁判上完成了系统实验,验证了 PhyMetric 的区分度。
50%待验证PhyMetric 项目页面已在 https://mengsiwei.github.io/PhyMetric/ 公开。
50%