PhyMetric：用场景级QA诊断文生视频物理合理性

文本到视频（T2V）生成模型已经能产出视觉上以假乱真的片段，但画面逼真并不等于物理正确。一个提示词要求"球从桌上滚落"，模型可能给出球悬停、反向弹起、或凭空消失的画面——这类违背物理因果的失败，用传统的整体质量打分很难定位。PhyMetric 这篇工作提出了一个诊断型基准，把物理合理性评估重构成可验证的场景级问答，让"哪条物理规律被违反、为什么会失败"变得可追溯。

从整体打分到场景级问答

现有 T2V 评测的主要问题是"黑箱"：无论是人工给出一个 1-5 分的合理性评分，还是用视觉语言模型（VLM）做一个宽泛的质量判断，最终只得到一个标量。这个分数既说不清测试的是哪一类物理行为，也无法解释模型失败的具体环节。

PhyMetric 的做法是把每一段生成视频拆解成可回答的具体问题。每个场景配八道二元（是/否）问题，覆盖重力、碰撞、形变、流体、光照等不同维度的物理表现。评测时由一个 VLM 作为裁判，在问题感知的采样帧上作答，再按场景、维度、物理类别、模型四个层级聚合正确率。这种设计把"这段视频物理上合理吗"这种模糊提问，替换成"球是否在接触桌面后改变了运动方向"这类可判定命题。

视觉语言模型（VLM）是一类同时接受图像/视频与文本输入、并能输出文本回答的多模态模型，典型代表包括 GPT-4V、LLaVA、Qwen-VL 等。与只处理单一模态的模型不同，VLM 通过在大规模图文对上预训练，学会了将视觉内容与语言语义对齐，因此可以被赋予"看图答题"的能力。在 PhyMetric 中，VLM 扮演的是自动裁判角色：给定采样帧和一道二元问题，它输出"是"或"否"。这一角色的可靠性直接决定评测结果，所以论文专门用消融实验检验了提问方式对 VLM 判断力的影响。理解 VLM 的能力边界（例如它对细粒度时间推理的弱点），是理解为什么需要场景级提问、以及为什么物理先验的增益会随裁判能力波动的前提。

基准的规模与结构

PhyMetric 包含 1,115 个场景，横跨 6 个领域、50 个物理类别，并配有 8,920 道答案均衡的二元问题，分布在 12 个评测维度上。答案均衡意味着每个问题的是/否标签经过配对控制，避免模型靠猜"是"就能拿到高分——这对基准的可信度至关重要。

除了问题本身，每个场景还附带一份结构化物理先验，明确写出四条信息：支配该场景的物理规律、预期的时间序列、可观察的特征信号、以及常见失败模式。这份先验既是评测前的参考，也能在事后解释模型为什么答错。

答案均衡（answer balance）是构建选择题或判断题基准时常用的质量控制手段。如果一个问题集中是"是"这类肯定答案，模型只要一律回答"是"就能获得高准确率，基准便失去了区分力。答案均衡要求每类问题的是/否标签在分布上大致配对，使得随机猜测的期望准确率停留在 50% 左右，模型必须真正做出判断才能超过这一基线。这也是为什么论文把"VLM 裁判准确率跌到随机猜测水平"作为强证据——它意味着泛化提问下裁判几乎没有任何有效判别能力。类似的均衡思路在视觉问答、常识推理等基准中被广泛采用，是评估协议可信度的基础保障之一。

二元问答不是可选项

论文最具冲击力的发现，来自一个消融式的对照实验。研究者把每一道有针对性的问题，替换成一句泛泛的"这段视频物理上合理吗"式的提问。结果 VLM 裁判的准确率直接跌到随机猜测水平。

这说明场景级二元问答并非评测流程中的锦上添花，而是整个协议的关键组件。当提问变得笼统，裁判的判断力随之瓦解——泛化的合理性感知无法承载具体的物理推断，这一点在多个 VLM 上表现一致。

消融实验（ablation study）是机器学习研究中用来识别某个组件是否必要的方法：研究者刻意移除或替换系统中的某个部分，观察性能变化。如果移除后性能大幅下降，说明该组件是关键；如果几乎无影响，则说明它可能冗余。PhyMetric 的消融把针对性的二元问题替换成泛化的合理性提问，在其他条件保持不变的情况下观察 VLM 裁判表现。这种"只改一个变量"的设计使结论具备因果解释力，而非仅仅相关。它是论文最具冲击力发现的方法论基础，也说明了为什么作者能断言场景级问答是协议的关键组件而非可选装饰。

物理先验带来的互补信号

结构化物理先验的作用则更为微妙。实验显示，先验能提升最终得分与人类判断的对齐度，但提升幅度随 VLM 裁判的能力不同而波动：能力较强的裁判更能利用先验中的时间序列和可观察信号，而较弱的裁判受益有限，甚至可能因为信息过载而表现不稳。

这提示了一个实用结论——物理先验不是万能补丁，它的价值取决于下游裁判能否消化这些结构化信息。对基准设计者而言，先验与裁判能力需要配套考虑。

物理先验（physical prior）在这里指的是对场景应当如何演化的结构化先验知识，包括支配规律（如重力加速度方向）、预期时间序列（如球先接触地面再反弹）、可观察信号（如接触点的形变）以及常见失败模式（如穿透、悬停）。这类先验并非从视频中学习得到，而是由人工或知识库注入，相当于在评测前就告诉裁判"正确应该是什么样"。它与数据驱动判断是互补的：VLM 擅长从像素中识别内容，但在因果与时间推理上容易出错，先验可以为它提供约束。不过注入先验也带来代价——如果裁判无法有效消化这些结构化信息，反而可能因上下文过载而判断退化，这解释了论文观察到的增益随裁判能力波动的现象。

四模型三裁判的实证

作者在四个开源 T2V 模型和三个 VLM 裁判上完成了系统实验。跨模型、跨裁判的组合验证了 PhyMetric 的区分度：不同模型在物理类别上的强项与短板被清晰分离，而不是被压成一个笼统的排名。这正是诊断型基准相对于排行榜式评测的核心价值——它不仅告诉你好不好，还告诉你哪里不好、为什么不好。

物理评测的下一站

把物理合理性从不可解释的整体评分，转变为可逐场景检查的问答协议，是 PhyMetric 的主要贡献。它揭示了一个更普遍的评测原则：当评估目标本身包含复杂的结构化约束时，提问方式的设计与模型能力同等重要。对 T2V 研究者来说，这套基准提供了一个可复用的诊断工具；对评测方法论而言，它给出了一个从"打分"走向"诊断"的样本。项目页面已在 https://mengsiwei.github.io/PhyMetric/ 公开。