MindView：多视图空间智能生成基准，11个模型均不及格

多视图空间智能是AI理解三维环境的关键能力，但现有评测多集中在单图编辑或静态场景理解。近期提出的 MindView 基准填补了这一空白，它系统评估模型能否根据部分多视图观测生成空间一致的视图。该基准包含来自513个场景的1500个样本，覆盖三个室内数据集，并设计了七项任务，分为几何主导和语义主导两类。几何主导任务指定相机位置和方向的变化，要求模型生成对应视图；语义主导任务则需通过指代物体、空间关系和参考系线索推断目标视点。

七项任务与评测设计

MindView 的七项任务覆盖了从简单相机运动到复杂语义推理的谱系。几何主导任务直接给出相机参数变化，考验模型对三维空间变换的建模能力；语义主导任务则更接近人类的空间推理，例如“将相机移到桌子左侧并面向窗户”这类指令，需要模型先定位物体、理解相对关系，再推断出目标视点。这种设计让评测不再局限于像素级生成质量，而是深入到空间一致性和语义接地层面。

十一款生成器的集体困境

研究团队评测了十一个主流生成模型，结果显示整体表现距离实用仍有显著差距。更关键的是，在配对上下文分析中，所有十一个生成器在扩展上下文设置下总体得分均出现下降——这意味着当提供更多参考视图时，模型反而更难有效利用信息。这一发现直指当前多视图生成的核心瓶颈：模型缺乏对多源空间证据的筛选与整合能力。

扩展上下文（Extended Context） 在此处指模型生成目标视图时接收到的参考视图数量超出常规设定。通常多视图生成模型在训练时仅使用少量（如1-2张）参考视图，而MindView的评测中会逐步增加参考视图数量，模拟更丰富但更冗余的输入条件。理论上，更多参考视图应提供更充分的空间信息，有助于生成更准确的视图；但实验发现，所有模型在扩展上下文下得分反而下降。这揭示了模型普遍缺乏对多源信息的筛选与加权能力，容易受到无关或噪声视图的干扰，导致空间推理混乱。该现象类似于长上下文语言模型中的“中间信息丢失”问题，说明多视图生成模型同样需要设计有效的证据选择机制。

微调带来的双重收益

为验证任务特定监督的价值，作者在 MindView 训练集上微调了 BAGEL 模型。微调后，BAGEL 的总体得分提升了24.3分，且在全部七项任务上均有增益。更有趣的是，该微调模型在三个空间理解基准上也取得了更高分数，尽管并未使用这些基准的标注训练。这表明，学习生成空间接地的视图可能反过来增强空间理解能力，生成与理解之间存在正向迁移。

BAGEL 是一种基于扩散模型的多视图生成架构，其核心设计是将多视图生成视为序列化的视图合成过程，并利用注意力机制在视图间传递信息。BAGEL 在训练时采用大规模多视图数据集，具备一定的空间一致性基础，但在零样本评测中仍存在明显不足。MindView 作者选择 BAGEL 作为微调对象，是因为它代表了当前多视图生成的主流范式，且其开源权重便于复现。在 MindView 训练集上进行任务特定微调后，BAGEL 不仅学会了根据相机参数和语义指令生成对应视图，还隐式强化了对三维空间关系的建模能力。这种“生成式空间学习”与纯判别式空间理解任务之间的正向迁移，为多模态模型的空间智能训练提供了新思路。

MindCue：无需训练的证据选择器

针对扩展上下文下性能下降的问题，研究者提出 MindCue——一个由目标视图假设引导的免训练空间证据选择器。MindCue 通过假设目标视图来筛选最相关的参考视图，从而逆转了扩展上下文下的得分下降趋势，并超越了标准上下文基线。这一方法为多视图生成中的证据利用提供了轻量级解决方案。

MindView 的贡献在于构建了一个可操作的测试平台，既暴露了当前生成模型在空间一致性上的不足，也展示了通过微调和证据选择提升性能的可行路径。随着多视图生成在机器人、AR/VR等领域的应用需求增长，这类基准将推动模型从“生成好看图片”走向“生成空间正确的场景”。

免训练（Training-free） 方法指不更新模型参数、仅通过推理阶段的设计来提升性能。MindCue 的核心思想是：给定目标视图的假设（例如粗略的相机位姿或场景布局），计算每个参考视图与该假设的空间相关性，并据此对参考视图进行加权或筛选。具体而言，MindCue 可能利用预训练模型提取的视图特征，通过注意力或相似度度量来评估参考视图的信息量，剔除冗余或矛盾的视图，保留最有助于目标视图生成的证据。这种“先假设后选择”的策略无需额外标注或微调，即可嵌入现有生成流程，显著降低了部署成本，同时为多视图生成中的上下文管理提供了可解释的轻量级方案。