VGGT的自我认知：冻结特征预判位姿失败，ROC-AUC 93.5%

前馈式三维重建模型（如VGGT）能在单次前向传播中回归相机位姿与几何结构，却不提供任何不确定性估计——错误的相对位姿与正确的看起来毫无区别。一篇最新研究直接叩问：这个冻结的模型，是否在内部“知道”自己的位姿是错的？

被忽视的盲区：前馈重建没有不确定性

VGGT这类模型把多视图几何压缩成一次网络推理，速度与便捷性吸引了不少关注。代价也很直接：输出只有位姿和点图，没有置信度。下游系统拿到一个相对位姿，无从判断它是否可靠。

研究团队构建了HardMatch基准——1,000对刻意挑选的困难图像对。在这个基准上，VGGT在35%的图像对上失败。问题随之而来：模型能否在失败发生前发出信号？

冻结特征中的“失败探测器”

答案倾向于肯定。研究者用线性探针（linear probe）在VGGT的冻结特征上预测位姿失败，在未见类别上取得了ROC-AUC 93.5% 的表现。作为对比，VGGT自带的点图置信度只有79.7%，而用VGGT全部输出训练的分类器为77.7%。

这个结果的反差值得琢磨：模型自己报告的置信度，反而不如从它的中间特征里“读”出来的失败信号准确。探针捕捉到的，恰恰是VGGT表现得很自信、实际却错了的那些案例。

线性探针（linear probe） 是评估预训练模型内部表征的常用手段：冻结主干网络的参数，仅在其某一层特征之上训练一个简单的线性分类器（或回归器），看这层特征是否已经线性可分地编码了目标任务的信息。若线性探针表现好，说明该信息已被主干显式地表示出来，无需额外非线性映射；若表现差，则说明信息未被编码或需要更强的读出结构。在本例中，探针接在 VGGT 的融合层特征上，只需学习一个权重向量即可输出“该图像对是否会失败”的分数，因此 93.5% 的 ROC-AUC 直接反映的是 VGGT 中间特征本身已含有失败信号，而非探针的拟合能力。

ROC-AUC 衡量的是二分类器在所有可能阈值下区分正负样本的能力，等价于随机抽取一个正样本和一个负样本、正样本得分更高的概率。0.5 相当于随机猜测，1.0 为完美区分；93.5% 意味着绝大多数失败与成功的图像对能被探针正确排序，且该指标不依赖具体阈值的选择，适合评估“失败信号”这类需要下游自行定阈值的场景。

下游系统可以“弃权”

有了可靠的失败预测，下游系统就能在它不信任的图像对上选择弃权（abstain），而不是硬着头皮输出一个可能错误的位姿。这对SLAM、三维重建流水线等场景有直接价值——宁可拒绝，也不要悄悄给出错误结果。

探针还展现出迁移能力：无需重新训练，就能迁移到PhotoTourism和ScanNet-1500上的旋转失败检测，且这种能力超出了共视性（co-visibility）所能解释的范围。

弃权（abstain） 在机器学习中指向系统引入“拒绝作答”这一第三类输出：当置信度低于阈值时，系统不给出预测，而是把样本交由人工、其他模块或后续帧处理。其理论依据是选择性预测（selective prediction）框架——在覆盖率与准确率之间做权衡，用更少的有效输出换取更高的输出可靠性。对 SLAM 与三维重建流水线而言，错误位姿会污染后续的地图构建与优化，代价远高于短暂缺帧；因此“检测到可能失败即跳过该图像对、等待更强的约束”往往比强行输出更划算。这也解释了为何探针的绝对精度重要：弃权阈值需在 HardMatch 这类困难集上校准，才能把误弃与漏弃控制在可接受范围。

知识藏在中层，而非单图编码器

一个关键发现是：这种“知道自己错了”的知识并不存在于逐图像编码器中。它是在融合两个视图的层中间被计算出来的。研究者指出，第二个模型π³也呈现同样的规律。

换句话说，失败信号是双视图融合过程的副产品，而非单张图像本身的属性。这为理解前馈重建模型的内部机制提供了新线索，也暗示着改进不确定性估计的切入点可能在融合层，而不是输出头。

双视图融合层指前馈重建模型中把两幅（或多幅）图像的特征在注意力或相关运算中交互、从而推断相对位姿与几何的层，区别于仅处理单张图像、输出逐图像特征的编码器。单图编码器只能看到一幅图像的内容，无法判断两幅图像之间是否匹配得上；而融合层在计算跨视图对应关系时，会自然暴露出共视不足、纹理重复、遮挡严重等导致失败的线索。因此失败信号作为融合过程的“副产品”出现，与几何推理发生在同一位置。这也意味着，若想提升不确定性估计，更有效的做法可能是从融合层的中间表示中读出信号或加以正则，而非在输出头后附加一个置信度分支。

核心结论

VGGT对自己失败的了解，比它报告出来的更多。冻结特征中的线性探针能以93.5%的ROC-AUC预判位姿失败，显著优于模型自带的点图置信度和全输出分类器。这一信号可迁移、可用于弃权决策，且位于双视图融合层中间——为前馈三维重建的不确定性量化打开了一条新路径。