[控场AI]
· 5 分钟阅读· 2,603 字

Depth Pro 2:单目深度估计实现清晰与时序一致

Depth Pro 2:单目深度估计实现清晰与时序一致

苹果发布Depth Pro 2,用单一网络同时处理图像与视频,兼顾度量精度、锐度与时序一致性。

苹果AI/ML研究团队发布Depth Pro 2,一种在全分辨率下为图像和视频估计稠密度量深度的方法。团队分析发现,现有多帧方法侧重时序一致性、单帧方法侧重边界锐度,二者难以兼得。Depth Pro 2 用单一可扩展网络统一处理图像和视频,并在原生分辨率下预测深度图,从而同时实现度量准确、边界清晰和时序一致的深度估计,在三个维度上均优于先前工作。团队还发布了一系列不同规模的模型,在度量精度、锐度、时序一致性和运行时间上定义了新的帕累托前沿,为移动端到云端的不同场景提供灵活选择。代码与权重已在项目页面开源。

苹果AI/ML研究团队发布了Depth Pro 2,一种在全分辨率下为图像和视频估计稠密度量深度的方法。该工作通过分析现有单目深度估计方法,发现它们通常在时序一致性和边界锐度之间进行权衡:多帧方法倾向于一致性,单帧方法倾向于锐度。为了克服这一权衡,团队训练了一个单一的可扩展网络,同时处理图像和视频,并在原生分辨率下预测深度图。Depth Pro 2能够同时产生度量准确、清晰且时序一致的深度图,在所有这些维度上均优于先前工作。团队还发布了一系列模型,在度量精度、锐度、时序一致性和运行时间方面定义了新的帕累托前沿。代码和权重已在项目页面公布。

Depth Pro 2 概览

单目深度估计的固有矛盾:一致性与锐度难两全

单目深度估计旨在从单张图像或视频中恢复场景的稠密深度信息。长期以来,该领域存在一个明显的技术路线分歧:基于视频的多帧方法能够利用时序信息,从而获得平滑且一致的深度估计,但往往以牺牲边界锐度为代价;而基于单帧图像的方法专注于从单张图像中提取细节,能够生成锐利的物体边界,却难以保证帧间的一致性,导致视频深度结果出现闪烁或抖动。

Depth Pro 2 的论文明确指出,这种权衡是先前方法的共性。多帧方法优先考虑一致性,单帧方法优先考虑锐度,两者难以兼得。这一观察构成了Depth Pro 2要解决的核心问题:能否设计一个单一网络,同时实现度量准确、边界锐利和时序一致?

度量深度(Metric Depth) 与 相对深度(Relative Depth) 是单目深度估计中的两个关键区分。相对深度只要求预测值在排序上与真实距离一致(近处数值大、远处数值小),不要求数值对应真实物理尺度;度量深度则要求输出以米或毫米为单位的绝对距离,可直接用于三维重建、测距和机器人导航。从相对走向度量通常需要相机内参、标定信息或大规模带真值的数据训练。Depth Pro 系列的一个标志性特点正是输出度量深度,这使其比仅做相对深度的模型具备更强的下游可用性,但也对训练数据的深度真值质量提出了更高要求。

时序一致性(Temporal Consistency) 指同一静止场景在连续视频帧中的深度预测不应出现无物理依据的跳变。衡量时常用光流把前一帧深度扭曲到当前帧,再比较扭曲结果与当前预测的差异;一致性差会表现为画面闪烁、边缘蠕动或“果冻效应”,在AR叠加和视频后期中尤为刺眼。值得注意的是,一致性指标本身可能被“过度平滑”所欺骗——一个把所有帧都预测成近似常数的模型一致性极好但毫无用处,因此锐度和度量精度必须与一致性联合评估,这也正是文中强调三者需同时达标的深层原因。

统一架构:单一网络同时处理图像与视频

为了打破上述权衡,Depth Pro 2 采用了一个单一的可扩展网络架构,能够同时处理图像和视频输入,并直接在原生分辨率下预测深度图。这意味着模型无需针对不同输入类型切换模式,而是通过统一的训练策略学习如何利用视频中的时序线索,同时保持单帧图像所需的细节捕捉能力。

该网络的关键在于“可扩展”和“原生分辨率”。可扩展性意味着模型容量可以随数据量和计算资源调整,而原生分辨率预测避免了深度图后处理上采样带来的模糊效应,从而在根源上保障了边界锐度。

性能表现:全方位超越先前工作

Depth Pro 2 在度量精度、锐度和时序一致性三个维度上均优于先前方法。论文强调,该模型能够同时产生度量准确的深度图(即深度值具有真实世界的尺度)、清晰的物体边界以及稳定的视频时序结果。这种“全都要”的表现,直接挑战了此前被认为不可避免的权衡关系。

研究团队还发布了一系列不同规模的模型,这些模型在度量精度、锐度、时序一致性和运行时间四个维度上定义了新的帕累托前沿。帕累托前沿意味着在给定运行时间约束下,该系列模型能够提供最优的综合性能组合,为不同应用场景(如移动端实时处理或云端高质量重建)提供了灵活的选择。

帕累托前沿(Pareto Front) 是多目标优化中的概念:当若干目标(此处为度量精度、锐度、时序一致性、运行时间)需要同时优化时,若某个方案在所有目标上都不劣于另一方案且至少一项更优,则称其“支配”后者。不被任何其他方案支配的解集合即构成帕累托前沿。论文所称“定义了新的帕累托前沿”,意味着在同等运行时间下,其模型系列在其余三项指标上的综合表现优于所有已有方法,且该系列内部不同规模的模型各自对应不同算力预算下的最优权衡。对工程选型而言,帕累托前沿比单一最优指标更有参考价值,因为它直接回答了“在我的延迟约束下能拿到多好的精度”这一问题。

开源与影响:代码权重同步释放

苹果AI/ML研究团队已将Depth Pro 2的代码和模型权重公开在项目页面(https://apple-aiml-research.github.io/ml-depth-pro-2/)。这一举措延续了Depth Pro系列的开源传统,有助于研究社区复现结果并在此基础上进行改进。对于从事三维重建、增强现实、自动驾驶感知等领域的研究者和开发者而言,一个在度量精度、锐度和时序一致性上均表现优异的单目深度估计模型,具有直接的实用价值。

Depth Pro 2 的出现,标志着单目深度估计在统一图像与视频处理方向上迈出了重要一步。它不再要求用户在“清晰的单帧”和“稳定的视频”之间做选择,而是通过架构和训练策略的创新,将两者融合进一个可扩展的框架中。

背景补充

原生分辨率预测(Native-Resolution Prediction) 是理解 Depth Pro 2 边界锐度优势的关键。许多深度模型在较低分辨率(如 384×384 或 512×512)上推理,再通过双线性或引导滤波上采样回原图尺寸;上采样本质是插值,会在物体轮廓处产生过渡带,使前后景深度缓慢混合而非骤变,造成“边缘发虚”。原生分辨率预测让网络直接在高分辨率特征图上输出逐像素深度,避免了这一信息损失,因而能保留细结构(如细杆、发丝、栏杆)的锐利深度断层。代价是计算量与显存随分辨率平方增长,这也是该系列需要提供多档规模模型、并在帕累托前沿上权衡运行时间的现实原因。

#Depth Pro 2#单目深度估计#度量深度#时序一致性#全分辨率深度图#苹果AI研究#深度学习
分享:

相关推荐