从单张法线图重建网格：深度不连续问题的权重解法

从法线到几何：光度立体的另一半难题

在计算机视觉与三维重建领域，光度立体（Photometric Stereo）是一项经典技术：相机固定，光源移动，通过分析不同光照下的像素强度变化，可以反演出物体表面的法线图（Normal Map）。这项技术最早由Robert Woodham在1980年提出，其核心数学原理基于朗伯反射模型（Lambertian Reflectance Model）：一个漫反射表面上某点的亮度等于光源方向与该点法线方向的点积，再乘以表面反照率。当使用至少三个不同方向的光源拍摄同一场景时，就形成了一个线性方程组，可以唯一确定每个像素的法线方向。这项技术在工业质检、文物数字化、医学成像等领域有广泛应用，因为它能以极高分辨率捕捉表面微观起伏——精度可达亚像素级别。

然而，正如一位从事工业光度立体研究的工程师在 Reddit 上分享的那样，得到法线图只是完成了任务的前半程，真正困难的部分在于把这些法线转化为真实的几何形状。从法线图到三维几何的转换，即所谓的"表面积分问题"（Surface Integration Problem），始终是制约该技术实用化的瓶颈。

这位开发者展示了一组令人印象深刻的实验结果，并抛出了一个困扰整个领域的核心问题：面对表面的深度不连续（depth discontinuities），大家究竟是如何处理的？

实验配置：透视相机下的浅浮雕重建

作者给出的实验设置相当严谨。输入是一张 612×512 的法线图，配合一个覆盖 43,638 个像素（占整帧 13.9%）的掩码。你可能没注意到，他使用的是透视相机而非正交相机，这一点对重建精度至关重要。

正交投影（Orthographic Projection）假设所有光线平行进入相机，物体不会因距离远近而产生透视缩放。这种简化在物体尺寸远小于相机距离时近似成立，但在工业检测中，物体通常距离相机较近，透视效应不可忽略。透视投影下，法线梯度与深度之间的关系变为非线性：一个像素对应的实际物理尺寸取决于该点的深度值，而深度正是我们要求解的未知量。这使得积分问题从简单的泊松方程变为更复杂的非线性偏微分方程。

相机的内参已经过标定，焦距约为 3770 像素（意味着视场角相对较窄，约9.2度），主点接近图像中心。虽然在如此窄视场下透视畸变较小，但在高精度重建中仍然显著。最终输出是一张深度图直接转化而成的四边形网格：43,638 个顶点，42,821 个四边形面片。整个过程没有做任何抽稀（decimation）、平滑（smoothing）或补洞（hole filling），纯粹反映求解器的原始输出，并按高度着色。

一个有趣的细节是，整个物体的浮雕起伏仅占相机距离的约 4%——这是一个非常浅的表面，被拉伸到了一个很宽的色彩映射范围上，因此视觉上的颜色差异被显著放大了。

收敛特性：形状比能量更早"定型"

在优化过程中，目标函数值从 3620.8 下降到 2346.7，共经历 55 次迭代。但作者观察到一个耐人寻味的现象：90% 的下降在前 10 次迭代内就已完成，最后 5 次迭代的变化幅度不足 0.1%。

这带来了一个实践中的判断难题：形状在能量曲线真正收敛之前很久就已经"看起来定型了"。换句话说，收敛曲线本身并不能可靠地告诉你何时该停止迭代——"什么时候停"更多是一种工程判断，而非纯粹依赖数值指标。

这种现象在迭代优化类算法中相当普遍：早期迭代快速捕捉大尺度结构，后期则在微小细节上反复微调。从频域的角度理解，这类似于多网格方法（Multigrid Method）中的现象——低频分量（对应大尺度几何形状）收敛速度远快于高频分量（对应表面细节纹理）。对于实际应用而言，识别出"形状已稳定"的时机，可以显著节省计算成本。一种实用的做法是同时监测深度图本身的变化量（如相邻迭代间的最大深度差或均方根差），而不仅仅依赖目标函数值。

核心方法：用逐像素权重让表面自然"断开"

文章最具技术含量的部分，在于作者如何处理深度不连续。

为什么简单积分法线会失败

从法线图恢复深度，本质上是一个积分问题——法线描述了表面的梯度，通过积分梯度即可得到高度场。从数学角度看，法线图给出的是表面高度函数z(x,y)的偏导数∂z/∂x和∂z/∂y。恢复z(x,y)本质上是求解一个过约束的积分问题——因为每个像素提供两个方程（x和y方向的梯度），而整个表面只有一个自由度（全局偏移常数）。经典方法包括Frankot-Chellappa方法（基于傅里叶变换，强制可积性约束）、泊松方程求解（将问题转化为拉普拉斯算子方程）、以及基于路径积分的方法。

但这里有一个根本性的假设：表面是连续的。所有这些方法都隐含假设了从任意一点出发沿不同路径积分到同一目标点应得到相同深度值——这就是"可积性条件"（Integrability Condition）。

然而真实物体并非如此。作者举例说，手臂会遮挡袖子，底座的边缘会从主体上切开。在这些位置，表面在图像空间上是相邻的，但在三维空间中却存在真实的深度跳变。深度不连续之所以棘手，根源在于它违反了积分路径无关性的假设。在不连续边界处，表面梯度理论上趋于无穷大（有限距离内深度发生跳变），而法线图中这些位置的法线要么反映前景表面、要么反映背景表面、要么是两者的混合——这就是所谓的"混合像素"问题。如果强行用连续积分，求解器就会试图"拉伸"表面去跨越这些间隙，传统的全局积分方法会试图找到一个最小二乘意义下最优的连续表面，但这个"最优"解在不连续处会表现为错误的斜坡或振荡，从而产生错误的几何。

权重图：自动涌现的遮挡边界

作者的解决方案是引入逐像素权重（per-pixel weights），允许表面在不连续位置断开，而不是强行跨越。

这种逐像素权重机制在数学上与加权最小二乘（Weighted Least Squares）和迭代重加权最小二乘（IRLS）框架密切相关。其核心思想是：在构建差分方程时，每对相邻像素之间的一致性约束不再等权，而是通过一个权重因子调节。当权重趋近于零时，等价于允许该位置发生深度跳变；当权重为正常值时，则强制局部平滑。这种方法与全变分（Total Variation）正则化、各向异性扩散滤波（Anisotropic Diffusion）有理论共通之处——都是通过局部自适应机制在平滑与保边之间取得平衡。

这些权重图本身成为了整个方法中最有趣的"副产品"：

在平滑区域，权重值居中，几乎不起作用；
在真实的不连续处，权重会强烈饱和到一侧——这意味着求解器在此采用了单侧差分（前向差分或后向差分中的一种，放弃了中心差分），拒绝将高度信息跨越间隙传递。

最精妙的一点是：你可以直接从权重图上读出物体的遮挡结构，而无需专门计算深度边缘。换句话说，遮挡边界作为优化的自然结果浮现出来，而不是作为预处理步骤被显式检测。这种"边界自涌现"的特性，在鲁棒性和优雅性上都颇具价值——它避免了预检测边缘时参数选择的困难（如Canny边缘检测中的高低阈值），也避免了错误边缘检测对下游重建的级联影响。

两个悬而未决的技术痛点

作者坦诚地列出了两个自己仍不满意的问题，也正是他向社区求助的核心。

细小结构的法线可靠性问题

当某个细长结构从另一表面前方穿过时，边界通常判断得不错。但对于只有几个像素宽的特征，法线本身就不可靠了。这就带来了一个归因难题：一个糟糕的边界，究竟是权重机制失败，还是输入法线本身就有误？在这种情况下，输入质量与算法质量的界限变得模糊。

这个问题的根源在于光度立体法本身的空间分辨率极限。当特征尺度接近单个像素时，该像素接收到的光线实际上是来自多个不同朝向表面的混合——这就是点扩散函数（PSF）造成的空间模糊效应。此外，在极细结构的边缘，互反射（interreflection）和阴影投射效应也会显著干扰法线估计的准确性。这些物理因素使得无论后端积分算法多么精巧，其输入本身就已经包含了不可纠正的误差。

绝对深度尺度的标定依赖

重建结果在内部是自洽的，但物体到相机的绝对距离（standoff distance）只能和标定精度一样好。这是一个根本性的约束——法线图提供的是相对几何信息（表面的局部朝向），绝对尺度必须依赖外部标定。

从信息论的角度理解，光度立体获取的是表面梯度场，对其积分后会存在一个不确定的全局常数（对应整体平移），在透视投影下还存在尺度模糊性。这与单目深度估计中的尺度不确定性本质相同——仅凭图像信息无法区分"一个小物体在近处"和"一个大物体在远处"。

作者由此提出了他的第二个问题：大家会通过**引入稀疏深度先验（sparse depth prior）**来解决绝对尺度问题，还是说独立的标定步骤才是业界公认的答案？

稀疏深度先验指的是在场景中少数已知点处提供绝对深度值作为约束。这些先验可以来自结构光投影、飞行时间传感器（ToF）、立体视觉匹配、甚至手动标记的参考点。在数学上，引入稀疏深度约束等价于在优化目标函数中增加若干等式约束或强惩罚项，将原本自由浮动的解锚定到绝对坐标系中。这种多传感器融合的思路在工业应用中越来越常见——例如将光度立体的高空间分辨率法线信息与结构光的绝对深度信息融合，取两者之长。但这也引入了传感器间配准、时间同步、噪声模型不匹配等新的工程挑战。

总结：从法线图到网格重建的关键挑战

作者特别声明，实验中使用的物体是来自公开光度立体基准数据集的标准测试对象，选它是因为社区成员对其形状已有直觉认知。他本人就职于一家做工业光度立体的公司，因此这个问题与其本职工作相邻——但他强调这里没有任何产品推广，只是一个结果和两个真诚的技术问题。

深度不连续处理、细结构可靠性、绝对尺度标定——这三个问题共同构成了从法线图到几何网格这条道路上最顽固的障碍，也是任何想在实际场景中应用光度立体技术的人都必须面对的挑战。逐像素权重方法提供了一种优雅的不连续处理思路，其本质与计算机视觉中其他边缘保持技术（如双边滤波、全变分去噪、引导滤波）共享相同的数学哲学——在数据保真度与局部平滑性之间寻找自适应的平衡。但完整的解决方案——特别是在工业精度要求下——仍有待社区的共同探索。