DaFISH：球谐旋转解耦光照，提升新视角合成质量
DaFISH用球谐函数解耦光照与反照率，解决主动光源随相机移动导致的渲染不一致。
DaFISH 是一种可插入任意新视角合成管线的光照解耦方法，针对主动光源与相机刚性绑定场景中光照方向随视角变化的问题。它通过球谐函数表示光照，将每个点的发射颜色分解为表面反照率与 SH 光照因子，实现反照率、光照和几何的稳定联合优化。由于 SH 到辐照度的转换具有闭式解，整个管线完全可微，并支持解析泛化到任意相机位姿而无需重训练。在五个场景的留出帧上，DaFISH 取得平均 PSNR 38.91 dB、SSIM 0.9613、LPIPS 0.0582，优于最强泼溅和 NeRF 基线，同时保持跨视角一致性。该方法适用于闪光灯摄影、水下成像和内窥镜等场景，但目前主要面向静态场景。
在主动光源与相机刚性绑定的场景中（如相机闪光灯、水下机器人照明、内窥镜手术），光照方向会随视角变化，导致神经渲染方法（NeRF、高斯泼溅）将这种视角相关光照错误地编码为表面颜色，产生外观不一致并妨碍场景几何与反照率的恢复。为此，研究者提出 DaFISH，一种可插入任意新视角合成（NVS）管线的光照解耦方法，通过球谐函数（SH）表示光照，将每点发射颜色分解为表面反照率与SH光照因子，实现稳定的联合优化，并支持解析泛化到任意相机位姿。在五个场景的留出帧上，DaFISH 取得了最高的平均 PSNR（38.91 dB）、SSIM（0.9613）和 LPIPS（0.0582），优于最强的泼溅基线和最接近的NeRF基线，同时在不同视角下保持场景一致性。
主动光源带来的渲染挑战
许多现实捕获场景中，光源与相机刚性连接，随相机移动而移动。这种配置下，每个表面点的光照方向在不同视角下发生变化，传统神经渲染方法（如NeRF、高斯泼溅）将这种位姿相关光照编码为表面颜色，导致渲染结果在不同视角间出现颜色不一致，并掩盖了真实的表面反照率和几何结构。例如，在暗环境成像中，闪光灯随相机移动，同一表面在不同视角下被不同方向的光照射，若模型简单记忆颜色，则无法区分固有反照率与光照效应，进而影响新视角合成的质量。
DaFISH 的设计目标正是解决这一病态问题。它通过将光照与反照率解耦，使模型能够从多视角图像中分离出与视角无关的表面属性，从而提升渲染一致性和几何重建精度。
新视角合成（Novel View Synthesis, NVS） 的目标是根据一组已知相机位姿的输入图像，生成任意未见过视角下的场景图像。NeRF 和 3D 高斯泼溅是当前两类主流 NVS 方法：前者用多层感知机隐式表示辐射场，后者用显式高斯椭球表示场景。然而，这些方法通常假设光照是视角无关的（即同一表面点在不同视角下颜色恒定），当光源与相机刚性绑定、光照随视角变化时，模型会将光照效应错误地烘焙进颜色中，导致新视角下出现外观不一致。DaFISH 通过显式建模光照方向依赖来修正这一假设，因此可视为对现有 NVS 管线在主动光照场景下的必要扩展。
球谐光照分解与可微渲染
DaFISH 的核心是将每个点的发射颜色分解为表面反照率和球谐表示的光照因子。球谐函数是一组定义在球面上的正交基函数，能够紧凑地表示方向性光照。在训练过程中，DaFISH 直接评估 SH 光照，使得反照率、光照和几何能够稳定地联合优化。由于 SH 到辐照度的转换具有闭式解，整个训练管线从 SH 评估到体积渲染完全可微，便于端到端优化。
这种方法的一个关键优势是解析泛化能力：训练完成后，DaFISH 可以解析地计算任意相机位姿下的光照，而无需重新训练。这意味着模型能够泛化到未见的视角，并保持光照一致性，这对于实际应用（如内窥镜导航）尤为重要。
球谐函数（Spherical Harmonics, SH） 是定义在球面上的一组正交基函数，类似于傅里叶级数在圆环上的推广。在计算机图形学中，SH 常用于高效表示低频方向性光照：一个环境光照函数可以投影到 SH 基上，仅用少量系数（例如 9 个系数对应 2 阶）就能紧凑地近似其分布。DaFISH 利用这一性质，将每个表面点接收到的入射光照用 SH 系数参数化，从而把光照方向的变化建模为 SH 系数的旋转与组合，而非直接记忆颜色。由于 SH 基的正交性，光照与反照率的乘积在渲染方程中可解析计算，这为联合优化提供了数学基础。
可微渲染 指渲染管线的每个环节（几何变换、光照计算、体积积分等）均可对场景参数求导，从而通过梯度下降端到端优化。DaFISH 的关键在于 SH 到辐照度的转换具有闭式解，且体积渲染中的积分可微，因此反照率、SH 光照系数和几何参数能通过反向传播同时更新，无需分阶段训练或额外监督。
实验结果与性能表现
在五个场景的留出帧上，DaFISH 取得了最高的平均 PSNR（38.91 dB）、SSIM（0.9613）和 LPIPS（0.0582），优于所有对比方法，包括最强的泼溅基线和最接近的NeRF基线。这些指标表明，DaFISH 在渲染质量上具有明显优势，尤其是在处理位姿相关光照时，能够更准确地恢复场景外观。
此外，DaFISH 在不同视角下保持场景一致性，相比先前方法，减少了外观不一致问题。实验还展示了 DaFISH 能够与现有 NVS 管线（如 NeRF）无缝集成，验证了其通用性和有效性。
应用前景与局限
DaFISH 适用于任何需要处理主动光源与相机刚性绑定的场景，如消费级摄影、水下成像和医学内窥镜。其可插拔特性使其易于集成到现有神经渲染框架中，提升渲染质量。然而，该方法目前主要针对静态场景，对于动态场景或复杂光照变化（如多个移动光源）的扩展仍需进一步研究。此外，SH 表示的阶数选择可能影响光照细节的捕获能力，需要在实践中权衡。
总体而言，DaFISH 为主动光照下的新视角合成提供了一种有效的解决方案，通过球谐旋转解耦光照，推动了神经渲染在现实场景中的应用。
相关推荐
Workbuddy零基础入门：桌面AI智能体如何落地工作流
Workbuddy桌面AI智能体零基础教程解读：从安装、积分领取到文件管理与自动化工作流搭建，对比CodeX的适用场景与成本差异，帮助职场人完成从AI提问者到AI管理者的思维转变。
OpenAI智能体新栈：计算机操作、决策API与超速工作流
OpenAI Dev Day发布智能体新栈：Computer Use操作速度超越普通人，Decisions API基于Luna实现极低延迟分类，Agents API开放同源计算机操作能力，GPT-6.1 Sol成本仅为Astra七分之一。本文梳理核心更新、实测数据与开发者落地要点。
梁文峰开源推理框架DeepInfo，硬刚美国禁令
DeepSeek在开源模型后再开源推理框架DeepInfo，包含GPU/CPU交叉流水线、小模型预判大模型复核、华为昇腾与英伟达芯片全面适配等技术，直面美国联邦禁令。本文解析其对AI产业落地的意义与开源策略。