[控场AI]
· 5 分钟阅读· 2,524 字

ShadeNet-5:35M参数单次推理输出反照率/深度/法线

ShadeNet-5:35M参数单次推理输出反照率/深度/法线

ShadeNet v5 是 35M 参数前馈网络,单次前向从 RGB 图像预测反照率、相对深度和法线,量化后 31MB 可 CPU 推理。

ShadeNet v5 是一个 35M 参数的前馈网络,基于冻结的 DINOv2 ViT-S/14 骨干,单次前向即可从一张 RGB 图像同时输出反照率、相对深度和表面法线。其亮点是蒸馏式单次精炼器:用 0.91M 参数的微型 UNet 从单次结果逼近 6 次 TTA 集成效果,以约 20% 计算成本获得约 65% 的集成增益,训练无需人工标注。模型可导出为 31MB 的 4/8-bit 量化 ONNX,CPU 单次推理约 1.0 秒,带精炼器约 1.3 秒。已知限制包括无独立 shading 通道、深度为相对深度、ONNX 固定 448×448 输入。

ShadeNet v5 来了。这是一个 35M 参数的前馈网络,基于冻结的 DINOv2 ViT-S/14 骨干,单次前向传播就能从一张 RGB 图像预测三张图:反照率(albedo)、相对深度(relative depth)和表面法线(surface normals)。项目提供了在线 Demo 和 ONNX 权重,量化后仅 31 MB,主打轻量级 CPU 推理。

ShadeNet-5 项目截图

核心架构:冻结骨干 + 单次前向

ShadeNet v5 的设计思路是“一次前向,三路输出”。它没有采用多阶段或迭代式推理,而是把 DINOv2 ViT-S/14 作为冻结的特征提取器,后面接轻量预测头,同时回归反照率、相对深度和法线。35M 的参数量在同类多任务几何估计模型中属于非常小的量级,这让它有可能跑在边缘设备或普通 CPU 上。

这种单次前向的设定意味着推理延迟可控,也避免了多模型串联带来的显存和调度开销。对于需要实时几何线索的下游任务——比如 AR 试穿、光照编辑、3D 重建预处理——单次输出三张图的接口比较友好。

DINOv2 与 ViT-S/14:DINOv2 是 Meta 提出的自监督视觉预训练模型,通过大规模无标签图像学习通用视觉特征,无需人工标注即可获得强泛化能力。ViT-S/14 是其中的小尺寸视觉 Transformer 变体,S 代表 Small,14 表示输入图像被切分为 14×14 像素的 patch。冻结骨干意味着在 ShadeNet v5 训练中不更新 DINOv2 的权重,仅将其作为固定特征提取器使用,这能大幅减少可训练参数和显存占用,同时保留预训练模型强大的语义特征表达。

反照率、相对深度与表面法线:反照率(albedo)指物体表面本身的漫反射颜色,不包含光照和阴影影响;相对深度(relative depth)表示像素间的远近关系,但缺少绝对物理尺度;表面法线(surface normals)是垂直于物体表面的方向向量,常用于光照计算和几何重建。三者联合估计有助于解耦场景的光照与几何信息。

蒸馏式单次精炼器:用无标签数据逼近 TTA 效果

v5 的一个亮点是“蒸馏单次精炼器”。作者发现,测试时增强(TTA)——对输入做翻转和 ±4° 旋转共 6 次前向再平均——能明显提升质量,但计算量是 6 倍。为了绕开这个开销,作者训练了一个仅 0.91M 参数的微型 UNet,让它从单次前向的结果直接预测 6 次集成后的输出。

训练不需要人工标注:模型自己的 6 次 TTA 输出就是“真值”,数据来自 Open Images 约 8000 张 CC BY 2.0 照片。在 23 张图的留出集上,平均 L1 误差从 0.1757 降到 0.1673(完整 6 次 TTA 为 0.1628),用约 20% 的计算成本拿到了约 65% 的集成收益。提升主要集中在表面法线,深度变化很小。

这种“自蒸馏 + 无标签”的做法值得关注:它把昂贵的集成推理压缩进一个小模块,同时不依赖额外标注,适合数据标注成本高的几何估计任务。

测试时增强(TTA)与集成:TTA 是一种在推理阶段对同一输入施加多种变换(如翻转、旋转、裁剪)并分别前向,再融合多次预测结果的技术。其核心思想是通过数据增强的多样性降低模型单次预测的方差,从而提升鲁棒性。但代价是推理次数成倍增加,延迟和计算成本线性上升。ShadeNet v5 使用 6 次 TTA(翻转加 ±4° 旋转)作为“教师”信号,本质上是一种自集成策略。

自蒸馏:自蒸馏指用模型自身(或同架构的更大集成)的输出作为监督信号训练另一个更小的模型。此处教师是 6 次 TTA 的集成结果,学生是 0.91M 参数的微型 UNet。由于教师信号来自无标签图像,整个训练过程无需人工标注,属于无监督蒸馏范式。

CPU 推理与 ONNX 部署

基础模型可导出为 31 MB 的 4/8-bit 量化 ONNX 文件;如果把精炼器一起打包,则是 35 MB 的单文件。CPU 单次前向约 1.0 秒,带精炼器约 1.3 秒,L1 分别为 0.1676 和 0.1755(带精炼器更好)。

这个体积和速度让 ShadeNet-5 可以嵌进桌面端或浏览器端工具,而不必依赖 GPU 服务器。不过要注意,导出的 ONNX 图目前要求固定 448×448 输入,灵活性上有限制,接入现有管线时需要做分辨率适配。

ONNX 与量化:ONNX(Open Neural Network Exchange)是一种开放的模型交换格式,允许不同深度学习框架(如 PyTorch、TensorFlow)导出的模型在多种推理引擎上运行。量化是将模型权重和/或激活值从浮点数(如 FP32)转换为低精度整数(如 INT8 或 INT4)的过程,能显著减小模型体积并加速推理,尤其适合 CPU 和边缘设备。ShadeNet v5 的 4/8-bit 量化将模型压缩至 31 MB。

固定输入分辨率:导出的 ONNX 图要求固定 448×448 输入,是因为静态计算图在导出时固化了张量形状,动态尺寸支持需要额外配置且可能影响推理优化。接入实际管线时通常需要将图像缩放或裁剪到该分辨率。

已知限制与使用建议

v5 相比 v3.2 去掉了独立的 shading 通道,只输出反照率、相对深度和法线。如果你的流程依赖 shading map,需要额外处理或继续用旧版。深度是相对深度,带有逐图像的尺度和偏移,不能直接当度量深度用;要做 3D 重建还得配合标定或尺度对齐。

综合来看,ShadeNet-5 的定位很清晰:小体积、单次推理、CPU 可跑的三图输出模型。它不适合追求极致精度的离线场景,但在交互式应用和轻量部署里,31 MB 的量化 ONNX 加上 1 秒级的 CPU 延迟,是一个有竞争力的选择。

#ShadeNet-5#ONNX 量化#DINOv2#反照率估计#表面法线#相对深度#CPU 推理
分享:

相关推荐