DIY iToF+RGB装置：首张米制房间地图与高斯溅射

一位来自 reddit 的创客（同时也是视频作者）分享了他自制的 RGB-D 采集装置：将一颗 320×240 的 epc660 类 iToF（间接飞行时间）工程样品与 Raspberry Pi 摄像头配对，首次生成了带颜色、具有真实米制尺度的房间点云地图，并基于此训练了高斯溅射（Gaussian splat）。有意思的是，整套流程目前仍处于离线模式，但已经能输出可用的三维重建结果。

硬件方案：工程样品 + 树莓派相机

这套装置的核心是一个 320×240 分辨率的 iToF 传感器工程样品。iToF（间接飞行时间）方案通过测量调制光的相位差来获取深度，优势在于结构紧凑、成本可控，但分辨率通常偏低。作者搭配了树莓派摄像头提供更高分辨率的 RGB 纹理，两者时间同步后输出「彩色深度」——即每个像素同时拥有颜色和距离值。

作者强调，这不是一台成品深度相机的评测，而是一个自建实验平台的进展记录。硬件选型偏向低成本、可复现，适合家庭实验室环境。

iToF 与 dToF 的区别：间接飞行时间（iToF）与直接飞行时间（dToF）是两种主流的深度传感方案。dToF 通过直接测量光脉冲的飞行时间（如单光子雪崩二极管 SPAD 计时）来获得距离，精度高、测距远，但硬件复杂、成本较高；iToF 则发射经过正弦调制的连续光，通过测量反射光与发射光之间的相位差来反推距离。由于相位是周期性的，iToF 存在最大无模糊距离（由调制频率决定），且对多路径干扰和低反射率表面更敏感，但其传感器结构简单、可基于标准 CMOS 工艺制造，因此成本低、体积小，适合消费级和嵌入式应用。文章中的 epc660 即属于 iToF 类传感器，其 320×240 的分辨率在深度传感器中属于较低水平，这也是后文强调边缘误差和噪声建模的原因。

离线建图管线：从 RGB 位姿到高斯溅射

整个流程分为几个关键步骤：先从录制的 RGB 帧中恢复相机位姿，再借助 iToF 的深度读数提供米制尺度（metric scale），然后将彩色与深度融合，最终在同一坐标系下训练高斯溅射模型。

高斯溅射是近期三维重建领域的热门表示方法，用一组各向异性的高斯椭球来建模场景，渲染质量高且训练速度相对友好。作者的创新点在于将低分辨率 iToF 的绝对尺度信息注入到基于 RGB 的位姿估计中，从而避免了单目视觉尺度歧义的问题。

多视角体素投票去噪

在本次采集里，作者引入多视角体素投票（multi-view voxel voting）来清理深度图中的离群点，一次性剔除了 27,675 个漂浮点。这类漂浮点通常来自深度传感器的噪声或边缘处的错误估计，在低分辨率 iToF 上尤为明显。体素投票的做法是在三维空间中统计每个体素被多个视角观测到的一致性，低于阈值的点视为噪声丢弃。

标定比渲染更重要

作者反复强调一个观点：标定工作的价值高于渲染效果本身。在测试中，边缘对齐误差的中位数从 2.2 像素降到了 1.0 像素，这直接决定了彩色与深度贴合的精度。高亮物体的溢出与饱和仍需要条件化处理——iToF 传感器在强反射表面容易产生过曝或串扰，导致深度读数漂移。

作者明确表示，这些结果不构成对通用精度的声明，只是当前这套装置在特定条件下的表现。

单目视觉的尺度歧义：从单目 RGB 图像恢复相机位姿时，本质上是求解一个投影几何问题——三维点投影到二维像素平面会丢失绝对距离信息，因此仅凭单目图像只能恢复出场景的相似变换（similarity transform），即尺度是任意的。这意味着重建出的地图可以任意缩放而不影响图像观测的一致性，这就是所谓的尺度歧义（scale ambiguity）。解决方式通常有三种：引入已知尺寸的标定物、利用双目/多目基线、或融合一个能提供绝对距离的深度传感器。本文正是采用第三种思路，用 iToF 的深度读数作为米制尺度的锚点，将 RGB 位姿估计的结果约束到真实物理尺度上，从而避免单目 SLAM 常见的尺度漂移问题。

边缘对齐误差与彩色-深度配准：边缘对齐误差（edge alignment error）衡量的是 RGB 图像中的物体边缘与深度图投影到同一视角后的边缘之间的像素偏差。由于 RGB 相机与 iToF 传感器在物理上分离，两者存在外参（相对位姿）和内参差异，若标定不准则彩色纹理与深度几何无法精确贴合，表现为彩色点云在物体轮廓处出现「重影」或颜色溢出，直接影响高斯溅射训练时的监督质量。中位数从 2.2 像素降至 1.0 像素，意味着超过一半的边缘像素偏差控制在一个像素以内，这是彩色-深度融合能够实用的关键门槛。此外，iToF 在强反射表面（如金属、玻璃、高光漆面）上会因回波过强导致传感器饱和，产生串扰（crosstalk）和相位解缠错误，使深度读数发生漂移，因此需要针对高亮区域做条件化处理或掩膜剔除。

仍待解决的问题

作者坦率列出了当前的局限：房间覆盖不完整，深色墙面会「消失」在深度图中，树莓派相机的内参还需要用棋盘格做一次正式校验。所谓「深色墙面消失」是 iToF 的典型痛点——低反射率表面对调制光的回波太弱，传感器难以解析相位。

最终目标是实时高斯 SLAM，但眼下这一步只是离线重建。从离线到实时，中间还隔着位姿跟踪、增量式高斯更新、以及算力约束等几道坎。

一个值得讨论的工程问题

作者在文末抛出一个问题：对于这样一套装置，应该先独立验证内参和深度尺度，还是等初始对齐稳定后直接进入联合优化？

这个问题没有标准答案。独立验证的好处是误差来源可追溯，一旦联合优化发散，你知道问题出在哪个环节；联合优化的好处是能利用多视图一致性自动补偿标定残差，在标定不够精确时反而更鲁棒。实践中常见的折中是：先用棋盘格把内参固定到可信区间，再对深度尺度做一次独立标定，最后才放开联合优化。作者目前显然倾向于先把标定做扎实，这也解释了为什么他把那么多精力放在边缘对齐和条件化处理上。

对于想复现类似装置的爱好者来说，这条经验值得记下：低成本深度传感器的瓶颈往往不在算法，而在标定与噪声建模。