SplatQ：用二次优化重塑3D高斯泼溅剪枝新范式

3D高斯泼溅的剪枝困境

3D高斯泼溅（3D Gaussian Splatting，简称3DGS）凭借高质量渲染和实时性能，已成为新视角合成领域的热门技术。但庞大的高斯基元数量带来了存储和计算负担，剪枝（Pruning）因此成为必不可少的优化手段。

现有主流剪枝方法大多依赖一个朴素思路：为每个高斯分配一个独立的重要性分数，然后进行全局Top-K筛选，保留分数最高的那一批。这种做法看似合理，却埋藏着两个结构性缺陷。

其一，缺乏区域预算控制。全局Top-K会让重要性分数普遍偏高的区域占据大量预算，而细节丰富但分数偏低的区域被过度削减，导致整个场景的重建质量分布失衡。其二，忽略了联合删除效应——高斯之间并非独立存在，同时删除多个相互关联的高斯，其累积影响远非各自影响的简单相加。

3D高斯泼溅（3DGS）的基本原理是用一组三维高斯椭球体来表示场景，每个高斯基元携带位置、旋转、缩放、不透明度和球谐系数（用于表达视角相关颜色）等属性。渲染时，这些高斯基元被"泼溅"（splat）到2D图像平面上，通过按深度排序后的Alpha混合合成最终图像。相比NeRF需要密集的射线行进采样，3DGS的光栅化流程更适合GPU并行，因此能达到实时帧率。然而，一个典型场景可能包含数百万个高斯基元，不仅占用大量显存（常达数百MB甚至数GB），在移动端或嵌入式设备上几乎无法直接部署，剪枝因此成为3DGS落地应用的关键瓶颈之一。

SplatQ的组合式剪枝思路

针对上述问题，研究团队提出了SplatQ，一种在固定预算下协调区域预算分配与联合高斯选择的组合优化剪枝算法。它的核心创新在于把剪枝从「独立打分、全局排序」转变为「分区协调、联合求解」。

空间与外观分块

SplatQ首先依据空间邻近性和外观相似性，将全部高斯划分为若干大小受限的区块（block）。这一步的意义在于把原本难以处理的全局选择问题，分解为规模可控的子问题。分块不仅降低了优化复杂度，也为后续的区域预算控制提供了天然的操作单元。

预算配额平滑

分块之后，SplatQ会根据各区块的重要性计算保留配额，并对这些配额进行平滑处理。平滑的目的很直接：防止预算过度集中在少数高重要性区块，从而保证场景各处都能获得合理的高斯保留量。消融实验证实，预算平滑显著改善了局部细节的重建效果，这正是传统全局Top-K所欠缺的能力。

二次近似建模联合效应

SplatQ最具技术分量的部分，是对联合删除效应的二次近似建模。它利用代表性像素颜色对高斯不透明度变化的响应，构建出一个二次近似模型。模型中同时纳入三类因素：单个高斯的独立响应、高斯之间的成对交互，以及配额惩罚项。

这些因素被整合进一个二次无约束二值优化（QUBO）目标函数中。QUBO是一种天然适合表达组合选择问题的数学形式，每个高斯的「保留或删除」对应一个二值变量，而成对交互则由二次项刻画。

二次无约束二值优化（Quadratic Unconstrained Binary Optimization，QUBO）是组合优化领域的一类标准问题形式：目标函数由二值变量（0或1）的线性项和二次交叉项构成，不含等式或不等式约束。其数学形式为最小化 $x^T Q x$，其中 $x$ 是二值向量，$Q$ 是一个实值矩阵。QUBO与伊辛模型（Ising Model）在数学上等价——后者是描述磁性自旋系统能量的物理模型，自旋状态恰好对应±1的二值变量。这种等价性使得量子退火机（如D-Wave）和相干伊辛机等专用硬件可以直接"计算"QUBO问题，而无需传统的数字逻辑运算，在特定问题规模下理论上具有显著的速度优势。SplatQ将高斯的"保留或删除"决策编码为QUBO，是将物理启发计算引入图形学优化的一次具体尝试。

用退火与伊辛机求解

构建好QUBO目标后，SplatQ采用两种方式求解：模拟退火（Simulated Annealing，SA）和相干伊辛机（Coherent Ising Machine，CIM）。

模拟退火是一种经典的启发式优化算法，适合在普通硬件上寻找近似最优解。而相干伊辛机的引入颇具前瞻性——这类专用物理计算设备专门为求解伊辛模型和QUBO问题而设计，意味着SplatQ的框架不仅可以运行在传统计算平台，也为未来接入新型优化硬件预留了接口。

这种求解方式的选择，体现了将图形学问题转译为组合优化问题后带来的额外红利：可以直接复用成熟的优化工具链和新兴的专用计算硬件。

相干伊辛机（Coherent Ising Machine，CIM）是一种基于光学参量振荡器网络的物理计算装置，最早由斯坦福大学和日本NTT研究所联合开发。它将QUBO问题中各变量映射为光学脉冲的相位状态（0相或π相对应0/1），通过光学网络中的测量-反馈机制模拟伊辛自旋的演化，从而寻找能量最低态（即最优解）。CIM在处理全连接图问题时展现出高于传统模拟退火的解质量，尤其适合变量间存在大量成对交互的场景——这与SplatQ中高斯之间的成对交互结构高度契合。目前CIM主要以云服务形式提供访问接口，在实际部署中仍有延迟和规模限制，但SplatQ将其纳入求解选项，展示了3DGS优化与新兴计算范式对接的可行路径。

实验结果与价值

团队在5个基准数据集上进行了测试。结果显示，SplatQ在三个关键维度上均优于当前最先进的剪枝方法：聚合重建质量、空间质量均衡性，以及渲染速度。

消融实验进一步拆解了两项核心设计的贡献——预算平滑负责提升局部细节的重建质量，而交互建模则在固定预算下显著改善了高斯选择的整体质量。两者相辅相成，共同支撑起SplatQ的性能优势。

从方法论角度看，SplatQ的意义不止于提出一个更好的剪枝器。它示范了一条将3DGS优化问题重新表述为QUBO组合优化问题的路径，把被长期忽视的「联合删除效应」和「区域预算分配」正式纳入优化目标。对于追求存储效率、渲染速度与质量均衡的3DGS应用场景，这一思路提供了可借鉴的新框架。

小结

SplatQ把3DGS剪枝从独立打分的粗放模式，升级为考虑交互与预算约束的精细化组合优化。通过空间外观分块、配额平滑、二次近似建模和QUBO求解，它在重建质量、空间均衡和渲染速度上实现了全面提升，同时为对接相干伊辛机等新型计算硬件打开了想象空间。