[控场AI]
概念Compact Token Learning

CoTL

一种用紧凑潜在Token学习3D场景表示的方法,通过编码器将多视角图像压缩为少量Token,再由查询式高斯解码器恢复可渲染的3D高斯原语,支持重建与生成。

时间轴 (近 90 天)

10月14日

CoTL(Compact Token Learning)提出用一小组紧凑的潜在Token来保留场景的几何与外观信息,让表示能力随观测数量的增加而自然扩展。

待验证50%
10月14日

CoTL的编码器以一组无位姿的多视角图像为输入,将每张图像压缩为一个小型的潜在Token集合,并跨视角聚合信息形成视角一致的场景表示。

待验证50%
10月14日

CoTL的编码器中每增加一个视角,表示只需扩展一小部分与分辨率无关的Token,使表示的容量随可用观测数量灵活增长,而非被固定大小的网络参数所限制。

待验证50%
10月14日

CoTL使用查询式高斯解码器,通过场景无关的可学习查询向量,以注意力机制访问编码器产出的Token,恢复出一组显式可渲染的3D高斯原语;新视角渲染监督信号端到端训练整个紧凑表示。

待验证50%
10月14日

论文在ACID等数据集上进行了实验,结果显示CoTL的紧凑、非结构化的Token集合不仅支持具有竞争力的新视角合成效果,还可以作为生成模型的潜在空间用于3D高斯场景生成。

待验证50%
10月14日

CoTL将3D高斯重建作为紧凑场景表示学习目标,其学到的Token空间可复用成熟的序列生成模型(如扩散模型、Transformer自回归)来学习分布并生成新的3D高斯场景。

待验证50%
10月14日

多数新视角合成方法假设相机内外参已知,位姿由SfM或SLAM预先求得;而CoTL直接以无位姿多视角图像为输入,需要隐式推断或吸收视角间的几何关系。

待验证50%
10月14日

从摘要信息来看,紧凑Token在极端稀疏视角或大尺度场景下的表现、Token数量与重建质量的权衡曲线、以及生成任务上的具体指标对比等问题仍待进一步了解。

待验证50%

全部知识事实 (8)

待验证

CoTL(Compact Token Learning)提出用一小组紧凑的潜在Token来保留场景的几何与外观信息,让表示能力随观测数量的增加而自然扩展。

50%
待验证

CoTL的编码器以一组无位姿的多视角图像为输入,将每张图像压缩为一个小型的潜在Token集合,并跨视角聚合信息形成视角一致的场景表示。

50%
待验证

CoTL的编码器中每增加一个视角,表示只需扩展一小部分与分辨率无关的Token,使表示的容量随可用观测数量灵活增长,而非被固定大小的网络参数所限制。

50%
待验证

CoTL使用查询式高斯解码器,通过场景无关的可学习查询向量,以注意力机制访问编码器产出的Token,恢复出一组显式可渲染的3D高斯原语;新视角渲染监督信号端到端训练整个紧凑表示。

50%
待验证

论文在ACID等数据集上进行了实验,结果显示CoTL的紧凑、非结构化的Token集合不仅支持具有竞争力的新视角合成效果,还可以作为生成模型的潜在空间用于3D高斯场景生成。

50%
待验证

CoTL将3D高斯重建作为紧凑场景表示学习目标,其学到的Token空间可复用成熟的序列生成模型(如扩散模型、Transformer自回归)来学习分布并生成新的3D高斯场景。

50%
待验证

多数新视角合成方法假设相机内外参已知,位姿由SfM或SLAM预先求得;而CoTL直接以无位姿多视角图像为输入,需要隐式推断或吸收视角间的几何关系。

50%
待验证

从摘要信息来看,紧凑Token在极端稀疏视角或大尺度场景下的表现、Token数量与重建质量的权衡曲线、以及生成任务上的具体指标对比等问题仍待进一步了解。

50%

来源文章