概念VQ / Vector Quantization
向量量化
一种量化技术,将一组权重向量整体映射到预先学习的码本中最近邻的码字,通过存储码字索引代替原始数值实现压缩,是亚1比特压缩的重要技术前身
时间轴 (近 90 天)
10月8日
向量量化(VQ)将一组权重整体映射到预先学习好的码本中最近邻的码字上,只存储码字索引
待验证50%
10月8日
一个包含256个码字的码本只需8比特寻址,若每组向量包含16个权重,则平均每权重仅消耗0.5比特存储索引
待验证50%
一种量化技术,将一组权重向量整体映射到预先学习的码本中最近邻的码字,通过存储码字索引代替原始数值实现压缩,是亚1比特压缩的重要技术前身
向量量化(VQ)将一组权重整体映射到预先学习好的码本中最近邻的码字上,只存储码字索引
一个包含256个码字的码本只需8比特寻址,若每组向量包含16个权重,则平均每权重仅消耗0.5比特存储索引