概念Latent Factorization / 潜在因子分解
潜因子分解
一种结构化模型压缩方法，假设权重矩阵存在低秩冗余结构，通过学习共享的潜因子和组合规则来重建原始权重，使平均每参数存储成本低于1比特
时间轴 (近 90 天)
10月8日
亚1比特压缩意味着平均每个参数所占用的信息量被压缩到不足1个比特
待验证50%
10月8日
潜因子分解的思路是假设权重矩阵存在冗余和低秩结构，用一组更小的潜因子加上索引或组合方式重建原始权重
待验证50%
10月8日
彩票子网络往往具有低秩或稀疏特征，与潜因子分解所利用的低秩结构高度吻合
待验证50%
10月8日
传统INT8量化可利用硬件原生支持的整数运算单元直接完成推理，而因子分解方案需要先从索引重建近似权重再执行乘法
待验证50%