概念Low-Rank Decomposition
低秩分解
模型压缩技术之一,将大矩阵拆解为多个小矩阵的乘积以降低参数量和计算量,常用于对状态空间模型的递归状态做低秩近似。
时间轴 (近 90 天)
10月16日
量化、剪枝和低秩分解是三种常见的模型压缩手段。
待验证50%
10月9日
低秩分解会带来截断误差导致模型精度下降,需要通过短时间微调(称为healing/修复)来弥补损失
待验证50%
模型压缩技术之一,将大矩阵拆解为多个小矩阵的乘积以降低参数量和计算量,常用于对状态空间模型的递归状态做低秩近似。
量化、剪枝和低秩分解是三种常见的模型压缩手段。
低秩分解会带来截断误差导致模型精度下降,需要通过短时间微调(称为healing/修复)来弥补损失