概念low-rank approximation / 低秩分解
低秩近似
用秩远小于原矩阵维度的分解来近似原矩阵的数学方法,可大幅降低计算量,常用形式为H≈U·M·U^T
时间轴 (近 90 天)
10月12日
相比全秩(无低秩近似)方案,VPU 在 dim=256 下 200 步从 4249ms 降到 160ms,实现了 26.44 倍加速。
待验证50%
9月11日
低秩近似的数学基础来自线性代数中的奇异值分解(SVD),可用两个低维矩阵乘积U·V^T近似有效秩较小的矩阵
待验证50%
9月11日
架构层面的优化(如GQA)与推理期优化(如低秩近似、量化)是正交的,可以叠加使用
待验证50%