[控场AI]
概念low-rank approximation / 低秩分解

低秩近似

用秩远小于原矩阵维度的分解来近似原矩阵的数学方法,可大幅降低计算量,常用形式为H≈U·M·U^T

时间轴 (近 90 天)

10月12日

相比全秩(无低秩近似)方案,VPU 在 dim=256 下 200 步从 4249ms 降到 160ms,实现了 26.44 倍加速。

待验证50%
9月11日

低秩近似的数学基础来自线性代数中的奇异值分解(SVD),可用两个低维矩阵乘积U·V^T近似有效秩较小的矩阵

待验证50%
9月11日

架构层面的优化(如GQA)与推理期优化(如低秩近似、量化)是正交的,可以叠加使用

待验证50%

全部知识事实 (3)

来源文章